Il est temps de réhabiliter les QCM

Je ne note pas les QCM. Pour moi, ce n'est qu'un outil d'ancrage des connaissances après un cours ou un outil de mobilisation des connaissances déjà vues auparavant. Le QCM n'est pas une évaluation dans ma pratique.

Salut,
C'est marrant, j'y pensais récemment. Au lieu de me taper la correction de tartines de vide, commencer à les forcer à apprendre leurs cours avec des QCM. Et une fois les connaissances en place, les faire rédiger.

nitescence a écrit:

ycombe a écrit:

Une question importante est celle de la conception des questions. En effet, prenez la question:

En quelle année est décédé le président Félix Faure ?
1515
1789
1899
1981

La simple connaissance du contexte historique permet d'éliminer trois cas sur quatre. Tandis que:

En quelle année est décédé le président Félix Faure ?
1895
1896
1897
1898
1899
1900

vous oblige à connaitre précisément cette date pour répondre. Inutile de demander comment il est mort, vos étudiants s'en souviennent...

Je suis désolé mais c'est l'exact exemple de tous les défauts du QCM : point de détail sans aucun intérêt (quelle différence cela fait-il qu'il soit mort en 99 ou en 1900), connaissance pointilliste etc. Quel sens peut avoir une telle évaluation ?

L'intérêt, c'est que ça force à un apprentissage rigoureux et précis, et qu'on ne peut pas se contenter d'un à peu près. Savoir la date de la mort de Faure, ça ne sert à rien dans la vie. Par contre, savoir apprendre précisément et rigoureusement, il y en a pas mal qui ne font pas l'effort.

Intéressant, ce que tu dis là, Dimka. Vu l'absence complète d'apprentissage du cours de bien des élèves, je pensais à mettre en place des courtes évaluations régulières l'année prochaine (type deux/trois définitions à chaque fois). Mais un QCM est plus rapide à corriger...

Inconvénient : comment éviter que les élèves qui n'ont rien appris répondent au hasard et s'en tirent avec quelques points, pas forcément mérités ?

Tu peux construire des QCM à espérance négative : répondre au hasard donnera zéro.
Concrètement : pénaliser les fausses réponses et ne pas pénaliser l'absence de réponse. Ainsi l'élève n'est pas incité à répondre au pif, mais est plutôt poussé à la prudence.

J'avais trouvé ce document très bien fait :
http://ot-ds.sipr.ucl.ac.be/cps/ucl/doc/ipm/documents/VADEMECUM_Mars_2016.pdf

Avec des retraits de points ?
https://www.neoprofs.org/t109994-il-est-temps-de-rehabiliter-les-qcm#4030421

Après, je pensais aussi à des questionnaires courts, sans choix multiples (du genre, « en quelle année est mort… », « qui règne de telle année à telle année », etc.). L’idée, c’est que tu sais ou tu ne sais pas, et point barre.

Ça dépend à quel niveau. Par exemple, au collège, les questions courtes étaient au final longues à corriger car les élèves noircissaient quoi qu'il arrive, même si ils ne savaient pas. Tout simplement parce qu'il n'y avait pas de différence punitive entre se tromper ou ne rien écrire (et certains enseignants rechignent à mettre 0 si quelque chose a été écrit).

Par contre, le QCM bien fait contraint l'élève à la prudence et est rapide à corriger.

Sur la note, un des problèmes des QCM se retrouve dans les évaluations standardisées: la réussite minimale attendue ne correspond pas à la moitié des exercices réussis. Je me souviens des discussions avant 2008 avec les parents de sixième pour leur expliquer que non, 55% de réussite aux évaluations n'était pas "bien", que leur enfant était en difficulté et qu'il fallait en avoir conscience et essayer de l'aider.

Si on fait des QCM sur les tables de multiplication, on attend 100% de réussite. Tous les élèves doivent savoir leurs tables. En notant linéairement, on mettra 10/20 à ceux qui ont réussi 5 questions sur 10, ce qui est très très loin de ce qu'il faut. Ma politique est d'appliquer un barème dégressif: 20 points, et on enlève 5 points par question fausse. Ainsi, on a juste la moyenne à 2 questions fausses sur 10, ce qui est déjà très généreux. Un tel barème est strictement équivalent à compter 2 points par question juste et -3 points par question fausse, s'il y a 10 questions.

Dimka a écrit:Avec des retraits de points ?
https://www.neoprofs.org/t109994-il-est-temps-de-rehabiliter-les-qcm#4030421

Après, je pensais aussi à des questionnaires courts, sans choix multiples (du genre, « en quelle année est mort… », « qui règne de telle année à telle année », etc.). L’idée, c’est que tu sais ou tu ne sais pas, et point barre.

Faut-il préférer les QCM ou les réponses courtes ? La question est débattue:
https://theeconomyofmeaning.com/2017/03/21/important-new-meta-analysis-on-the-testing-effect-with-some-surprises/

Dimka a écrit:Avec des retraits de points ?
https://www.neoprofs.org/t109994-il-est-temps-de-rehabiliter-les-qcm#4030421

Après, je pensais aussi à des questionnaires courts, sans choix multiples (du genre, « en quelle année est mort… », « qui règne de telle année à telle année », etc.). L’idée, c’est que tu sais ou tu ne sais pas, et point barre.

Pas simple en SES, la discipline ne s'y prête pas. Mais l'idée de Zagara, un QCM à espérance zéro, répond bien au problème, il me semble.

ycombe a écrit:Sur la note, un des problèmes des QCM se retrouve dans les évaluations standardisées: La réussite minimale attendue ne correspond pas à la moitié des exercices réussis. Je me souviens des discussions avant 2008 avec les parents de sixième pour leur expliquer que non, 55% de réussite aux évaluations n'était pas "bien", que leur enfant était en difficulté et qu'il fallait en avoir conscience et essayer de l'aider.

Si on fait des QCM sur les tables de multiplication, on attend 100% de réussite. Tous les élèves doivent savoir leurs tables. En notant linéairement, on mettra 10/20 à ceux qui ont réussi 5 questions sur 10, ce qui est très très loin de ce qu'il faut.

Ah mince... Moi qui croyais que j'étais médium extra-lucide parce que j'avais la moyenne à "deviner si c'est pile ou face qui va sortir"

Elyas a écrit:Je ne note pas les QCM. Pour moi, ce n'est qu'un outil d'ancrage des connaissances après un cours ou un outil de mobilisation des connaissances déjà vues auparavant. Le QCM n'est pas une évaluation dans ma pratique.

Dit comme ça, ça a l'air sympa. Et ça élude la question du barème.

Lors de la dernière réforme, les QCM ont été introduits en SVT pour les écrits du bac S et pour celui de Sciences en 1ES-1L. Je crois qu'il y en a/avait (?) en Maths aussi.
Je l'utilise lors des DS dans mes classes de secondes )à la terminale. Par contre, cela représente au max 3 points (6 questions avec 4 propositions). Cela permet de tester des connaissances rapidement. J'en fais également en TP ou cours, de temps en temps.

Zagara a écrit:Tu peux construire des QCM à espérance négative : répondre au hasard donnera zéro.
Concrètement : pénaliser les fausses réponses et ne pas pénaliser l'absence de réponse. Ainsi l'élève n'est pas incité à répondre au pif, mais est plutôt poussé à la prudence.

Tu peux même calibrer ton exercice pour que la réponse au hasard donne un résultat négatif.
Par exemple pour 4 choix, 2 points pour une réponse juste, -1 pour réponse fausse, 0 pour non réponse. Le tout, c'est de bien expliquer le système aux élèves avant les révisions.
Il est parfaitement possible de faire un QCM exigeant.

La remarque d'Ycombe sur le taux de réussite à 50% est très pertinente. On peut très bien obliger les élèves à recopier leur leçon s'ils ont moins de 13/20 ou 15/20. Pour les tables de multiplications, les conjugaisons, les déclinaisons, certaines dates, c'est tout à fait pertinent.

Après tout, pour le code de la route, le seil de passage, c'est 35/40 et ce n'est peut-être pas assez. L'accident mortel, c'est souvent une petite erreur toute seule.

 Tout cela n'est pas dans l'esprit des points verts et des smileys cœurs ! Spabien !


:dehors2:

Sinon, tu peux adopter un barème purement dégressif.

-2 par réponse fausse, -1 pour non réponse.
20 points au départ, 20 questions. 10 non-réponses ou 5 réponses fausses, 10/20. Pas de bluff possible, l'objectif du par coeur reste toujours en vue.

Le tout c'est de choisir un système clair et de s'y tenir. Que les élèves ne puissent pas te reprocher une perfidie.

Kan-gourou a écrit:  Tout cela n'est pas dans l'esprit des points verts et des smileys cœurs ! Spabien !


:dehors2:

Je suis plutôt du style points de sang et coeur ouvert. :diable:

Blague à part, il s'agit seulement de noter honnêtement et de ne pas bercer les élèves d'illusions quant au niveau réellement nécessaire pour être efficace.

J'utilise pas mal les QCM.
Souvent en début de séance d'AP avec mes terminales, avec plickers c'est assez rapide.

Pour les econde, ils ont un QCM dans moodle à la fin de chaque chapitre. Ça leur permet de faire le point sur ce qu'ils savent, c' qu'ils savent faire, et ce qui ne va pas...
L'intérêt de moodle est qu'ils ont un retour dès la fin, et qu'ils savent où ils ont échoué et pourquoi. Après, certains comprennent que ça veut dire qu'il y a des parties de cours à revoir... et d'autres s'arrête au simple bilan qu'ils ne savant pas faire...
Moodle permet aussi de faire de QCM différents de vrai/faux ou de choix parmi une liste, on peut faire des appariement, de questions avec un calcul dont les données changent à chaque essais...)

Pour moi, ça me permet de voir avant le devoir quels sont les points qui ne sont pas du tout passés et de revenir dessus...

egomet a écrit:On peut très bien obliger les élèves à recopier leur leçon s'ils ont moins de 13/20 ou 15/20. Pour les tables de multiplications,  les conjugaisons,  les déclinaisons,  certaines dates, c'est tout à fait pertinent.

Il me semble que dans ce cas, il vaut mieux ne pas afficher le résultat en "note" à XX/20, mais un pourcentage ou un nombre de réponses justes.

Il faut l'afficher au départ: la réussite minimale (c-à-d l'équivalent de 10/20 dans la tête des parents et des élèves) est à 80% des réponses justes (ou 8 réponses justes si on fixe l'objectif en nombre de réponses justes).

ycombe a écrit:

egomet a écrit:On peut très bien obliger les élèves à recopier leur leçon s'ils ont moins de 13/20 ou 15/20. Pour les tables de multiplications,  les conjugaisons,  les déclinaisons,  certaines dates, c'est tout à fait pertinent.

Il me semble que dans ce cas, il vaut mieux ne pas afficher le résultat en "note" à XX/20, mais un pourcentage ou un nombre de réponses justes.

Il faut l'afficher au départ: la réussite minimale (c-à-d l'équivalent de 10/20 dans la tête des parents et des élèves) est à 80% des réponses justes (ou 8 réponses justes si on fixe l'objectif en nombre de réponses justes).

Bien vu. On adopte la présentation qui passe le mieux. Les familles peuvent accepter assez mal qu'on considère un 15/20 comme insuffisant. Elles finiront par comprendre, mais c'est plus facile à expliquer comme tu le suggères. Convertir en note le plus tard possible.

Artysia a écrit:Merci ycombe pour ce fil. J'étais comme toi, très réfractaire aux QCM et puis en en préparant pour des élèves plus en difficulté face à des questions ouvertes, je me suis rendue compte qu'on pouvait être exigent en passant par un QCM.
Je fais régulièrement des interrogations de connaissances et je compte pour le 3e trimestre en faire certaines (pas toutes) sous forme de QCM.
Je fais rédiger mes élèves durant les cours, ça ne posera donc pas le souci de l'écriture.

En ce moment une application est à la mode pour évaluer des QCM : plickers.
Je vais la tester cette semaine je pense. Ca me permettrait de gagner un peu de temps de correction et aussi de faire une économie de papier.

Je retiens bien sûr l'idée de réactivation tout au long de l'année de connaissances.

J'utilise Plickers depuis 3 ans, c'est très bien, mais les élèves ont tendance à parler, donc ça va pour une vérification mais pas pour une évaluation sérieuse je trouve.

micaschiste a écrit:Lors de la dernière réforme, les QCM ont été introduits en SVT pour les écrits du bac S et pour celui de Sciences en 1ES-1L. Je crois qu'il y en a/avait (?) en Maths aussi.
Je l'utilise lors des DS dans mes classes de secondes )à la terminale. Par contre, cela représente au max 3 points (6 questions avec 4 propositions). Cela permet de tester des connaissances rapidement. J'en fais également en TP ou cours, de temps en temps.

Ah oui, je me rappelle très bien du QCS à 4 propositions où on obtenait le point quoi qu'on coche (en fait non, une des 4 proposition était débile et ne rapportait rien).
Je crois qu'on ne peut pas appeler cela un QCM sauf si on veut discréditer ce système.

(QCM : choix multiple ; QCS : choix simple qui est le cas présenté plus haut avec la date de naissance)

* Mettre des points négatif pour les réponses fausses s'appelle "notation canadienne". Pour l'avoir pratiqué, je me suis fait traité par l'un de mes chefs de proxénète. Chef est parti et notation canadienne est revenue.

* Cette notation ne permet pas seulement de calaminer les petits malins qui répondent au hasard : cela permet de repérer ceux qui ne travaillent pas. Avec cette notation, j'obtiens très souvent une répartition des notes bi-modale. Il faut que les questions soient faciles.

* Lors de la conception du QCM, il faut faire un effort d'empathie particulièrement marqué. Les élèves n'ont rien pour se rattraper : ils n'ont les points que s'ils font un sans faute à chaque question. Je ne fais pas un sujet pour faire réfléchir, pour aller au delà du cours : je teste des compétences acquises en cours. Chaque question doit être minutieusement pesée, tous les faux sens possibles doivent être décelés, toutes les fausses pistes doivent être précisément calibrées.

* En particulier je ne mets pas une fausse piste pour le plaisir de coincer l'élève. Une fausse piste doit correspondre à un piège qui existe dans le monde réel, et que l'élève doit avoir appris à éviter lors du cours : l'exemple donné plus haut, celui de la maîtrise des règles de priorité des opérations simples, est le plus parlant.

* Pour toutes ces raisons, je ne connais pas de sujet plus lourd à préparer que le QCM.

* Avantages du QCM, la rapidité de correction, et le fait que nous gardons l'exclusivité du sujet. A condition de bien vérifier que les étudiants ne photographient pas le sujet, le QCM est réutilisable d'années en années. L'investissement initial est conséquent, mais la réutilisation est facile. Il faut relire quand même le QCM au début de la séquence, puisqu'il définit le référentiel sur lequel les élèves seront évalués.

* Gros inconvénient, la triche est facile. Il faut pouvoir mélanger les questions. Personnellement, je ne le fais pas, nous avons un service de surveillance des contrôles qui est particulièrement efficace.

archeboc a écrit:
* Gros inconvénient, la triche est facile. Il faut pouvoir mélanger les questions. Personnellement, je ne le fais pas, nous avons un service de surveillance des contrôle qui est particulièrement efficace.

auto-multiple-choice (c.f. autre fil) le fait automatiquement. On peut aller plus loin en le couplant avec lualatex (et même maxima si on veut) pour avoir des questions aléatoires et donc des questions différentes sur chaque copie. C'est beaucoup plus long à écrire et il y a plus de chance de faire des erreurs (j'ai fait un QCM sur les tables de multiplication dans lequel certaines réponses apparaissent parfois plusieurs fois).

Répondre sur l'autre fil pour auto-multiple-choice: https://www.neoprofs.org/t109996-auto-multiple-choice-amc-logiciel-pour-faire-des-qcm-corriges-automatiquement

archeboc a écrit:* Mettre des points négatif pour les réponses fausses s'appelle "notation canadienne". Pour l'avoir pratiqué, je me suis fait traité par l'un de mes chefs de proxénète. Chef est parti et notation canadienne est revenue.

J'aimerais beaucoup connaître son raisonnement, à celui-ci ! :shock:

Pour le problème de la triche, c'est une vraie question. Le concept du logiciel me plaît beaucoup, mais il nécessite de scanner les copies, ce qui me plaît beaucoup moins (il faut scanner chaque feuille manuellement sur nos photocopieuses, puis les récupérer à partir d'un PC... Bref, c'est long !).