Il est temps de réhabiliter les QCM

QCM. Questionnaire à choix multiples. La négation de l'exigence, la honte de l'enseignement. Ce qu'il ne faut surtout pas faire quand on est un enseignant consciencieux. Je l'ai pensé longtemps, avec l'intransigeance stupide de la jeunesse. Il est temps de mûrir. Réhabilitons les QCM.

Il ne s'agit pas, bien entendu, de ne faire que cela. Mais il s'agit d'en comprendre l'interêt et de l'utiliser à bon escient.

On peut distinguer, en évaluation, au moins trois type de questions: qcm, réponse courte, réponse rédigée. Le QCM et la réponse courte visent à vérifier des connaissances précises et peuvent nécessiter une petite réflexion ou des calculs, tandis que la réponse rédigée exige une mise en forme destinée à montrer, en plus de la capacité à donner la réponse, la capacité à rédiger une explication et à donner des arguments. Certains distinguent les réponses rédigées de type "essay" (rédaction) de celle de type "problem/computational".


MCAS 2003 Grade 6 Mathematics (page 145)

Traditionnellement, en France, les exercices donnés sont des exercices à réponses rédigées. Parfois, un exercice consiste en un QCM ou une réponse courte, mais cela reste plutôt marginal. Une conséquence de cette tradition est que les examens ne couvrent pratiquement jamais l'intégralité du programme; une autre est que les devoirs en classe permettant de "revenir" sur des chapitres antérieurs sont plutôt rares. Le devoir en classe couvre le chapitre et  c'est tout. Une fois ce devoir terminé, il n'y a guère qu'à l'occasion des devoirs maisons (de plus en plus rares pour cause d'internet) ou des devoirs communs (un par an dans certains établissements).

A contrario, donner un QCM régulièrement sur l'ensemble des chapitres faits permet une réactivation des connaissances et favorise la mémorisation à long terme. C'est le retrieval effect (qui s'est appelé testing effect mais le mot test est tellement mal connoté...). Un autre avantage, du QCM est qu'il permet, en cours de chapitre (dès le début), une vérification de la compréhension rapide et peu coûteuse (en temps de correction) tout en aidant les élèves à se déstresser sur le chapitre. Si on corrige à la main, on peut mixer les QCM avec des réponses courtes, le temps de correction sera à peine rallongé.

Le QCM présente beaucoup d'avantages, et son utilisation n'est pas incompatible du tout avec les devoirs classiques de fin de chapitre. C'est un complément, utile pour certains types de connaissances ou de capacités.

Une question importante est celle de la conception des questions. En effet, prenez la question:

En quelle année est décédé le président Félix Faure ?
1515
1789
1899
1981

La simple connaissance du contexte historique permet d'éliminer trois cas sur quatre. Tandis que:

En quelle année est décédé le président Félix Faure ?
1895
1896
1897
1898
1899
1900

vous oblige à connaitre précisément cette date pour répondre. Inutile de demander comment il est mort, vos étudiants s'en souviennent...

On peut aussi, pour s'assurer que les élèves restent concentré pendant le QCM et ne répondent pas trop machinalement, poser des questions négativement. Ce n'est pas la même chose de demander qui, parmi une série de nombres, est dans la table de 7 et qui, parmi la même série, N'EST PAS dans la table de 7.

Quelques lectures (en anglais):
Why use MCQ? par Joe Kirby: https://pragmaticreform.wordpress.com/2014/03/08/whymcqs/
How to design MCQ ? par Joe Kirby: https://pragmaticreform.wordpress.com/2014/04/12/mcqdesign/
On peut aussi s'intérresser aux exemples du MCAS, le Massachusetts Comprehensive Assessment System, qui mélangent QCM et réponses rédigées. http://www.educationviews.org/mcas-test-items-subjects-grades-1998-on/

Dans un prochain fil on parlera d'auto-multiple-choice, logiciel (pour linux et Mac) capable de corriger automatiquement les QCM, d'annoter les copies et d'envoyer le résultat par mail aux élèves (ou à leurs parents   ).

google forms très performant dans ce domaine

ycombe a écrit:QCM. Questionnaire à choix multiples. La négation de l'exigence, la honte de l'enseignement. Ce qu'il ne faut surtout pas faire quand on est un enseignant consciencieux. Je l'ai pensé longtemps, avec l'intransigeance stupide de la jeunesse. Il est temps de mûrir. Réhabilitons les QCM.
[...]

Je n'ai jamais eu cette vision négative car j'ai participé à la création de beaucoup de QCM (pour des évaluations dans le supérieur) mais je les ai effectivement peu utilisés dans mon enseignement en lycée.

Devant les difficultés abyssales des générations actuelles, j'en refais depuis peu. Comme tu le décris plus loin, il y a plein d'avantages, notamment celui de ne pas ajouter de difficultés rédactionnelles à des élèves bien handicapés de ce côté-là. Et évidemment, cela peut se noter vite (mais le bilan des erreurs est tout aussi long à effectuer).

Bouboule a écrit:
Devant les difficultés abyssales des générations actuelles, j'en refais depuis peu. Comme tu le décris plus loin, il y a plein d'avantages, notamment celui de ne pas ajouter de difficultés rédactionnelles à des élèves bien handicapés de ce côté-là. Et évidemment, cela peut se noter vite (mais le bilan des erreurs est tout aussi long à effectuer).

J'insiste: il est important de ne pas renoncer à exiger des réponses rédigées complètement et correctement. C'est le risque avec les QCM, s'en servir pour éviter cette difficulté alors qu'il est essentiel d'être rigoureux au niveau de la qualité de rédaction des élèves.

Daniel Willingham a posté sur twitter un lien vers cet article, payant (je n'ai pu y accéder), dont le résumé donne à penser un peu:
http://journals.sagepub.com/doi/abs/10.3102/0013189X16672642?journalCode=edra

Pour les amateurs de QCM qui n'ont pas peur des codes, il y a un logiciel libre AMC (auto-multiple-choice) qui permet de rédiger, mettre en forme et... corriger automatiquement les QCM (avec un scanner).
J'ai testé la chose il y a un temps. On peut même inclure des questions qui ne soient pas des QCM (on peut laisser un champ libre et mettre des cases avec des valeurs possibles pour le résultat des questions : ça prend en charge automatiquement le calcul).
Le truc sympa est que ça peut générer plein de versions différentes et aussi générer des PDF de correction.
http://project.auto-multiple-choice.net/projects/auto-multiple-choice

K

ycombe a écrit:

Bouboule a écrit:
Devant les difficultés abyssales des générations actuelles, j'en refais depuis peu. Comme tu le décris plus loin, il y a plein d'avantages, notamment celui de ne pas ajouter de difficultés rédactionnelles à des élèves bien handicapés de ce côté-là. Et évidemment, cela peut se noter vite (mais le bilan des erreurs est tout aussi long à effectuer).

J'insiste: il est important de ne pas renoncer à exiger des réponses rédigées complètement et correctement. C'est le risque avec les QCM, s'en servir pour éviter cette difficulté alors qu'il est essentiel d'être rigoureux au niveau de la qualité de rédaction des élèves.

Daniel Willingham a posté sur twitter un lien vers cet article, payant (je n'ai pu y accéder), dont le résumé donne à penser un peu:
http://journals.sagepub.com/doi/abs/10.3102/0013189X16672642?journalCode=edra

Evidemment.

Merci ycombe pour ce fil. J'étais comme toi, très réfractaire aux QCM et puis en en préparant pour des élèves plus en difficulté face à des questions ouvertes, je me suis rendue compte qu'on pouvait être exigent en passant par un QCM.
Je fais régulièrement des interrogations de connaissances et je compte pour le 3e trimestre en faire certaines (pas toutes) sous forme de QCM.
Je fais rédiger mes élèves durant les cours, ça ne posera donc pas le souci de l'écriture.

En ce moment une application est à la mode pour évaluer des QCM : plickers.
Je vais la tester cette semaine je pense. Ca me permettrait de gagner un peu de temps de correction et aussi de faire une économie de papier.

Je retiens bien sûr l'idée de réactivation tout au long de l'année de connaissances.

KinetteKinette a écrit:Pour les amateurs de QCM qui n'ont pas peur des codes, il y a un logiciel libre AMC (auto-multiple-choice) qui permet de rédiger, mettre en forme et... corriger automatiquement les QCM (avec un scanner).
J'ai testé la chose il y a un temps. On peut même inclure des questions qui ne soient pas des QCM (on peut laisser un champ libre et mettre des cases avec des valeurs possibles pour le résultat des questions : ça prend en charge automatiquement le calcul).
Le truc sympa est que ça peut générer plein de versions différentes et aussi générer des PDF de correction.
http://project.auto-multiple-choice.net/projects/auto-multiple-choice

K

J'ai ouvert un autre fil pour ce logiciel:
https://www.neoprofs.org/t109996-au-multiple-choice-amc-logiciel-pour-faire-des-qcm-corrige-automatiquement

Bouboule a écrit: Et évidemment, cela peut se noter vite (mais le bilan des erreurs est tout aussi long à effectuer).

En utilisant les possibilités d'auto-multiple-choice, tu as un rapport par étudiant avec les résultats question par question. Cela ne te suffirait pas ?
https://www.neoprofs.org/t109996-au-multiple-choice-amc-logiciel-pour-faire-des-qcm-corrige-automatiquement#4030271

ycombe a écrit:

Bouboule a écrit: Et évidemment, cela peut se noter vite (mais le bilan des erreurs est tout aussi long à effectuer).

En utilisant les possibilités d'auto-multiple-choice, tu as un rapport par étudiant avec les résultats question par question. Cela ne te suffirait pas ?
https://www.neoprofs.org/t109996-au-multiple-choice-amc-logiciel-pour-faire-des-qcm-corrige-automatiquement#4030271

Si c'est très bien mais ça n'évite pas de lire le rapport et de réfléchir à chaque cas individuel pour diagnostiquer d'où viennent les erreurs. A réponse égale au QCM, l'erreur n'est pas forcément la même et ne traduit pas toujours les mêmes difficultés.

Artysia a écrit:M
En ce moment une application est à la mode pour évaluer des QCM : plickers.
Je vais la tester cette semaine je pense. Ca me permettrait de gagner un peu de temps de correction et aussi de faire une économie de papier.

Je retiens bien sûr l'idée de réactivation tout au long de l'année de connaissances.

Bonsoir,
Attention aux applis "gratuites" (je ne comprends pas qu'en formation, on ait des formateurs qui nous conseillent d'utiliser des trucs comme Padlet, qui récupèrent des données d'élèves pour en faire le commerce... alors que des outils gratuits existent, cf. https://degooglisons-internet.org/liste ). Et après on osent nous faire la morale sur les droits d'usage de documents et le fait que les élèves doivent faire attention à leurs données personnelles...).
https://www.plickers.com/privacy
(sans surprise, il y a bien une exploitation commerciale des données collectées...).
Noter que l'on est sous droit américain...
Noter aussi ceci:

Plickers does not knowingly collect or solicit any information from anyone under the age of 13 or knowingly allow such persons to register as Users. In the event that we learn we have collected personal information from a child under age 13 without verification of parent or guardian consent, we will delete that information as quickly as possible. If you believe that we might have any information from or about a child under 13, please contact us at “help@plickers.com.”

K.

Tout à fait d'accord sur l'intérêt des QCM. En maths, tant au collège qu'au lycée, j'en fais régulièrement, et ils sont parfois assez durs ! C'est top d'avoir des évals rapides à corriger, et qui peuvent être tout à fait intéressantes.
Chez nous un prof a développé un outil fort astucieux - nécessitant toutefois de faire le QCM en salle info (ou chez eux): les élèves le font sur le site de l'école, on a les résultats en temps réel (on peut même aller voir un élève pour lui conseiller de réfléchir si on est en mode "bienveillant"
et on a en fin de QCM un récap par élève et par question pour faciliter la correction.
J'en profite pour faire un peu de pub au collègue, car il bosse là-dessus depuis des années et il se lance dans une commercialisation à destination des établissements scolaires.
N'hésitez pas à aller faire un tour sur http://outilscolaire.fr/
C'est sobre, pas de pub, et testé et retesté: très efficace !

J'utilise pas mal des QCM comme outil de mémorisation et d'ancrage de ce qui vient juste d'être étudié. Typiquement, je le fais en fin d'heure ou juste après un travail. Je fais des questions où les réponses sont très proches et avec plusieurs bonnes réponses (donc à toutes trouver).

Sinon, je fais des entraînements de mémorisation toutes les semaines avec des réponses courtes pour créer chez les élèves une gymnastique régulière d'apprentissage. Cela demande de lutter pas mal contre leurs mauvaises habitudes mais ça porte ses fruits (ils doivent réviser toutes les semaines les deux derniers chapitres étudiés et ce sont les dates, noms, lieux et définitions qui tombent dans les questions).

Bouboule a écrit:

ycombe a écrit:

Bouboule a écrit: Et évidemment, cela peut se noter vite (mais le bilan des erreurs est tout aussi long à effectuer).

En utilisant les possibilités d'auto-multiple-choice, tu as un rapport par étudiant avec les résultats question par question. Cela ne te suffirait pas ?
https://www.neoprofs.org/t109996-au-multiple-choice-amc-logiciel-pour-faire-des-qcm-corrige-automatiquement#4030271

Si c'est très bien mais ça n'évite pas de lire le rapport et de réfléchir à chaque cas individuel pour diagnostiquer d'où viennent les erreurs. A réponse égale au QCM, l'erreur n'est pas forcément la même et ne traduit pas toujours les mêmes difficultés.

Si tu as un certain nombre d'erreurs attendues, il faut les proposer dans les réponses, cela va de soi. Par exemple en mathématiques, si je demande le résultat de 3+7x4, je vais évidemment mettre 40. Cela permet de repérer les élèves qui font l'erreur de priorité.

Je ne crois pas qu'ACM permette d'avoir la liste des réponses cochées dans le rapport par contre, il faut repérer les élèves concernés à la main. Cela dit tu peux ajouter des questions ouverte sans contenu (et avec barême 0)  pour cocher toi-même et récupérer dans le rapport les élèves pour qui tu as coché "erreur de priorité". Mais je dirais qu'on s'éloigne un peu du but des QCM.

Edit: à la réflexion, tu peux récupérer certaines erreurs dans le rapport en jouant sur le barême. Tu peux mettre un nombre de points différent par réponse, et en fonction du résultat de la question dans le rapport tu sais quelle réponse a été cochée. Dans ce cas bien sûr, ce n'est pas une note que tu obtiens, c'est juste une information.

Edit: AMC permet de récupérer les cases cochées question par question et élève par élève. Il faut choisir le format au moment de la génération du rapport, c'est soit des lettres (comme "ACD" pour les cases 1 3 et 4 cochées) soit des 0 et des 1.

ycombe a écrit:

Une question importante est celle de la conception des questions. En effet, prenez la question:

En quelle année est décédé le président Félix Faure ?
1515
1789
1899
1981

La simple connaissance du contexte historique permet d'éliminer trois cas sur quatre. Tandis que:

En quelle année est décédé le président Félix Faure ?
1895
1896
1897
1898
1899
1900

vous oblige à connaitre précisément cette date pour répondre. Inutile de demander comment il est mort, vos étudiants s'en souviennent...

Je suis désolé mais c'est l'exact exemple de tous les défauts du QCM : point de détail sans aucun intérêt (quelle différence cela fait-il qu'il soit mort en 99 ou en 1900), connaissance pointilliste etc. Quel sens peut avoir une telle évaluation ?

ycombe a écrit:

Bouboule a écrit:

ycombe a écrit:

Bouboule a écrit: Et évidemment, cela peut se noter vite (mais le bilan des erreurs est tout aussi long à effectuer).

En utilisant les possibilités d'auto-multiple-choice, tu as un rapport par étudiant avec les résultats question par question. Cela ne te suffirait pas ?
https://www.neoprofs.org/t109996-au-multiple-choice-amc-logiciel-pour-faire-des-qcm-corrige-automatiquement#4030271

Si c'est très bien mais ça n'évite pas de lire le rapport et de réfléchir à chaque cas individuel pour diagnostiquer d'où viennent les erreurs. A réponse égale au QCM, l'erreur n'est pas forcément la même et ne traduit pas toujours les mêmes difficultés.

Si tu as un certain nombre d'erreurs attendues, il faut les proposer dans les réponses, cela va de soi. Par exemple en mathématiques, si je demande le résultat de 3+7x4, je vais évidemment mettre 40. Cela permet de repérer les élèves qui font l'erreur de priorité. Je ne crois pas qu'ACM permette d'avoir la liste des réponses cochées dans le rapport par contre, il faut repérer les élèves concernés à la main. Cela dit tu peux ajouter des questions ouverte sans contenu (et avec barême 0)  pour cocher toi-même et récupérer dans le rapport les élèves pour qui tu as coché "erreur de priorité". Mais je dirais qu'on s'éloigne un peu du but des QCM.

Edit: à la réflexion, tu peux récupérer certaines erreurs dans le rapport en jouant sur le barême. Tu peux mettre un nombre de points différent par réponse, et en fonction du résultat de la question dans le rapport tu sais quelle réponse a été cochée. Dans ce cas bien sûr, ce n'est pas une note que tu obtiens, c'est juste une information.

Le logiciel de mon collègue le fait: on a un tableau à doubles-entrées avec les élèves / les réponses, et en bas le pourcentage de bonnes réponses par question. Le tout sur tableur. Donc c'est très simple de cerner immédiatement les erreurs revenant souvent pour les corriger de manière détaillée, sans aller dans le détail des copies.

nitescence a écrit:

ycombe a écrit:

Une question importante est celle de la conception des questions. En effet, prenez la question:

En quelle année est décédé le président Félix Faure ?
1515
1789
1899
1981

La simple connaissance du contexte historique permet d'éliminer trois cas sur quatre. Tandis que:

En quelle année est décédé le président Félix Faure ?
1895
1896
1897
1898
1899
1900

vous oblige à connaitre précisément cette date pour répondre. Inutile de demander comment il est mort, vos étudiants s'en souviennent...

Je suis désolé mais c'est l'exact exemple de tous les défauts du QCM : point de détail sans aucun intérêt (quelle différence cela fait-il qu'il soit mort en 99 ou en 1900), connaissance pointilliste etc.  Quel sens peut avoir une telle évaluation ?

C'est un exemple pour illustrer l'idée sur le choix des réponses. Pour te répondre, nos élèves ont à apprendre un certain nombres de connaissances basiques, pas la date de mort de Felix Faure mais les repères en HG ou du vocabulaire, par exemple. Le QCM est un moyen de s'assurer de leur ancrage. Il ne s'oppose pas à une évaluation classique dans laquelle on demande aux élèves de rédiger, il la complète. On ne peut guère rédiger sans connaissances basiques sur lesquelles s'appuyer.

Carrie7 a écrit:

ycombe a écrit:
Edit: à la réflexion, tu peux récupérer certaines erreurs dans le rapport en jouant sur le barême. Tu peux mettre un nombre de points différent par réponse, et en fonction du résultat de la question dans le rapport tu sais quelle réponse a été cochée. Dans ce cas bien sûr, ce n'est pas une note que tu obtiens, c'est juste une information.

Le logiciel de mon collègue le fait: on a un tableau à doubles-entrées avec les élèves / les réponses, et en bas le pourcentage de bonnes réponses par question. Le tout sur tableur. Donc c'est très simple de cerner immédiatement les erreurs revenant souvent pour les corriger de manière détaillée, sans aller dans le détail des copies.

C'est quel logiciel ?

Celui que je recommande plus haut: il l'a conçu pour notre établissement mais est en train de le diffuser ailleurs.
Voir sur http://outilscolaire.fr/

KinetteKinette a écrit:

Artysia a écrit:M
En ce moment une application est à la mode pour évaluer des QCM : plickers.
Je vais la tester cette semaine je pense. Ca me permettrait de gagner un peu de temps de correction et aussi de faire une économie de papier.

Je retiens bien sûr l'idée de réactivation tout au long de l'année de connaissances.

Bonsoir,
Attention aux applis "gratuites" (je ne comprends pas qu'en formation, on ait des formateurs qui nous conseillent d'utiliser des trucs comme Padlet, qui récupèrent des données d'élèves pour en faire le commerce... alors que des outils gratuits existent, cf. https://degooglisons-internet.org/liste ). Et après on osent nous faire la morale sur les droits d'usage de documents et le fait que les élèves doivent faire attention à leurs données personnelles...).


K.

Quel prof met des données d'élèves sur padlet ?
J'utilise l'outil qui permet de mettre au même endroits plusieurs types de documents. Je n'y met jamais aucune donnée d'élèves.
De plus l'outil est gratuit. J'ai cherché l'équivalent en libre (notamment chez framasoft), mais il n'y a rien.

j'en fais quelque fois avec Google forms

L'argument de la réactivation des connaissances est excellent et suffit à me convaincre. Je regrette d'avoir négligé cette possibilité.

On peut ajouter la question du barème. Avec un QCM, pour qualifier une note de bonne ou de mauvaise, il faut tenir compte de la chance. Quelle est la note attendue si l'élève répond totalement au hasard? C'est particulièrement important quand on a l'habitude de considérer 10/20 comme la moyenne et qu'on a des réponses de type vrai ou faux.
Il y a un moyen de dissuader les réponses au hasard. On attribue, mettons 3 points à une réponse juste, -1 à une réponse fausse et 0 à l'absence de réponse, de manière à ce que 0 soit la note la plus probable si l'élève n'a rien appris. Bien sûr, il faut ajuster ce barème en fonction du nombre de choix pour chaque question.

egomet,

Oui, ce type de barème est assez pertinent, c'est celui que nous "subissions" en droit européen quand j'étais étudiante, dans ce but précis d'éviter les réponses au hasard.

egomet a écrit:On attribue, mettons 3 points à une réponse juste, -1 à une réponse fausse et 0 à l'absence de réponse, de manière à ce que 0 soit la note la plus probable si l'élève n'a rien appris. Bien sûr, il faut ajuster ce barème en fonction du nombre de choix pour chaque question.

Enlever des points à un élève ?! Mais c'est de la dévaluation, c'est anti-bienveillant ! Et pourquoi ne pas compter les fautes d'orthographe dans une dictée tant qu'on y est ?

Plus sérieusement, je reste partagé sur le QCM. J'en ai eu fait, jadis. Et devant la baisse des capacités de rédaction des élèves, je crois que j'en suis arrivé à préférer (oui, c'est très subjectif) un raisonnement maladroit ou faux mais rédigé dans un français convenable à une réponse juste mais laconique.
Et du coup, j'ai peu à peu abandonné les QCM.

J'entends bien qu'il ne faut pas renoncer à les faire rédiger. Mais j'ai eu parfois l'impression que ceux qui avaient la flemme de rédiger semblaient penser que les points gagnés sur le QCM compensaient leur défaut de rédaction. Le "mais c'est bon, j'ai compris en gros pisque j'ai bon au QCM".

Je ne note pas les QCM. Pour moi, ce n'est qu'un outil d'ancrage des connaissances après un cours ou un outil de mobilisation des connaissances déjà vues auparavant. Le QCM n'est pas une évaluation dans ma pratique.