la notation - l'évaluation

Bonjour à tous,

Je viens de dénicher cette étude : jusqu'à 10 points d' écarts entre plusieurs correcteurs sur une même copie du bac !

Je trouve cela assez sidérant surtout en le mettant en perspective avec le fait qu'un élève ne peut quasiment jamais contester sa notation, le jury étant souverain !

https://hal.inria.fr/file/index/docid/260958/filename/08005.pdf

Une évaluation de 1 à 5 ne contribuerait-elle pas à limiter ces écarts ?

Au plaisir...

Ce n'est pas une découverte que la docimologie n'est pas une science exacte : il n'y a que les fétichistes de la note que ça inquiète, mais jusqu'à présent les notes ont toujours été accompagnées d'une appréciation sur le bulletin scolaire. De même, le bac n'est pas accordé selon les notes mais sur délibération du jury après consultation du dossier scolaire : cela permet précisément de nuancer le poids de la note.

Par ailleurs, l'étude est particulièrement malhonnête car elle ne comporte pas tous les dispositifs qui encadrent la notation au bac : réunion de cadrage avec établissement d'un barème commun, corrigé officiel, consignes de correction, réunion d'harmonisation. Autrement dit, ça ne parle pas de la vraie notation telle qu'elle s'exerce dans la vraie vie. C'est une véritable imposture intellectuelle.

Il se dévoile dans la conclusion : il préconise l'abandon de la correction, c'est donc un portrait à charge qui refuse sciemment d'examiner les dispositifs qui encadrent la note au bac (il en parle comme s'ils n'existaient pas). C'est d'une crasse mauvaise foi.

alain2015 a écrit:
Une évaluation de 1 à 5 ne contribuerait-elle pas à limiter ces écarts ?

Au plaisir...

Euh... mon "intuition statistique" me fait penser que non.
Imaginez: sur une chaîne d'usine, des personnes chargée de contrôler des pièces font des mesures à l'aide de doubles décimètres. Leurs mesures comportent une certaine incertitude (la variance est assez importante, et certains vérificateurs appréciant les alcools forts font même des erreurs importantes). Pour régler le problème, un ingénieur propose de ne plus mesurer les millimètres, mais mesurer sur une échelle allant de deux cm en deux centimètres. Quel sera l'effet d'une telle mesure sur la variance?


K

alain2015 a écrit:Bonjour à tous,

Je viens de dénicher cette étude : jusqu'à 10 points d' écarts entre plusieurs correcteurs sur une même copie du bac !

Je trouve cela assez sidérant surtout en le mettant en perspective avec le fait qu'un élève ne peut quasiment jamais contester sa notation, le jury étant souverain !

https://hal.inria.fr/file/index/docid/260958/filename/08005.pdf

Une évaluation de 1 à 5 ne contribuerait-elle pas à limiter ces écarts ?

Au plaisir...

C'est le ministère qui vous envoie?

Ca alors ! Des différences de notation entre des êtres humains !
On ne serait pas des machines !
On ne ramènerait pas tout à OUI / NON ?

Méouvaton, ouvaton...

Effectivement, avec un barème au quart de point sur 20, les écarts entre le plus sévère (0/0.25 pour un truc à moitié correct) et le plus bienveillant (0.25/0.25 pour un truc à moitié correct) vont être plus important qu'avec un barème au point près (0.5/1 pour un truc à moitié correct pour les deux.)
Soit. Sauf que, comme rappelé plus haut, il y a des mises au point. Et qu'un tout sur 5 permet moins de découpages qu'un barème sur 20. Et on retrouve le problème du barème trop précis : ce qui est gênant dans le quart de point, ce n'est pas la précision, c'est la non-découpabilité (oui parce que le huitième de point, ça lasse vite).

Donc noter sur 5 plutôt que sur 20 augmenterait encore les écarts relatifs entre correcteurs.

Ah, mais c'est le Hardy de la Laurel qui nous soumettait une copie de Brevet hier, et qui forme un groupe d'évaluation de l'évaluation...

Hélips a écrit:Effectivement, avec un barème au quart de point sur 20, les écarts entre le plus sévère (0/0.25 pour un truc à moitié correct) et le plus bienveillant (0.25/0.25 pour un truc à moitié correct) vont être plus important qu'avec un barème au point près (0.5/1 pour un truc à moitié correct pour les deux.)
Soit. Sauf que, comme rappelé plus haut, il y a des mises au point. Et qu'un tout sur 5 permet moins de découpages qu'un barème sur 20. Et on retrouve le problème du barème trop précis : ce qui est gênant dans le quart de point, ce n'est pas la précision, c'est la non-découpabilité (oui parce que le huitième de point, ça lasse vite).

Donc noter sur 5 plutôt que sur 20 augmenterait encore les écarts relatifs entre correcteurs.

Pas nécessairement. Comme pour une notation sur 20, il y a une grosse masse de gens qui notent sur le même écart qui correspond étonnamment au même écart relativisé sur 20. C'est juste que la notation sur 5 ne correspond pas à tous les types d'évaluation. Une fois qu'on aura compris que l'échelle de notation est un outil comme un autre, on aura fait un gros progrès dans les débats sur l'évaluation au lieu de lire les mêmes arguments peu approfondis à longueur d'années (un pas en avant, un pas en arrière).

Nita a écrit:Ah, mais c'est le Hardy de la Laurel qui nous soumettait une copie de Brevet hier, et qui forme un groupe d'évaluation de l'évaluation...

Ils ne lâchent rien.

Elyas a écrit:

Hélips a écrit:Effectivement, avec un barème au quart de point sur 20, les écarts entre le plus sévère (0/0.25 pour un truc à moitié correct) et le plus bienveillant (0.25/0.25 pour un truc à moitié correct) vont être plus important qu'avec un barème au point près (0.5/1 pour un truc à moitié correct pour les deux.)
Soit. Sauf que, comme rappelé plus haut, il y a des mises au point. Et qu'un tout sur 5 permet moins de découpages qu'un barème sur 20. Et on retrouve le problème du barème trop précis : ce qui est gênant dans le quart de point, ce n'est pas la précision, c'est la non-découpabilité (oui parce que le huitième de point, ça lasse vite).

Donc noter sur 5 plutôt que sur 20 augmenterait encore les écarts relatifs entre correcteurs.

Pas nécessairement. Comme pour une notation sur 20, il y a une grosse masse de gens qui notent sur le même écart qui correspond étonnamment au même écart relativisé sur 20. C'est juste que la notation sur 5 ne correspond pas à tous les types d'évaluation. Une fois qu'on aura compris que l'échelle de notation est un outil comme un autre, on aura fait un gros progrès dans les débats sur l'évaluation au lieu de lire les mêmes arguments peu approfondis à longueur d'années (un pas en avant, un pas en arrière).

Mmmh, pas convaincue. Si tu es prêt à noter au demi point sur 5, ça correspond à noter à deux points près sur 20.

Par contre, je suis totalement d'accord avec toi sur l'aspect "outil à adapter" de l'échelle de notation. Je note sur 1 (oui oui), sur 2, sur 3, sur 5, sur 10, sur 20, parfois plus au gré du devoir à évaluer.

Hélips a écrit:

Elyas a écrit:

Hélips a écrit:Effectivement, avec un barème au quart de point sur 20, les écarts entre le plus sévère (0/0.25 pour un truc à moitié correct) et le plus bienveillant (0.25/0.25 pour un truc à moitié correct) vont être plus important qu'avec un barème au point près (0.5/1 pour un truc à moitié correct pour les deux.)
Soit. Sauf que, comme rappelé plus haut, il y a des mises au point. Et qu'un tout sur 5 permet moins de découpages qu'un barème sur 20. Et on retrouve le problème du barème trop précis : ce qui est gênant dans le quart de point, ce n'est pas la précision, c'est la non-découpabilité (oui parce que le huitième de point, ça lasse vite).

Donc noter sur 5 plutôt que sur 20 augmenterait encore les écarts relatifs entre correcteurs.

Pas nécessairement. Comme pour une notation sur 20, il y a une grosse masse de gens qui notent sur le même écart qui correspond étonnamment au même écart relativisé sur 20. C'est juste que la notation sur 5 ne correspond pas à tous les types d'évaluation. Une fois qu'on aura compris que l'échelle de notation est un outil comme un autre, on aura fait un gros progrès dans les débats sur l'évaluation au lieu de lire les mêmes arguments peu approfondis à longueur d'années (un pas en avant, un pas en arrière).

Mmmh, pas convaincue. Si tu es prêt à noter au demi point sur 5, ça correspond à noter à deux points près sur 20.

Par contre, je suis totalement d'accord avec toi sur l'aspect "outil à adapter" de l'échelle de notation. Je note sur 1 (oui oui), sur 2, sur 3, sur 5, sur 10, sur 20, parfois plus au gré du devoir à évaluer.

Crois-moi, j'ai géré une centaine de collègues amenés à noter sur 5 et la répartition des notes et les ecarts correspondaient à ce qu'on voyait sur 20.

Ah là, tu commences à avoir un échantillon significatif, je m'incline donc

Nita a écrit:Ah, mais c'est le Hardy de la Laurel qui nous soumettait une copie de Brevet hier, et qui forme un groupe d'évaluation de l'évaluation...

Hélas Laurel n'est plus...

Elle a été -je cite la formule de neoprof- banni du site...

Je sais c'est dur !

Je suis donc tout seul... avec en plus un minuscule QI pour essayer d'avancer une réflexion ! c'est pas facile facile...

Et sinon la notation vous en pensez quelque chose ????

Il n'y a que les QCM sur des choses manichéennes qui n'engendreraient aucune différence de notation. Dès qu'on veut apprendre aux élèves autre chose, on tombe dans ces difficultés de notations, que ce soit sur 5, sur 20 ou 100 ou acquis/non acquis.

Par contre, pour tendre vers une homogénéité plus grande des notations, il faudrait arrêter d'instiller tout le temps le doute dans la tête des profs sur leur légitimité à juger des travaux d'élèves et de changer tous les quatre matins ce qu'on doit évaluer, voire nous donner à évaluer des choses évaluables, genre pas "savoir lire" ou "savoir raisonner" ou autre HIDA sans les référentiels qui vont avec, avec des consignes précises qui vaudraient pour toutes les académies, et pas des formateurs qui se débrouillent dans leur coin pour donner un sens à des injonctions contradictoires.

Vous êtes inquiet car la notation devient n'importe quoi, eh bien je peux vous dire que vous n'avez encore rien vu!  Et aussi que vous ne vous intéressez pas aux vrais scandales, allez voir les différences entre établissements ou académies pour les mêmes épreuves, vous serez édifié.

Tazon a écrit:Vous êtes inquiet car la notation devient n'importe quoi, eh bien je peux vous dire que vous n'avez encore rien vu!  Et aussi que vous ne vous intéressez pas aux vrais scandales, allez voir les différences entre établissements ou académies pour les mêmes épreuves, vous serez édifié.

Sur le contrôle continu du DNB ? HDA ?

Merci...

La prochaine fois que mon fils a de la fièvre, je vais acheter un thermomètre avec des degrés Fahrenheit, je suis sûr que ça va moins le traumatiser.

Bien entendu vous avez raison, les écarts entre correcteurs existent et se poseront de toutes les manières...
Je m' interroge plutôt sur l'importance de cet écart et de l'impossibilité pour un élève d'obtenir une 2ème correction, c'est à dire sur le concept de souveraineté du jury, il me semble que dans cette idée on se devrait, soit de proposer une 2ème correction en cas de litige avéré (coûteux..) soit de réduire les écarts ... Et il me semblait qu'en adoptant une notation par tranche de compétence, cela pouvait réduire de manière significative ces écarts ! mais en lisant les impressions de chacun ça a l'air plus compliqué !

DesolationRow a écrit:La prochaine fois que mon fils a de la fièvre, je vais acheter un thermomètre avec des degrés Fahrenheit, je suis sûr que ça va moins le traumatiser.

Pardon, mais lorsque une note sur une même copie peut-être est notée à 5 ou à 16 selon le correcteur, pouvez-vous m'indiquer quel est la température précise de l'élève ?

Pour reprendre votre métaphore médicale, c'est comme si selon la "marque' du thermomètre utilisé, la température pouvait varier jusqu'à 10 degrés avec précisément la même unité de mesure !

alain2015 a écrit:
Et sinon la notation vous en pensez quelque chose ????

Oui. Que ce n'est pas le problème. Voir à la fin:
https://www.neoprofs.org/t94741p140-suppression-de-la-note-sur-20#3271963

Que la note soit un outil imparfait, sans doute. Mais il est très malhonnête de faire croire qu'un écart tel que vous le mentionnez est la règle. La plupart du temps, une correction sérieuse permet d'obtenir une note globalement fiable, que vient opportunément expliciter un commentaire.

La subtile idée de mon habile métaphore, c'était que le problème n'était pas tant la mesure que mon hypothétique thermomètre me fournissait, mais le fait que le front de l'hypothétique enfant était brûlant. Or les études que vous citez permettent à des lecteurs malintentionnés de faire croire que le problème n'est pas le niveau des élèves (au brevet ou au bac, faut quand même se donner un mal de chien pour ne pas avoir la moyenne, hein), mais la versatilité des correcteurs.

Je ne corrige pas le bac, mais par contre je corrige le brevet tous les ans (en maths). Et, franchement, notre barème est très détaillé, avec une réunion avant de démarrer pour préciser les questions où il pourrait y avoir un doute. Je veux bien, que, n'étant pas des machines, il puisse y avoir 2 ou 3 points d'écart entre un correcteur "indulgent" et un correcteur "exigeant" ... encore que ... on nous incite très fortement à l'indulgence.
Par contre, je vous rappelle que les sujets sont nationaux, pas les barèmes : chaque jury académique se réunit et donne ensuite les consignes à sa "troupe" de correcteurs.
Du coup, s'il y a 10 points d'écart, c'est peut-être leur barème qui était mal fichu, ou pas clair, ou au moins sujet à interprétation.