Suppression des notes : "un vrai ascenseur social", selon une étude (non publiée) de chercheurs du CNRS

Marcel Khrouchtchev a écrit:On peut être d'accord ou pas d'accord avec cette étude, mais demander un flicage du CNRS c'est nul.

En même temps, lorsqu'il s'agit des "sciences" de l'éducation, des représailles qui d'ordinaire pourraient sembler mesquines deviennent du coup tout-à-fait louables. :diable:

Assez prudent pour ne pas publier l'étude, mais pas assez pour se retenir d'en parler.

Si l'étude n'est pas à proprement parler publiée, Pascal Huguet du CNRS se défend de ces attaques. Ce dernier explique que lorsque des résultats positifs sont observés, le CNRS a pour habitude de reconduire l'étude. Ce n'est qu'en cas de résultats similaires que l'étude est publiée. C'est pourquoi l'expérimentation a été poursuivie sur l'année 2015-2016.

http://www.lefigaro.fr/actualite-france/2016/03/16/01016-20160316ARTFIG00257-une-etude-du-cnrs-preconise-de-renoncer-aux-notes-a-l-ecole.php

Luigi_B a écrit:Assez prudent pour ne pas publier l'étude, mais pas assez pour se retenir d'en parler.

Si l'étude n'est pas à proprement parler publiée, Pascal Huguet du CNRS se défend de ces attaques. Ce dernier explique que lorsque des résultats positifs sont observés, le CNRS a pour habitude de reconduire l'étude. Ce n'est qu'en cas de résultats similaires que l'étude est publiée. C'est pourquoi l'expérimentation a été poursuivie sur l'année 2015-2016.

http://www.lefigaro.fr/actualite-france/2016/03/16/01016-20160316ARTFIG00257-une-etude-du-cnrs-preconise-de-renoncer-aux-notes-a-l-ecole.php

Mais pour Pascal Huguet, la seule solution reste aujourd'hui de «tester» les différentes méthodes à grande échelle, seul moyen selon lui de faire évoluer ces habitudes ancrées dans la culture française.

On ne teste pas pour savoir si une système est plus intéressant pour la réussite des élèves, on teste pour faire évoluer. Ça veut tout dire.

Il y avait un truc sur les sciences de l'éducation dans ma signature. Je ne me souviens plus trop pourquoi je l'avais mis...

Cette déclaration est de la même eau que toutes celles que Pascal Huguet a pu faire depuis le 4 mars.

Donc, si je résume, on aura les résultats... dans un an.

Intéressant : https://www.neoprofs.org/t91462p75-dnb-metropole-maths-2015#3572111

La DEPP a écrit:Les notes obtenues à ces épreuves peuvent varier selon les sessions. Ainsi, en 2014, la moitié des élèves avaient obtenu moins de 8/20 à l’épreuve écrite de mathématiques de série générale. En 2015, en revanche, les résultats sont bien meilleurs : seuls un quart des élèves ont moins de 8/20. Les 25 % d’élèves qui réussissent le mieux l’épreuve ont même 16/20 ou plus en 2015 contre seulement 11,5/20 ou plus en 2014.

Luigi a écrit:@the educator : les critiques allusives n'ont pas beaucoup d'intérêt.

je te retourne le compliment: lorsque par exemple tu parles d ela corée et du japon, on ne peut pas dire qu'on ait une vision détaillée de leur système éducatif, on suppose qu'ils notent, mais il y a tellement d'externalités que faire intervenir leur réussite à Pisa dans un débat sur la note, ça demande justement des précisions. Quand tu parles d'égalitarisme de ces systèmes, c'est pareil, il faudrait isoler les différences à l'entrée, les réobserver à la sortie, et determiner que c'est bien le système scolaire qui est responsable des réductions. Si tu as des pistes de lecture, je suis preneur, je n'ai jamais rien vu de tel.
Idem dans ta critique des premiers cycles, tu isoles la pédagogie de compétence, tu la rends responsable de la chute du niveau, par opposition à la note, mais n'est ce pas un poil plus complexe que ça?

Une chronique du philosophe R. Enthoven, ce matin sur Europe1, à ce sujet : Ici

Marcel Khrouchtchev a écrit:

Luigi_B a écrit:@Marcel_Khrouchtchev Je ne peux pas parler pour le Snalc mais pas de flicage, je pense. Simplement la dénonciation de la récupération du label "CNRS" pour donner une belle caution scientifique ce qui ne l'est peut-être pas.

Si ce sont des chercheurs affiliés au CNRS, ils signent comme ça. Ils doivent être jugés par leurs pairs, pas par l'administration du CNRS. C'est parfaitement dégueulasse je trouve d'en appeler à l'institution. Si quelqu'un a un problème scientifique avec moi, il écrit un article, il ne me dénonce pas au conseil scientifique de mon université ou à la directrice de mon labo.

Excuse-moi, mais la fameuse évaluation par les pairs est quand même une sacrée arnaque, dans la mesure où elle est souvent synonyme d'arrangements entre copains. Et même quand ce n'est pas le cas, comme il est moins valorisant de prouver qu'une étude est bidon (de la vérifier en la reproduisant), car la valeur ajoutée dans ce cas est faible, que de produire une autre étude, eh bien, les études sont rarement vérifiées. Je t'accorde que ce que je raconte concerne plus les sciences dures que les sciences humaines, mais en revanche les arrangements entre copains y sont plus fréquentes : il n'y a qu'à voir les postes à la fac profilés exactement pour recruter tel poulain et les parodies de concours du supérieur. Alors, l'évaluation entre pairs, ça me fait doucement rigoler.

Oui, tu as raison Nitescence. Les chercheurs en France sont des planqués cooptés par copinage, tout le monde sait ça.
Donc autant demander l'arbitrage du CNRS, à la tête duquel se trouvent... des chercheurs qui ont choisi de faire une carrière administrative. C'est sûr que là, on a des interlocuteurs tout de suite plus sérieux.

ycombe a écrit:
Les trucs qui me semblent discutables sont d'une part l'avis de la collègue ayant participé et d'autre part la critique du DNB sur le fait que le DNB prend en compte le CC.

En l'occurrence, je ne présente pas un avis mais des faits.
Pour l'évaluation du dispositif, seul l'avis des collègues qui jugeaient ça très bien a été pris en compte. Les personnes qui, comme ma collègue de musique ou moi-même, trouvaient ça négatif, n'ont même pas été invitées à la réunion de bilan.
Cela n'a rien de personnel, c'est objectif.
Et cela discrédite aussi sacrément les méthodes employées pour cette "étude".
Parce qu'avec des méthodes pareilles, je te démontre absolument ce que tu veux.

Marcel Khrouchtchev a écrit:Oui, tu as raison Nitescence. Les chercheurs en France sont des planqués cooptés par copinage, tout le monde sait ça.
Donc autant demander l'arbitrage du CNRS, à la tête duquel se trouvent... des chercheurs qui ont choisi de faire une carrière administrative. C'est sûr que là, on a des interlocuteurs tout de suite plus sérieux.

Je n'ai pas dit que l'arbitrage de l'administration était mieux, mais que l'évaluation par les pairs est le plus souvent une vaste farce et que la présenter comme une panacée est malhonnête ou relève alors d'une naïveté incroyable. Oui, la cooptation ne pousse pas à l'esprit critique : c'est l'évidence même !

the educator a écrit:

Luigi a écrit:@the educator : les critiques allusives n'ont pas beaucoup d'intérêt.

je te retourne le compliment: lorsque par exemple tu parles d ela corée et du japon, on ne peut pas dire qu'on ait une vision détaillée de leur système éducatif, on suppose qu'ils notent, mais il y a tellement d'externalités que faire intervenir leur réussite à Pisa dans un débat sur la note, ça demande justement des précisions.

C'est certain. Mais Nathalie Mons, la présidente du CNESCO, chargée d'évaluer notre système scolaire, n'hésite pas à donner en exemple l'absence de notation en Finlande (ce qui est par ailleurs faux)...

Quand tu parles d'égalitarisme de ces systèmes, c'est pareil, il faudrait isoler les différences à l'entrée, les réobserver à la sortie, et determiner que c'est bien le système scolaire qui est responsable des réductions. Si tu as des pistes de lecture, je suis preneur, je n'ai jamais rien vu de tel.

Je suis bien d'accord.

Mais, en l'occurrence, c'est Pascal Huguet, l'auteur de l'étude, qui s'est référé à PISA ("Pisa nous dit que ce qui caractérise l'école française c'est l'importance des inégalités sociales dans es résultats. Avec l'évaluation des compétences, on tient une piste opérationnelle pour réduire ces inégalités"). Si l'on récuse PISA pour comparer les types d'évaluation, pourquoi s'appuyer sur PISA pour comparer les inégalités ?

nitescence a écrit:

Marcel Khrouchtchev a écrit:Oui, tu as raison Nitescence. Les chercheurs en France sont des planqués cooptés par copinage, tout le monde sait ça.
Donc autant demander l'arbitrage du CNRS, à la tête duquel se trouvent... des chercheurs qui ont choisi de faire une carrière administrative. C'est sûr que là, on a des interlocuteurs tout de suite plus sérieux.

Je n'ai pas dit que l'arbitrage de l'administration était mieux, mais que l'évaluation par les pairs est le plus souvent une vaste farce et que la présenter comme une panacée est malhonnête ou relève alors d'une naïveté incroyable. Oui, la cooptation ne pousse pas à l'esprit critique : c'est l'évidence même !

Moi je suis à la fois malhonnête et naïf tu sais, mais faut pas m'en vouloir, j'ai été coopté précisément pour mon manque d'esprit critique. Mais heureusement que tu es là pour m'en faire prendre conscience!

4 réflexions me viennent à l'esprit sur ce résultat.

1 Si le chercheur est honnête, il mettra à disposition les bases de données utilisées pour obtenir ce résultat.

2 Est ce qu'il serait possible (au sens politique du terme) sur une telle étude de publier des résultats négatifs. Je ne suis pas sur que des parents d'élèves ne ruent pas dans les brancards si le résultat était inverse.

3 Considérer que les élèves forment un bloc homogène par rapport à l'absence de notes me parait statistiquement hasardeux.

4 Juger au bout d'un an, la validité du résultat me parait très court, il faudrait suivre les trajectoires des élèves qui ont subi cette expérimentation sur plusieurs années.

5 Il faudrait surtout faire au minimum un bilan sérieux à l'entrée de l'étude et à la sortie (corrigé en externe).

mais ça c'est une évidence, la politique d'évaluation de toute manière est complètement merdique, parce qu'elle fonctionne sur des temps très courts, puis est ajustée (c'est le mot gentil pour dire chamboulée), et ainsi de suite, si bien qu'on n'a à aucun moment d'observations réalistes. Au mieux on a des tendances macroscopiques, et on ne peut rien en déduire.

Luigi a écrit:Si l'on récuse PISA pour comparer les types d'évaluation, pourquoi s'appuyer sur PISA pour comparer les inégalités ?

je suis complètement d'accord, PISA ne mesure que les performances à PISA, et point barre.

the educator a écrit:je suis complètement d'accord, PISA ne mesure que les performances à PISA, et point barre.

On mesure 40° au thermomètre, mais finalement, cela ne mesure que la température du thermomètre. Sur la température du patient, on n'en sait pas plus. On se demande bien pourquoi on lui a collé un thermomètre dans le rectum.

L'utilité de PISA, c'est d'objectiver la faillite du système pour les naïfs honnêtes. Si tu n'es pas un naïf honnête, c'est sûr que tu n'as pas besoin de PISA : soit tu savais déjà avant, soit tu ne sauras jamais.

archeboc a écrit:On mesure 40° au thermomètre, mais finalement, cela ne mesure que la température du thermomètre. Sur la température du patient, on n'en sait pas plus. On se demande bien pourquoi on lui a collé un thermomètre dans le rectum.

wow. impressionnant.

T'as rien compris, en fait. Pour reprendre ton image, si en apprenant que tu fais 40° de température ton médecin sans te voir diagnostique la grippe, un abcès dentaire, ou un cancer bronchique, il est vraiment costaud.

fifi51 a écrit:4 réflexions me viennent à l'esprit sur ce résultat.

1 Si le chercheur est honnête, il mettra à disposition les bases de données  utilisées pour obtenir ce résultat.

Sous une forme utilisable pour exploiter sérieusement les données ? On peut rêver. Quand on voit la publicité que Pascal Huguet fait sur les mathématiques, qui semblent confirmer son préjugé, et son silence poli sur les matières qui ne le confirment pas...

fifi51 a écrit:
2 Est ce qu'il serait possible (au sens politique du terme) sur une telle étude de publier des résultats négatifs. Je ne suis pas sur que des parents d'élèves ne ruent pas dans les brancards si le résultat était inverse.

Si on s'interdit de publier des résultats pour des raisons politiques, on pratique la «cargo cult science» décrite par Richard Feynman. A une époque, il était politiquement malvenu de proclamer que la Terre tournait autour du soleil : un vrai scientifique n'a que faire des convenances politiques. Il fait une étude, et, quels que soient les résultats, il doit publier ce que son expérience a mis en évidence (y compris lorsque la conclusion de son étude ne confirme pas ses préjugés).

3 Considérer que les élèves forment un bloc homogène par rapport à l'absence de notes me parait statistiquement hasardeux.

Pascal Huguet ne considère pas les élèves comme un bloc homogène, puisqu'il a pris soin de préciser que les écarts entre meilleurs et moins bons diminuaient, et j'imagine qu'il va certainement démontrer par A+B que sa méthode permet d'atténuer les écarts entre les CSP.

4 Juger au bout d'un an, la validité du résultat me parait très court, il faudrait suivre les trajectoires des élèves qui ont subi cette expérimentation sur plusieurs années.

Publier un bilan après une année est tout de même un premier pas minimal (quel que soit le bilan à tirer de l'étude); inutile d'attendre dix ans.

La recherche en sciences de l'éducation, plus ça change, plus c'est pareil:

http://www.cafepedagogique.net/lesdossiers/Pages/contribs_FaussesPreuves.aspx

Sinon, rendez-vous dans dix ans:

http://www.education.gouv.qc.ca/fileadmin/site_web/documents/PSG/recherche_evaluation/Rapport_ERES.pdf

Bonne lecture.

Luigi_B a écrit:Intéressant : https://www.neoprofs.org/t91462p75-dnb-metropole-maths-2015#3572111

La DEPP a écrit:Les notes obtenues à ces épreuves peuvent varier selon les sessions. Ainsi, en 2014, la moitié des élèves avaient obtenu moins de 8/20 à l’épreuve écrite de mathématiques de série générale. En 2015, en revanche, les résultats sont bien meilleurs : seuls un quart des élèves ont moins de 8/20. Les 25 % d’élèves qui réussissent le mieux l’épreuve ont même 16/20 ou plus en 2015 contre seulement 11,5/20 ou plus en 2014.

Déjà les effets extraordinaires de "Stratégie mathématiques" (fin 2014) bien MENdiatisée à l'époque ? Ce serait vraiment trop fort !
Sinon, pourquoi faudrait-il tout changer ? Faire encore mieux sans doute en poursuivant dans cette voie  !
http://cache.media.education.gouv.fr/file/12_Decembre/30/2/DP-l-ecole-change-avec-vous-strategie-mathematiques_373302.pdf
http://www.education.gouv.fr/cid84398/strategie-mathematiques.html
"Stratégie mathématiques" qui préfigurait les futurs programmes de mathématiques.
Une étude qui "démontrerait" l'efficacité d'un enseignement par compétences particulièrement en mathématiques, voilà qui tombe bien : c'est une marotte qui prend de plus en plus de place dans le discours de l'inspection de mathématiques.
En venir à disséquer l'apprentissage des mathématiques en éprouvant le besoin d'écrire que les 6 compétences à mobiliser sont chercher, modéliser, représenter, raisonner, calculer, communiquer et que l'écrire va suffire à tout arranger est assez surprenant (surtout qu'en fait ce discours n'est pas nouveau et qu'il semble que les effets ne soient pas au rendez-vous, sans doute parce que les enseignants ne s'y mettent pas assez   ).
Comment serait-il possible de ne pas mobiliser ces compétences, de ne pas les évaluer dans la formation en mathématique ?
A cause  d'horaires insuffisants, par exemple, qui ne permettent pas de les pratiquer assidûment ?
Non, non, rien à voir, puisqu'on peut faire mieux sans plus d'heures de cours  
Ca donne le sentiment de regarder ailleurs et de tourner autour du pot.
J'espère avoir tort et qu'on tient enfin LA solution.

Comme le dit Iphigénie, contrairement à ce que veulent faire croire ces études fumeuses, le problème n'est pas tant la note que le fait que la note dans certains établissements ne veut plus dire grand chose.

Je donne des cours particuliers à un élève du fait de ma casquette d'ex prof ; il est scolarisé au collège public du coin qui a longtemps été un excellent collège (deux amis khâgneux dont un normalien y sont passés). J'ai hésité à y mettre mes fils car le niveau a beaucoup baissé depuis, quand je vois le niveau de cet élève je me dis que j'ai bien fait de les mettre ailleurs.

Cet élève a eu 8/40 au brevet en français, d'où le fait qu'il veuille prendre des cours car il craint de perdre la mention au bac comme cela a été le cas au brevet ; mais il considère cependant qu'il a été  noté méchamment au brevet (son argument : "mon pote qui était le plus fort en français de toute la classe a eu que 20/40 Madame, c'est bien la preuve qu'ils ont noté n'importe comment non?"). Lui a eu la moyenne toute l'année. Il fait environ 5 fautes par ligne, beaucoup de grosses fautes de syntaxe -et n'a aucune conscience du fait que certaines de ses phrases ne tiennent pas debout-, ne comprend pas le sens littéral des textes (et même de textes contemporains).

Il a été surnoté, et oui en l'occurrence la note a été une catastrophe, après je ne suis pas certaine que la supprimer soit la solution. Une notation cohérente tout au long de l'année depuis la 6ème l'aurait certainement aidé (il vient de l'école de mes fils qui a plutôt un bon niveau donc je me demande s'il ne s'est pas étiolé au collège notamment à cause des notes surévaluées).

Il est relativement volontaire mais je ne sais pas si je vais arriver à quelque chose car il ne me croit pas quand je lui dis qu'il faut améliorer son orthographe (je lui propose de passer faire une dictée gratuitement quand j'en fais une à mes fils), il pense qu'il a juste besoin de "méthode" (ce qui n'est pas faux non plus mais ne suffira pas)... Ce qui me frappe c'est qu'apparemment sa famille n'a pas vraiment conscience de ses lacunes, considère sa note de brevet comme un "accident" (et pourtant je ne pense pas que le brevet note très sévère...)

Le mythe de la « méthode » est l'un des plus pernicieux. Il fonctionne comme un écran qui empêche de percevoir les difficultés.

Surtout de la méthode d'évaluation, en fait, parce que pendant ce temps là, quel que soit le thermomètre choisit par Archeboc, il n'indiquera jamais qu'une température :/

Un ascenseur, ça va bien vers le bas aussi, non?

Ah oui, et sinon, ça fait du bien en maths, mais ça n'a pas d'impact en français et HG.

Deux remarques:
* la communication orchestrée autour de cette étude omet donc que les résultats sont négligeables pour 2/3 de ce qui est évalué,
* cela montre bien que l'approche par compétences est inutile, voire nuisible dès lors qu'on quitte un apprentissage plutôt procédural et qu'on est dans quelque chose qui a trait à la culture.