Suppression des notes : "un vrai ascenseur social", selon une étude (non publiée) de chercheurs du CNRS

F.Lemoine a écrit:Je joue à fond le système de la note chiffrée : j'en mets entre 20 et 30 par trimestre. Ces sont pour la grande majorité des évaluations sur des choses précises et répétitives (conjugaison, bien répondre à une question, apprentissage du vocabulaire, participation orale, etc.). Cela me semble essentiel : cela donne des repères aux élèves et les aide à s'améliorer dans chaque domaine visé. Et cela fonctionne pour les élèves qui ont envie de progresser.
Il y a aussi des notes sur des choses plus complexes (par exemple les travaux de rédaction). Les coefficients ne sont pas les mêmes.
Ce qui me semble dommageable, ce n'est pas la note, c'est de zapper la première étape (l'évaluation régulière de tout le travail fourni en amont des travaux plus complexes).
Quand je vois sur les bulletins des moyennes de français qui sont des calculs faits à partir de deux à cinq notes sur tout le trimestre, je m'interroge : cela ressemble à des couperets.

PY a écrit:Ce que the_educator a écrit ne peut s'interpréter, il me semble, que d'une seule manière: presque toutes les études sérieuses prennent la peine, etc. (Après, j'ai du mal à saisir moi aussi comment ça s'articule à ce qui précède.)

the educator a écrit:
Cette etude à une particularité, c'est son échelle, apparemment, je ne sais plus qui mettait en doute l'homogénéité du panel, mais là l'effet de lissage est difficilement contestable avec presque 5000 élèves concernés. Par contre ça renforce encore plus les craintes sur le protocole, parce que pour observer autant d'élèves, d'équipes, sur autant d'établissements, il faut forcément alléger le dispositif, et ça fait autant de paramètres qui passent à la trappe. Enfin attendons de voir la publication.

Luigi_B a écrit:
http://www.lanouvellerepublique.fr/Indre/Actualite/Education/n/Contenus/Articles/2015/09/10/Rosa-Parks-precurseur-d-une-autre-evaluation-2458418

Pour l'année 2014-2015, le collège avait testé cette évaluation dite positive à une seule classe de troisième.

ycombe a écrit:Le collège dont il est question est passé au DNB de 64% de réussite en 2014 à 93% en 2015: http://www.france-examen.com/brevet/palmares-colleges/orleans-tours/indre-36/college-public-rosa-parks-chateauroux

BR a écrit:Le principal problème avec ce genre d'expérimentation, c'est qu'il n'y a pas d'échec possible. Les chercheurs adoptent clairement une démarche militante : ils ont donc naturellement tendance à mettre en avant ce qui flatte leurs préjugés, et à oublier le reste.

Gageons que la publication de leurs résultats mettra en avant le fait que leur méthode a permis d'obtenir un succès pleinement mesurable en mathématiques, et que le fait qu'il n'y ait aucun effet mesurable en français et en histoire géographie sera pudiquement tu. S'il s'était avéré par hasard que la méthode donne des résultats significatifs en français, mais pas en mathématiques, il y aurait sans doute eu le même battage médiatique, et le même silence pudique sur la ou les matières pour lesquelles on ne mesure aucune amélioration.

J'imagine qu'un chercheur militant contre la pédagogie de projet aurait pu, avec la même étude, fanfaronner en expliquant que la pédagogie de projet et la suppression des notes est un échec, puisqu'elle n'a pas d'effet notable sur les résultats en français et en histoire.

Ce n'est donc pas une étude scientifique

Luigi_B a écrit:

ycombe a écrit:Le collège dont il est question est passé au DNB de 64% de réussite en 2014 à 93% en 2015: http://www.france-examen.com/brevet/palmares-colleges/orleans-tours/indre-36/college-public-rosa-parks-chateauroux

A 94% même, soit +30% (avec une dizaine d'élèves en plus). Le taux de mentions a lui aussi bondi de 25% à 44%.

Si seuls la classe en expérimentation et l'examen en mathématiques (cf article du "Café") sont responsables de ce bond extraordinaire, les résultats en mathématiques ont dû être fabuleux.

Luigi a écrit:Un auteur qui n'a pas encore rédigé son étude mais se répand dans la presse, c'est effectivement très scientifique.

Bouboule a écrit:
Les auteurs ont droit à une grosse dépêche AEF aujourd'hui. L'auteur de la dépêche ne livre absolument aucune référence.

D'après la dépêche, l’étude a été menée dans environ 70 établissements, dont 59 collèges ce qui fait environ 6 000 élèves concernés sur des niveaux de classe allant de la 6e à la seconde.
En même temps il est dit que l’étude s’est concentrée sur le niveau 3e. Elle se poursuit en 2015-2016 dans 35 collèges et 5 lycées.

J'attends avec impatience le contenu mais j'apprécie peu la communication.

Bouboule a écrit:
Les auteurs ont droit à une grosse dépêche AEF aujourd'hui. L'auteur de la dépêche ne livre absolument aucune référence.

D'après la dépêche, l’étude a été menée dans environ 70 établissements, dont 59 collèges ce qui fait environ 6 000 élèves concernés sur des niveaux de classe allant de la 6e à la seconde.
En même temps il est dit que l’étude s’est concentrée sur le niveau 3e. Elle se poursuit en 2015-2016 dans 35 collèges et 5 lycées.

J'attends avec impatience le contenu mais j'apprécie peu la communication.

Gauvain a écrit:Le problème est que la communication n'est pas du tout scientifique. Tout expérimentation scientifique se doit d'être d'abord publiée dans une revue scientifique avant d'être communiquée au grand public.

Luigi a écrit:Bien d'autres aspects de cette "étude" ne semblent guère scientifiques : des références non scientifiques, des auteurs qui ont déjà pris position sur la question étudiée, une présentation de l'expérimentation aux enseignants participants qui condamne déjà la notation chiffrée, pas de protocole identique d'un collège à l'autre, des conclusions généralisées alors qu'elle ne sont pas généralisables à partir de toutes les disciplines...

There are big schools of reading methods and mathematics methods, and so forth, but if you notice, you'll see the reading scores keep going down--or hardly going up in spite of the fact that we continually use these same people to improve the methods. There's a witch doctor remedy that doesn't work. It ought to be looked into; how do they know that their method should work? Another example is how to treat criminals. We obviously have made no progress--lots of theory, but no progress-- in decreasing the amount of crime by the method that we use to handle criminals.

Yet these things are said to be scientific. We study them. And I think ordinary people with commonsense ideas are intimidated by this pseudoscience. A teacher who has some good idea of how to teach her children to read is forced by the school system to do it some other way--or is even fooled by the school system into thinking that her method is not necessarily a good one. Or a parent of bad boys, after disciplining them in one way or another, feels guilty for the rest of her life because she didn't do "the right thing," according to the experts.

So we really ought to look into theories that don't work, and science that isn't science.

I think the educational and psychological studies I mentioned are examples of what I would like to call cargo cult science. In the South Seas there is a cargo cult of people. During the war they saw airplanes land with lots of good materials, and they want the same thing to happen now. So they've arranged to imitate things like runways, to put fires along the sides of the runways, to make a wooden hut for a man to sit in, with two wooden pieces on his head like headphones and bars of bamboo sticking out like antennas--he's the controller--and they wait for the airplanes to land. They're doing everything right. The form is perfect. It looks exactly the way it looked before. But it doesn't work. No airplanes land. So I call these things cargo cult science, because they follow all the apparent precepts and forms of scientific investigation, but they're missing something essential, because the planes don't land.

One example of the principle is this: If you've made up your mind to test a theory, or you want to explain some idea, you should always decide to publish it whichever way it comes out. If we only publish results of a certain kind, we can make the argument look good. We must publish both kinds of results.

the educator a écrit:

Luigi a écrit:Un auteur qui n'a pas encore rédigé son étude mais se répand dans la presse, c'est effectivement très scientifique.

Ce n'est effectivement pas très sain, et la récupération est également effrayante, mais par contre c'est monnaie courante, que ce soit dans la presse grand public ou spécialisée, de "disserter" avant de publier, et dans tous les domaines, des tas de labos font des communiqués avant de publier (des fois même après quelques résultats).
Je corrige donc ma phrase:
Tu déduis des suppositions de quelqu'un qui n'a pas lu le papier qui n'a pas été publié la nature de l'étude: c'est très rigoureux, ça, par contre, chapeau.

Le SNALC-FGAF interpelle donc solennellement le CNRS, et lui demande de se pencher sur les pseudo-études menées sous son patronage et de mettre bon ordre à tout cela.