Suppression des notes : "un vrai ascenseur social", selon une étude (non publiée) de chercheurs du CNRS

Je vois qu'un syndicat a réagi : https://www.snalc.fr/national/article/2248/

Le SNALC-FGAF interpelle donc solennellement le CNRS, et lui demande de se pencher sur les pseudo-études menées sous son patronage et de mettre bon ordre à tout cela.

On peut être d'accord ou pas d'accord avec cette étude, mais demander un flicage du CNRS c'est nul.
La recherche doit être libre et le débat entre scientifiques doit l'être aussi. Vous avez bien montré en quelques lignes les incohérences de cette étude qui se discrédite d'elle-même, et les chercheurs qui l'ont menée en sont sans doute tout interdits. Mais est-il nécessaire de menacer de délation à une autorité de tutelle qui, par ailleurs, est déjà bien pesante?

En médecine, les études scientifiques bidons sont monnaie courante.
A tel point que les études apportant une preuve robuste sont rares.
D'ailleurs on ne compte plus les revirements (on conseille un traitement et 10 ans plus tard on conseille le contraire, on retire du marché,...).

En éducation je pense que c'est comparable (peu de transparence, peu de lectures critiques, systèmes étatiques).
Il est utile de faire ce travail de lecture critique, car peu de profs sont au courant des faiblesses du système.
Du coup les études sont prises pour argent comptant.

@Marcel_Khrouchtchev Je ne peux pas parler pour le Snalc mais pas de flicage, je pense. Simplement la dénonciation de la récupération du label "CNRS" pour donner une belle caution scientifique ce qui ne l'est peut-être pas.

pailleauquebec a écrit:En médecine, les études scientifiques bidons sont monnaie courante.
A tel point que les études apportant une preuve robuste sont rares.
D'ailleurs on ne compte plus les revirements (on conseille un traitement et 10 ans plus tard on conseille le contraire, on retire du marché,...).

La médecine est un cas très compliqué et pas uniquement scientifique.

D'une part, les études sont publiées avant d'être mises sur la place publique ce qui est le minimum de l'éthique scientifique. Leur côté significatif ou non est ensuite jugé par la communauté scientifique. Il est vrai cependant que même quand celle-ci pense que l'étude est bidon, il est rare qu'il y ait rétractation.
Pour ce qui est de la mise sur le marché et des conseils pour un traitement ou un autre, le problème est encore plus complexe puisque rentrent en jeu des considérations financières, administratives, de disponibilité du médicament, de lobbyisme mais aussi politiques et enfin de formation des médecins (surtout pour les actes très novateurs par exemple). On n'est plus uniquement dans des questions scientifiques. Sans parler bien évidemment des questions de compétences et de conflits d'intérêts des personnes qui prennent la décision.
On touche à des questions extrêmement complexes et extrêmement sensibles socialement. Prenez par exemple l'allaitement maternel, toutes les études montrent que sauf cas très particuliers (faible production de lait, maladie de la mère transmissible par le lait...), il est bénéfique pour la santé de l'enfant. Vous imaginez le scandale si on rendait l'allaitement maternel obligatoire sauf raison médicale motivée.

Par contre, le processus de publication suit les codes de la communauté scientifique : publication par peer review puis diffusion éventuelle sur la place publique, puis confirmations puis utilisation et suivi pour détecter les éventuels problèmes. Ce n'est pas le cas en sciences de l'éducation où on n'hésite pas à 1) faire des tests de méthode pédagogique pour voir si ça marche ou pas sur des gamins qui n'ont rien demandé à personne (imaginez le scandale si on vous injectait sans vous prévenir une molécule potentiellement médicamenteuse juste comme ça pour voir), 2) n'hésite pas à diffuser des résultats non publiés et donc non critiquables scientifiquement, 3) dire les résultats de l'expérience avant même de l'avoir réalisé, 4) on ne fait aucun retour d'expérience après généralisation.
Bref, 4 comportements qui font de cette discipline, non pas des sciences de l'éducation, mais des pseudo-sciences de l'éducation. Très différent donc de la médecine qui 1) impose des études préalables positives sur des animaux avant de passer aux tests sur des humains ayant donné un consentement éclairé, 2) publie avant tout pour la communauté scientifique, 3) a en place des protocoles de feed-back pour contrôler les résultats après mise sur le marché (détection des effets secondaires rarissime, statistiques d'amélioration ou non de la situation à plus ou moins long terme), 4) n'hésite pas à changer de recommandations quand les données, quand les faits montrent que l'on s'est trompé avant. Alors bien sûr, il y a des tas de problèmes en médecine mais on peut bien parler de sciences médicales.

Enfin, je ne sais pas dans quelle discipline vous étudiez, mais les études qui montrent des preuves robustes sont très rares en sciences expérimentales. C'est une suite d'étude, réalisées par plusieurs équipes qui amènent une preuve robuste, quasiment toujours. Même pour les trucs qui font le buzz dans la presse. Et vous seriez surpris de voir à quel point une étude peut-être discuté dans la communauté scientifique au sens large après sa publication.

Luigi_B a écrit:@Marcel_Khrouchtchev Je ne peux pas parler pour le Snalc mais pas de flicage, je pense. Simplement la dénonciation de la récupération du label "CNRS" pour donner une belle caution scientifique ce qui ne l'est peut-être pas.

Si ce sont des chercheurs affiliés au CNRS, ils signent comme ça. Ils doivent être jugés par leurs pairs, pas par l'administration du CNRS. C'est parfaitement dégueulasse je trouve d'en appeler à l'institution. Si quelqu'un a un problème scientifique avec moi, il écrit un article, il ne me dénonce pas au conseil scientifique de mon université ou à la directrice de mon labo.

Ces chercheurs vont avoir du mal à être jugés par leurs pairs puisque l'étude n'est pas rédigée. En attendant ils communiquent à tout va. Si personne ne peut s'en indigner...

J'envisageais d'écrire un article sur cette "étude" mais comme elle n'était pas disponible je m'en suis abstenu jusqu'ici. Visiblement "Le Monde" a des standards plus lâches.

Mais bien sûr qu'on peut s'en indigner, et d'ailleurs des réponses leur sont adressées.
Si on y a accès, c'est qu'elle est, d'une certaine manière, publiée et qu'on peut y répondre.
Ne te donne pas une déontologie qui n'est pas nécessaire et réponds-leur, ce sera le meilleur service que tu pourras rendre à la cause que tu défends. Ce sera en tout cas plus utile et productif que de mettre en branle les autorités du CNRS.
Et je te lirai avec plaisir.

Sulfolobus a écrit:La médecine est un cas très compliqué et pas uniquement scientifique.

(...)Ce n'est pas le cas en sciences de l'éducation où on n'hésite pas à 1) faire des tests de méthode pédagogique pour voir si ça marche ou pas sur des gamins qui n'ont rien demandé à personne (imaginez le scandale si on vous injectait sans vous prévenir une molécule potentiellement médicamenteuse juste comme ça pour voir), 2) n'hésite pas à diffuser des résultats non publiés et donc non critiquables scientifiquement, 3) dire les résultats de l'expérience avant même de l'avoir réalisé, 4) on ne fait aucun retour d'expérience après généralisation.
Bref, 4 comportements qui font de cette discipline, non pas des sciences de l'éducation, mais des pseudo-sciences de l'éducation. Très différent donc de la médecine qui 1) impose des études préalables positives sur des animaux avant de passer aux tests sur des humains ayant donné un consentement éclairé, 2) publie avant tout pour la communauté scientifique, 3) a en place des protocoles de feed-back pour contrôler les résultats après mise sur le marché (détection des effets secondaires rarissime, statistiques d'amélioration ou non de la situation à plus ou moins long terme), 4) n'hésite pas à changer de recommandations quand les données, quand les faits montrent que l'on s'est trompé avant. Alors bien sûr, il y a des tas de problèmes en médecine mais on peut bien parler de sciences médicales.

Enfin, je ne sais pas dans quelle discipline vous étudiez, mais les études qui montrent des preuves robustes sont très rares en sciences expérimentales. C'est une suite d'étude, réalisées par plusieurs équipes qui amènent une preuve robuste, quasiment toujours. Même pour les trucs qui font le buzz dans la presse. Et vous seriez surpris de voir à quel point une étude peut-être discuté dans la communauté scientifique au sens large après sa publication.

Je suis prof, j'ai pas mal de médecins dans la famille.
Je connais bien les deux mondes.

Je serais moins critique que toi sur les sciences de l'éducation ou plus sévère envers la recherche médicale.
Je dirais que dans ces deux mondes la prudence s'impose vis à vis des études scientifiques.
En effet, il faut de nombreuses études convergentes pour apporter une preuve robuste.
Et même là, il y aura toujours un doute, tant que le temps n'aura pas donné le recul nécessaire.

J'ai tendance à dire maintenant à celui qui m'apporte une bonne idée (en éducation comme en médecine) : "reviens me voir dans 10 ans et on en reparle". Cela n'empêche pas le progrès dans certains domaines, mais il faut être très prudent.

Je suis effaré par l'attitude de certains collègues qui suivent les modes sans esprit critique.

Luigi_B a écrit:Ces chercheurs vont avoir du mal à être jugés par leurs pairs puisque l'étude n'est pas rédigée. En attendant ils communiquent à tout va. Si personne ne peut s'en indigner...

J'envisageais d'écrire un article sur cette "étude" mais comme elle n'était pas disponible je m'en suis abstenu jusqu'ici. Visiblement "Le Monde" a des standards plus lâches.

Tout comme RadioFrance ; sur France Info on répète en boucle depuis ce matin que les compétences favorisent la réussite et réduisent les inégalités sociales. Sans aucun recul ou esprit critique.

Je vois d'ailleurs que sur France Inter on fait la même présentation : ici.

France Inter a écrit:
Les professeurs qui pratiquent déjà les classes sans notes l’avaient expérimenté, mais c’est la première fois qu’une étude scientifique le démontre : supprimer partiellement les notes a des résultats positifs.

J'adore leur conception de la démonstration...

Leur spécialiste Education, Sonia Bourhan, avait déjà pondu un article il y a deux ans, pas du tout mais alors pas du tout partisan.
Extrait :

Sonia Bourhan a écrit:
Dans ce collège, la moitié des professeurs ne donnent plus de notes. Les autres continuent à en mettre, souvent par habitude, y compris les plus jeunes. Blandine David enseigne l'espagnol depuis trois ans et n'a pas encore franchi le pas.

Ah ces profs qui ne réfléchissent jamais à leurs pratiques, et qui ne font des choix que par défaut ou par fainéantise d'esprit...

N'empêche que j'attends encore et toujours la réponse à une question que je pose depuis des années :
Si j'arrête de noter, est-ce que ça va faire augmenter mes notes administrative et pédagogique ? :|

William Foster a écrit:N'empêche que j'attends encore et toujours la réponse à une question que je pose depuis des années :
Si j'arrête de noter, est-ce que ça va faire augmenter mes notes administrative et pédagogique ? :|

Tu voulais dire améliorer ton bilan de compétences administratif et ton bilan de compétences en sciences pédagogiques (oups un oxymore !)

ZeSandman a écrit:

William Foster a écrit:N'empêche que j'attends encore et toujours la réponse à une question que je pose depuis des années :
Si j'arrête de noter, est-ce que ça va faire augmenter mes notes administrative et pédagogique ? :|

Tu voulais dire améliorer ton bilan de compétences administratif et ton bilan de compétences en sciences pédagogiques (oups un oxymore !)

Ben non, ma note, pisque c'est d'elle que mon salaire dépend... $$  :lol:  $$
Pis je suis déjà pas mal conscient de mes compétences dans le domaine administratif, et j'ai bientôt fini mon deuil sur mes espoirs de devenir un jour un pédagogue reconnu par mon administration.

D'une manière générale, l'exemplarité étant le début de toute proposition de changement, si on veut que les profs arrêtent de donner des notes, il faudrait arrêter de les noter, et de tout noter, partout, tout le temps, avec une frénésie maladive, comme le disait mon 100 000ème follower sur Touiteur et mon 200 000ème ami sur Fessebouc (Fessebouc qui a encore eu une bonne note de Banal & Pauvre¹, ainsi que dans Femme Actuelle -rubrique "trucs pratiques").

Pis les notes, c'est que pour les gens bêtes, comme ils disent en latin².

¹ Agence de notation Franco-Corse.
² Note-à-Benêts.

ycombe a écrit:

Luigi_B a écrit:
http://www.lanouvellerepublique.fr/Indre/Actualite/Education/n/Contenus/Articles/2015/09/10/Rosa-Parks-precurseur-d-une-autre-evaluation-2458418

Le collège dont il est question est passé au DNB de 64% de réussite en 2014 à 93% en 2015: http://www.france-examen.com/brevet/palmares-colleges/orleans-tours/indre-36/college-public-rosa-parks-chateauroux

Pourtant:

Pour l'année 2014-2015, le collège avait testé cette évaluation dite positive à une seule classe de troisième.

Soit ils font des classes de niveau et l'intégralité de cette classe n'auraient pas du faire partie des reçus, soit on ne peut pas vraiment attribuer cette "réussite" à l'expérimentation.

Je n'ai pas trouvé d'information sur leurs notes au CC et aux épreuves.

Il y a aussi le fait que le brevet 2015 a été particulièrement réussi, il y a un fil sur ça :
https://www.neoprofs.org/t99986-58-de-mention-les-dessous-du-brevet-2015

Article rédigé. J'ai découvert un aspect réjouissant de cette expérimentation, qui explique sans doute pourquoi elle peut effectivement être très appréciée des élèves. Je n'en dis pas plus...  

"Une étude qui dénote"



Allez, je passe à mes copies.

Le collège dont il est question est passé au DNB de 64% de réussite en 2014 à 93% en 2015: http://www.france-examen.com/brevet/palmares-colleges/orleans-tours/indre-36/college-public-rosa-parks-chateauroux

On peut aussi assez facilement dévier les résultats au brevet par une simple politique locale de notation large au contrôle continu. sans présenter les deux moyennes, on ne peut pas mettre ces résultats dans un contexte local. Et sans un historique d'évaluation à l'entrée en 6e, on ne peut pas se départir de l'effet cohorte. mais encore une fois, ça ne coute rien de se faire de la pub (d'autant que mécaniquement, avoir bonne presse permet d'attirer ou de retenir de bons élèves).

Luigi a écrit:Article rédigé. J'ai découvert un aspect réjouissant de cette expérimentation, qui explique sans doute pourquoi elle peut effectivement être très appréciée des élèves. Je n'en dis pas plus... Razz

"Une étude qui dénote"

il y a quelques sacrés raccourcis aussi, mais bon, je suppose que contrairement à cette étude, tu ne prétends à aucune rigueur scientifique.

Je ne suis pas convaincu que des gens prêts à sacrifier leur honnêteté intellectuelle en biaisant ainsi des résultats pour les faire concorder à leurs a priori (et à une commande) soient à même d'entendre ce genre de réponses.

P.S. : citation n°14 à retaper, et faute de frappe dans la phrase juste avant "Vers une nouvelle révolution scolaire"

Je ne crois pas avoir vu le détail des calculs, alors je le mets ici...
Supposons que dans ledit collège, il y ait deux classes de 3°. Disons 2 classes, 3A et 3B, de 25 élèves, comme l'an dernier. 64% de reçus, cela fait 32 élèves reçus, disons 16 par classe...
Le groupe témoin 3A n'ayant pas profité de l'expérimentation devrait rester à 16 élèves ("toutes choses étant égales par ailleurs blablabla") et posons alors x le nombre de reçus en 3B.
(16 + x ) / 50 = 94%, ce qui donne x = 31. Il y a donc eu 31 élèves de reçus au DNB dans cette classe de 25.

Et si jamais il y avait plus que deux classes, il faudrait alors que ce nombre soit encore plus grand pour compenser.
:gratte:

Bravo pour cette entreprise de démystification. Là au moins c'est clair. Et c'est bien plus efficace et tranchant que d'aller pleurnicher devant les autorités du CNRS.
Merci Luigi et bon courage pour les copies.

Je penche plutôt pour quatre classes : 87 élèves inscrits au brevet en 2015, d'après les données du MEN.

Merci pour les coquilles.

@the educator : les critiques allusives n'ont pas beaucoup d'intérêt.

Oui mais ça ça suppose un taux constant de succès au brevet dans la classe témoin. Or il me semble avoir lu que le taux de succès a explosé en 2015. Ça donne quoi si on prend comme hypothèse que le taux de 3A est égal à la moyenne académique ? Obtient-on une différence significative avec la 3B ? (oui j'ai la flemme de faire les calculs :p)

Sulfolobus a écrit:Oui mais ça ça suppose un taux constant de succès au brevet dans la classe témoin. Or il me semble avoir lu que le taux de succès a explosé en 2015. Ça donne quoi si on prend comme hypothèse que le taux de 3A est égal à la moyenne académique ? Obtient-on une différence significative avec la 3B ? (oui j'ai la flemme de faire les calculs :p)

Oui bah moi aussi :lol:
Peut-être qu'en les demandant gentiment au principal il les donnerait sans les bidouiller ?

Luigi_B a écrit:Article rédigé. J'ai découvert un aspect réjouissant de cette expérimentation, qui explique sans doute pourquoi elle peut effectivement être très appréciée des élèves. Je n'en dis pas plus...  

"Une étude qui dénote"



Allez, je passe à mes copies.

Les trucs qui me semblent discutables sont d'une part l'avis de la collègue ayant participé et d'autre part la critique du DNB sur le fait que le DNB prend en compte le CC. Si j'ai bien suivi, l'étude prétend évaluer l'efficacité sur les écrits du DNB (ce qui ne me choquerait pas si le DNB n'était pas aussi bas par rapport aux exigibles des programmes), donc sans tenir compte des avis des enseignants. Je parle de l'étude "CNRS" et pas des IPR.

Mais il est vrai que ce qui est rapporté par les différents médias n'est pas très clair.

Si les exigences des examens du DNB sont basses, elles le sont pour tous.

C'est l'incertitude sur ce qui fait l'objet de l'évaluation dans l'étude (examen ou examen + contrôle continu) qui m'avait retenu de rédiger l'article jusqu'ici. J'ai d'ailleurs pris mes précautions : "Le résultat au diplôme national du brevet étant, pour la plus grande part, déterminé par le contrôle continu, on ne peut pas imaginer que l’étude du CNRS le prenne en compte : il constituerait un biais évident."

Reste que la première dépêche de l'AFP parle bien des "résultats obtenus au diplôme national du brevet" et que le principal de Rosa-Parks se réfère bien au taux de réussite de son collège. Plus troublant encore : le progrès extraordinaire de Rosa-Parks en 2015 (de 64% à 94% de réussite) ne peut mathématiquement pas s'expliquer par le seul examen de mathématiques dans une seule classe sur quatre (avec un écart statistique de trois points).

Marcel Khrouchtchev a écrit:On peut être d'accord ou pas d'accord avec cette étude, mais demander un flicage du CNRS c'est nul.

En même temps, lorsqu'il s'agit des "sciences" de l'éducation, des représailles qui d'ordinaire pourraient sembler mesquines deviennent du coup tout-à-fait louables. :diable: