Tests de positionnement 2de maths français

ben2510 a écrit:Le problème avec des questions faibles comme celles de ce test, c'est qu'on se retrouve dans une de ces deux situations :
* l'élève a un mauvais score, et on peut dire qu'il est en grande difficulté,
* l'élève a un bon score, et on ne peut pas dire qu'il soit en réussite probante.

C'est la question de l'étalonnage du test. Durant l'étape de conception, on fait passer le test à une population représentative et ensuite, on pondère questions et réponses pour obtenir une courbe en cloche. J'écris pour les non-matheux. C'est comme cela que sont conçus les tests psychotechniques (ex: WISC) et quand on parle de positionnement, c'est toujours par rapport à une population représentative. Si au final le résultat dans chaque établissement n'est pas une coube ressemblant, grosso-modo, à une courbe en cloche, c'est que le test est mal-conçu. Exemple qui parle à tout le monde, regardez bien le diagramme des notes au CAPES, il forme une cloche.

D'après les premiers témoignages, le test de positionnement semble mal-conçu. Ensuite, il faut se demander pourquoi. Personnellement, je pense que c'est la logique de l'égalitarisme intégral qui prévaut, donc que tous les enfants doivent avoir une bonne note, pour ne pas faire d'inégalité. On en est à ce stade de désagrégation dans l'EN.

Maintenant c'est aux syndicats de se rapprocher de la société éditrice et de demander un complément d'informations concernant la méthodologie, l'échantillon représentatif, etc ... On n'est pas dans un cadre commercial, donc on ne peut pas invoquer la tromperie sur la marchandise, par contre il existe bien une relation commerciale entre l'éditeur et l'EN. L"éditeur est un professionnel des tests, il est tenu à une obligation de moyens. Si l'EN s'est faite enfumer, elle n'est pas tenue de payer la prestation.

Apparemment, d'après la direction, quasiment tous nos élèves ont "maîtrise satisfaisante" ou "très satisfaisante" (sauf ceux qu'on a déjà repérés comme étant complètement largués, bien sûr).
Alors forcément, ils ne vont pas comprendre pourquoi la moyenne au premier DS n'est que de 9,5/20, puisqu'ils sont sensés maîtriser les bases !
Un vrai gaspillage d'argent public, de temps, pour rien... Avec pour seule conséquence de faire passer les profs de lycée comme trop exigeants, alors que ceux de collège sont géniaux puisqu'ils ont amené tous les élèves (ou presque) à maîtriser les bases.
(un élève avait 17 de moyenne en troisième, m'a-t-il dit ; là je lui rend un 7/20... il m'avoue que la moyenne de classe l'an passé était de 15/20)
Le test permet, à la rigueur, de repérer les élèves qui n'auraient jamais dû envisager un seul instant d'aller en seconde. Il ne dit rien des capacités des autres à réussir à assimiler le programme de cette année.

@Amelien : mais si, on aura une courbe en cloche, centrée sur très satisfaisant ! Puisqu'il est inenvisageable que le système n'ait pas réussi à amener les élèves au niveau, ce test prouve donc aux non-initiés qu'ils ont tous le niveau. Avec, disons, moins de 10% en insuffisant, on en revient aux seuils pathologiques du QI. Peut-être que ce test n'est là que pour prouver que les profs ont tort de se plaindre de la baisse de niveau ?

Pat B a écrit:Peut-être que ce test n'est là que pour prouver que les profs ont tort de se plaindre de la baisse de niveau ?

Je raisonne de manière booléenne. Soit l'erreur est commise par la société éditrice et il faut obtenir le remboursement de la prestation. Soit l'erreur provident de l'EN qui a commandé un test dont les attendus étaient de très bons résultats pour tout le monde et là c'est gravissime.

En droit (commercial), c'est la question de la tromperie sur la marchandise. Le vendeur est un professionnel des tests de positionnement, donc aucune excuse ne peut être retenue, il est bien tenu à une obligation de moyens (jurisprudence constante). J'entends par là que même si l'EN lui avait commandé un test bidon, l'entreprise était tenu de refuser. Dans tous les cas (qu'il ait commis une erreur ou que l'erreur lui ait été dictée), l'entreprise est en faute et pourraît être poursuivi en justice, par exemple par des associations reconnues d'utilité publique. Il faut poser la question à des juristes de syndicats.

Dans un pays du Nord de l'Europe, en cas de bidonnage (pas encore prouvé à ce stade, lire plus haut), ce serait la porte pour le ministre, cela peut aller très loin.

Cette extrême volonté de tout faire pour garder secrètes les questions est pour le moins suspicieuse ...

Pat B a écrit:Apparemment, d'après la direction, quasiment tous nos élèves ont "maîtrise satisfaisante" ou "très satisfaisante" (sauf ceux qu'on a déjà repérés comme étant complètement largués, bien sûr).
Alors forcément, ils ne vont pas comprendre pourquoi la moyenne au premier DS n'est que de 9,5/20, puisqu'ils sont sensés maîtriser les bases !
Un vrai gaspillage d'argent public, de temps, pour rien...

C'est le discours que nous tenaient hier nos collègues de Français et de Math au vu des résultats des classes. Une vraie mascarade !

Pat B a écrit:(...). Peut-être que ce test n'est là que pour prouver que les profs ont tort de se plaindre de la baisse de niveau ?

Gagné !

amelien a écrit:

Pat B a écrit:Peut-être que ce test n'est là que pour prouver que les profs ont tort de se plaindre de la baisse de niveau ?

Je raisonne de manière booléenne. Soit l'erreur est commise par la société éditrice et il faut obtenir le remboursement de la prestation. Soit l'erreur provident de l'EN qui a commandé un test dont les attendus étaient de très bons résultats pour tout le monde et là c'est gravissime.

En droit (commercial), c'est la question de la tromperie sur la marchandise. Le vendeur est un professionnel des tests de positionnement, donc aucune excuse ne peut être retenue, il est bien tenu à une obligation de moyens. J'entends par là que même si l'EN lui a commandé un test bidon, il était tenu de refuser. Dans tous les cas, il est en faute et pourraît être poursuivi en justice, par exemple par des associations reconnues d'utilité publique.

J'ai ouï dire que le test était conçu pour que tout le monde le réussisse puisqu'il évaluait des éléments du socle.
Le hic, c'est que l'EN l'annonce comme un "test de positionnement", or les résultats ne sont pas du tout exploitables (d'ailleurs, pas imprimables non plus, c'est facile pour tenter de travailler dessus malgré tout...)

Je corrige ce que j'ai écrit plus haut :

Vendeur (le concepteur du test) et acheteur (l'EN) sont tous les deux des professionnels de l'éducation. Donc ils sont censés être en mesure de mesurer la qualité de la prestation. Donc l'obligation de moyen de s'applique pas. S'il y a tromperie sur la marchandise, l'EN n'est pas tenue de payer la prestation, si elle juge cette prestation non-conforme à ses attentes (une courbe en cloche). Si la prestation est commandée pipautée par l'EN, c'est gravissime, mais pas un délit. Dans ce dernier cas, il faut trouver les responsables. C'est un travail de journaliste de syndicaliste, etc ...

Moi je commencerais par une lettre des différents syndicats au ministre lui demandant d'établir si la prestation est conforme aux attentes de l'EN, histoire de cibler immédiatement les responsabiltés, qu'il sente le souffle du boulet.

amelien a écrit:

ben2510 a écrit:Le problème avec des questions faibles comme celles de ce test, c'est qu'on se retrouve dans une de ces deux situations :
* l'élève a un mauvais score, et on peut dire qu'il est en grande difficulté,
* l'élève a un bon score, et on ne peut pas dire qu'il soit en réussite probante.

C'est la question de l'étalonnage du test. Durant l'étape de conception, on fait passer le test à une population représentative et ensuite, on pondère questions et réponses pour obtenir une courbe en cloche.

Il s’agit d'un test d'entrée en classe de seconde, pas d'un test de QI. (D'ailleurs, il me semble que le test est différent pour les secondes GT et les secondes pro.) Plutôt de l'étalonner sur les résultats moyens de la population, je serais simplement d'avis de l'étalonner sur les attendus de fin de troisième et/ou les prérequis de la classe de seconde.

En l'état, évidemment, on nous demande explicitement de mettre en place un accompagnement personnalisé en se basant sur les résultats d'un test dont la réussite ne préjuge pas de la capacité à réussir au lycée.

Au fait, savez-vous si une fois que la période d'évaluation terminée, les profs auront accès au contenu des tests ? Parce qu'exploiter les résultats d'un test sans connaître les énoncés, ça serait amusant.

Prezbo a écrit:Plutôt de l'étalonner sur les résultats moyens de la population, je serai simplement d'avis de l'étalonner sur les attendus de fin de troisième et/ou les prérequis de la classe de seconde.

Cela fait partie de l'étalonnage. On choisit des questions pertinentes dans le contexte.

Prezbo a écrit:

amelien a écrit:

ben2510 a écrit:Le problème avec des questions faibles comme celles de ce test, c'est qu'on se retrouve dans une de ces deux situations :
* l'élève a un mauvais score, et on peut dire qu'il est en grande difficulté,
* l'élève a un bon score, et on ne peut pas dire qu'il soit en réussite probante.

C'est la question de l'étalonnage du test. Durant l'étape de conception, on fait passer le test à une population représentative et ensuite, on pondère questions et réponses pour obtenir une courbe en cloche.

Il s’agit d'un test d'entrée en classe de seconde, pas d'un test de QI. (D'ailleurs, il me semble que le test est différent pour les secondes GT et les secondes pro.) Plutôt de l'étalonner sur les résultats moyens de la population, je serai simplement d'avis de l'étalonner sur les attendus de fin de troisième et/ou les prérequis de la classe de seconde.

En l'état, évidemment, on nous demande explicitement de mettre en place un accompagnement parsonnalisé en se basant sur les résultats d'un test dont la réussite ne préjuge pas de la capacité à réussir au lycée.

Au fait, savez-vous si une fois que la période d'évaluation terminée, les profs auront accès au contenu des tests ? Parce qu'exploiter les résultats d'un test sans connaître les énoncés, ça serait amusant.

On se demande à quoi servent le livret de compétences et le brevet s'il faut en plus un test en début de seconde.
Non, aucun accès au contenu des tests, il paraît que c'est confidentiel... Et les résultats sont peu exploitables : une liste d'élèves ayant satisfaisant, ceux ayant bonne maîtrise (pas sûre de l'intitulé mais c'est l'idée).
Par élève, on voit aussi si la compétence évaluée est plus ou moins satisfaisante (avec un point positionné au début / milieu / fin de la colonne).

Une passante a écrit:

On se demande à quoi servent le livret de compétences et le brevet s'il faut en plus un test en début de seconde.
Non, aucun accès au contenu des tests, il paraît que c'est confidentiel... Et les résultats sont peu exploitables : une liste d'élèves ayant satisfaisant, ceux ayant bonne maîtrise (pas sûre de l'intitulé mais c'est l'idée).
Par élève, on voit aussi si la compétence évaluée est plus ou moins satisfaisante (avec un point positionné au début / milieu / fin de la colonne).

C'est l'école de la confiance : si le test dit que l'élève a un niveau satisfaisant, le prof doit le croire sur parole.

Prezbo a écrit:Au fait, savez-vous si une fois que la période d'évaluation terminée, les profs auront accès au contenu des tests ? Parce qu'exploiter les résultats d'un test sans connaître les énoncés, ça serait amusant.

Au stade où j'en suis (mes élèves ont passé le test il y a plus d'une semaine), la réponse à cette question est ce qui m'intéresse pour avoir quelque chose à leur répondre jeudi. Parce que nul doute qu'ils m'en parleront.

Edit : réponse donnée par Une passante. Merci.

Je tiens une explication beaucoup courte et plausible : croire à une simple erreur de conception ne tient pas la route.

Dans une période de réformes, l'EN a commandé à une société privée un outil d'évaluation des élèves ET des professeurs. Dans cette optique, pour une première évaluation, mieux vaut ne pas faire de vagues et mettre "très satisfaisant " à tout le monde. Ensuite, ce outils sera développé, mieux ciblé sur les programmes, étalonné, avec plus de questions, et pourquoi pas utilisé avec une plus grande fréquence. Souriez, vous êtes filmés.

Un mail reçu du PA aujourd'hui au sujet du test en français - pas de résultats pour le moment, mais pour un test dont la durée est de 50 minutes, certains avaient terminé 15 minutes avant et d'autres n'ont pas pu finir.

Pour faire suite aux tests de positionnement passés par les élèves de seconde, il nous est possible de participer à une "expérimentation de situation d"évaluation" relative à l'épreuve orale que devront passer les élèves en terminale.

De ce que nous en savons à ce jour, il s'agit d'un test de productions et d'interactions orales qui a pour but de préparer les élèves de seconde à un bonne maîtrise de ces situations d’expression orale dans la perspective de cette épreuve finale.

Les documents supports nous seront transmis via l'application nationale utilisée pour les tests de positionnement

Le PA demande des volontaires et j'ai dit que cela m'intéressait - cela me permettra d'être au courant surtout ! En plus, ma 2de est sympa.

ysabel a écrit:Un mail reçu du PA aujourd'hui au sujet du test en français - pas de résultats pour le moment, mais pour un test dont la durée est de 50 minutes, certains avaient terminé 15 minutes avant et d'autres n'ont pas pu finir.

Pour faire suite aux tests de positionnement passés par les élèves de seconde, il nous est possible de participer à une "expérimentation de situation d"évaluation" relative à l'épreuve orale que devront passer les élèves en terminale.

De ce que nous en savons à ce jour, il s'agit d'un test de productions et d'interactions orales qui a pour but de préparer les élèves de seconde à un bonne maîtrise de ces situations d’expression orale dans la perspective de cette épreuve finale.

Les documents supports nous seront transmis via l'application nationale utilisée pour les tests de positionnement

Le PA demande des volontaires et j'ai dit que cela m'intéressait - cela me permettra d'être au courant surtout ! En plus, ma 2de est sympa.

Une seconde = 35 élèves... J'espère que tu as du temps libre en ce moment...

Tu nous diras à quoi cela ressemble. Mais si c'est à l'image de l'écrit... j'ai bien peur que tu ne doives passer 35 fois 50 minutes à écouter chaque élève lire des extraits de Oui-Oui...

Question, et désolé si elle a déjà été posée, mais savez-vous si les tests sont les mêmes en seconde générale et en seconde pro ?

Non, ils sont différents : en tout cas, il y avait deux simulations différentes sur eduscol.

chmarmottine a écrit:Cette extrême volonté de tout faire pour garder secrètes les questions est pour le moins suspicieuse ...

Certaines questions induisaient les élèves en erreur. Donc, compétence non validée (pour cette question) alors que le problème ne venait pas de l'élève mais de la formulation. Bon, en même temps, il nous arrive aussi de nous planter dans la formulation de la question.

Concernant les grilles de restitutions de français. Trois compétences seulement ( ou alors je n'ai pas tout vu). Aucune précision, et surtout aucune explication vis à vis du pourquoi du comment. Autant j'ai trouvé très utile de suivre le test de mes propres élèves car là nous pourrions réfléchir avec eux de ce qui les a conduit à l'erreur. Autant n'avoir qu'un bilan sur un petit tableau, ça ne rime pas à grand chose.

chmarmottine a écrit:Non, ils sont différents : en tout cas, il y avait deux simulations différentes sur eduscol.

Ok, merci.

J'ai fait passer un groupe la semaine dernière. En maths, ils ont droit à la calculatrice et certaines des questions posées sont alors sans intérêt si ce n'est leur capacité à correctement taper sur les touches de la machine.

Le test est normalement prévu pour s'adapter aux réponses de l'élève mais en circulant, et même si je n'ai pas tout vu, j'ai surtout eu l'impression que l'ordre des exercices étaient aléatoires mais je n'ai pas eu l'impression qu'il y avait une adaptation.

Quant à l'inexploitabilité des résultats, aucune surprise...le test est là pour faire des stats, pas pour servir de support pour faire de la remédiation, çà c'est de la com.

Dans ce que j'ai observé (français avec mes classes) l'ordre était clairement aléatoire (français seconde pro). En gros il y a avait trois pôles et chaque élève pouvait débuter à la même heure par l'un ou l'autre.
Pour la remédiation, c'est simple, nous n'avons aucune heure. A force de faire des économies et de supprimer des heures...

Vous n'avez pas d'AP en seconde pro ?

Kilmeny a écrit:

ysabel a écrit:Un mail reçu du PA aujourd'hui au sujet du test en français - pas de résultats pour le moment, mais pour un test dont la durée est de 50 minutes, certains avaient terminé 15 minutes avant et d'autres n'ont pas pu finir.

Pour faire suite aux tests de positionnement passés par les élèves de seconde, il nous est possible de participer à une "expérimentation de situation d"évaluation" relative à l'épreuve orale que devront passer les élèves en terminale.

De ce que nous en savons à ce jour, il s'agit d'un test de productions et d'interactions orales qui a pour but de préparer les élèves de seconde à un bonne maîtrise de ces situations d’expression orale dans la perspective de cette épreuve finale.

Les documents supports nous seront transmis via l'application nationale utilisée pour les tests de positionnement

Le PA demande des volontaires et j'ai dit que cela m'intéressait - cela me permettra d'être au courant surtout ! En plus, ma 2de est sympa.

Une seconde = 35 élèves... J'espère que tu as du temps libre en ce moment...

Tu nous diras à quoi cela ressemble. Mais si c'est à l'image de l'écrit... j'ai bien peur que tu ne doives passer 35 fois 50 minutes à écouter chaque élève lire des extraits de Oui-Oui...

Je n'en ai que 23... les autres sont des sportifs de haut-niveau et leur cours de français est délocalisé au creps. Et normalement, ce "test" doit avoir lieu durant l'AP.
Evidemment, je vous raconterai

Je précise ici. J'ai modifié totalement le contexte, les textes, les questions qui suivent, mais les questions d'origine m'interrogent. J'ai demandé à Henriette si je pouvais publier ce message sans rien "dévoiler".  La réponse étant oui, à condition que "vous" ne répondiez pas avec les questions que vous avez observées, mais en reformulant  tout hors contexte.

Voici mon message :

Le problème est que certaines questions induisent quelques élèves en erreur et parfois les meilleurs. Je reformule une question totalement en la sortant  complètement de son contexte et du texte d'origine.
Voici ce que ce texte expliquerait sur la guerre au Moyen-Age et les blessures de ces guerres. Il explique que les blessures les plus graves sont causées par les carreaux tirés à distance sur l'ennemi. A un autre endroit dans le texte il est précisé que l'essentiel des morts et blessures est causé par les arbalétriers.
La question serait la suivante : "qui est-ce qui cause le plus de morts et de blessés sur le champ de bataille."
Propositions (que  j'invente totalement ) :
- les chevaliers,
- les fantassins,
- les archers,
- les arbalétriers. "
Voilà ce que j'ai constaté en observant un des meilleurs élèves d'une classe de 2 pro. L'élève promène sa souri (c'est pratique on peut voir le cheminement de sa réflexion) sur la question et ensuite les propositions. Il lit la question et promène son mulot ensuite sur le texte et repère l'information (donc : il a compris la question, il a repéré le mot qu'il fallait trouver). Il retourne sur les propositions, il promène sa souri sur arbalétriers (logique, compétence validée), puis sur archers, puis sur arbalétriers, se promène un bon moment entre les deux, hésite, et finalement clique sur arbalétriers par moutonnerie (puisque c'est dans le texte ça doit être cela). Un autre effectue la même démarche,  réflexion, mais clique sur archers. Pourquoi ? Parce qu'un carreau il a compris que c'était un "truc" que l'on tirait à distance sur l'adversaire, comme une flèche donc et pour lui c'est donc  un archer qui tire et pas un arbalétrier puisque : il ne sait pas ce qu 'est un carreau, une arbalète, un arbalétrier. Donc il a bien compris la question, bien repéré l'information dans le texte, qu'il a bien lu, mais la compétence n'est pas validée parce qu'il a réfléchi et que pour lui, logique, celui qui tire un trait, c'est un archer. La compétence est réussie, l'élève a juste un problème de vocabulaire et de savoir disciplinaire Cette question à plus posé de problème aux meilleurs élèves qu'à ceux qui se sont contentés de relever un mot dans le texte. Eux ont la compétence réussie, ceux qui se sont interrogés, non. Une fois de plus la "compétence" simple ne peut être extraite de la connaissance, de même que la compétence ne peut être extraite de la compétence.

Autre remarque, cette fois sur le sujet que nous pouvions consulter à l'avance, donc le "faux" sujet. Là encore je change tout et invente complètement, mais en reformulant, en sortant du contexte.
Question inventée : "A quoi est comparé d'Artagnan dans ce texte ?"
Phrase (complètement inventée) à repérer : "D'Artagnan était comme un lion en furie, se battant furieusement, une véritable tempête s'abattant sur ses adversaires."
Propositions :  "A, une une furie en cage, B un blaireau, C, un lion, D une véritable tempête".
Réponse du test que, nous, enseignants pouvions faire : un lion. Oui, car il y a "était comme". Mais D'Artagnan est aussi comparé à une véritable tempête....
La question n'était pas : "repérez la comparaison", mais bien "à quoi est comparé....". Donc désolé, il est aussi comparé à une véritable tempête. Sauf que cette réponse est comptée comme fausse. Là  l'élève n'a pas manqué de repérer à quoi été comparé le sujet, mais n'a pas repéré où était la comparaison, ce qui ne lui était pas demandé. On ne lui a pas demandé de repérer la comparaison mais à quoi il était comparé, or il est comparé à deux choses. L'élève n'a donc pas faut, il n'a pas lu la question, mais la question n'est pas assez précise et ne fait pas référence  à ce que nous lui demandons habituellement.

Une autre remarque. Sur l'un des textes il fallait conjuguer. Dans les propositions le passé simple comme l'imparfait pouvait se justifier pour deux verbes à conjuguer selon interprétation. L'un était plus évident, plus logique, mais pas obligatoirement. Il aurait clairement fallu que le texte soit plus descriptif en actions répétées et habituelles et action unique. Là, on pouvait franchement discuter. Ou alors il aurait fallu un texte plus long, plus explicatif.