Publication par le MEN de l'IVAC, l'indicateur de la valeur ajoutée des collèges

Place aux collèges. Trente ans après la première publication des « indicateurs de valeur ajoutée des lycées » (Ival), le ministère de l’Éducation nationale a décidé d’évaluer l’action des collèges dans la réussite de leurs élèves avec la mise en place des Ivac, les indices de valeur ajoutée des collèges.

« Jusqu’ici, nous n’avions pas d’information sur le niveau des élèves à l’entrée au collège. Pourtant, c’est fondamental pour expliquer leur réussite. Aujourd’hui, ils passent tous des évaluations en 6e (depuis 2017) donc nous pouvons apprécier la façon dont ils sont accompagnés jusqu’au brevet », explique Fabienne Rosenwald, à la tête de la Direction de l’évaluation, de la prospective et de la performance (DEPP), le service statistique au ministère de l’Éducation nationale.

Pour accéder aux IVAC, c'est ici :
https://www.education.gouv.fr/recherche-ivac

Merci. Intéressantes ces informations…

Je trouve très bizarre les notes notes attendues moyennes au DNB. Elles ne correspondent pas au IPS des établissements de mon secteur.

Édit :
Nous ne présentons aucun élève au brevet pro. Peut-être est-ce une explication ? Les profils les plus fragiles qui auraient comme notes attendues 8 en série collège aurait peut être 12 en série pro et remonterait ainsi la note attendue de l'établissement.
Qu'en pensez-vous ?

Re-édit : il est précisé que les élèves sont tous inscrits en série générale. Ça plombe ma piste.
A part du n’importe quoi du ministère, quelqu'un a une piste ?

La page centrale sur le sujet de la DEPP: https://www.education.gouv.fr/les-indicateurs-de-resultats-des-colleges-et-des-lycees-377729
donne un lieu qui explicite (un peu) la méthodologie derrière: https://www.education.gouv.fr/media/74265/download
La page 85 de ce dernier document (page 12 du PDF qui en est un extrait) indique que les taux attendus proviennent de régressions logistiques, dans leur variante multi-niveaux pour tenir compte des effets établissement.
La régression logistique est un modèle classique pour modéliser une variable aléatoire suivant une loi de Bernoulli dont la probabilité de réussite dépend de certains paramètres. Exemple simple: on injecte du poison dans un rat et on cherche à estimer la probabilité que le rat meure en fonction de la dose de poison. Ici c'est plus compliqué parce qu'on cherche à découpler ce qui est attribué à l'élève de ce qui est attribué à l'établissement.

Rien de très surprenant sur les deux cités scolaires sur lesquelles je suis affectée.
Résultats faibles dans les deux cas, avec des milieux sociaux opposés. La valeur ajoutée est négative, mais les résultats attendus sont logiquement plus faibles pour celui en éducation prioritaire. Celui avec un IPS élevé a les résultats qui correspondent aux attendus de celui classé REP. (Pourtant, le taux d'élèves présentés au DNB est bas, c'est intéressant cette stat.).

J'ai quand même l'impression que le but est de produire une fausse liste...

Fausse liste, je n'irais pas jusque là: la méthodologie statistique employée ne me semble pas absurde.
Par contre, le DNB étant évalué n'importe comment, on fera difficilement des données fiables avec.

PS: c'est selon moi un problème général à la DEPP. On y recrute des statisticiens compétents issus de l'INSEE, mais comme ils ne sont pas présumés compétents sur le volet pédagogique les données d'évaluation des élèves leur sont fournies par des cadres EN et c'est généralement de la merdre en barre. D'où le fait que les productions statistiques les plus pertinentes portent pour la plupart soit sur des enquêtes internationales (PISA, TIMSS…) soit sur la paye des enseignants et les effectifs des classes.

Mathador a écrit:Fausse liste, je n'irais pas jusque là: la méthodologie statistique employée ne me semble pas absurde.
Par contre, le DNB étant évalué n'importe comment, on fera difficilement des données fiables avec.

PS: c'est selon moi un problème général à la DEPP. On y recrute des statisticiens compétents issus de l'INSEE, mais comme ils ne sont pas présumés compétents sur le volet pédagogique les données d'évaluation des élèves leur sont fournies par des cadres EN et c'est généralement de la merdre en barre. D'où le fait que les productions statistiques les plus pertinentes portent pour la plupart soit sur des enquêtes internationales (PISA, TIMSS…) soit sur la paye des enseignants et les effectifs des classes.

As tu une explication sur le décorrelation dans mon secteur entre ips et notes attendues ?

Mathador a écrit:Fausse liste, je n'irais pas jusque là: la méthodologie statistique employée ne me semble pas absurde.
Par contre, le DNB étant évalué n'importe comment, on fera difficilement des données fiables avec.

PS: c'est selon moi un problème général à la DEPP. On y recrute des statisticiens compétents issus de l'INSEE, mais comme ils ne sont pas présumés compétents sur le volet pédagogique les données d'évaluation des élèves leur sont fournies par des cadres EN et c'est généralement de la merdre en barre. D'où le fait que les productions statistiques les plus pertinentes portent pour la plupart soit sur des enquêtes internationales (PISA, TIMSS…) soit sur la paye des enseignants et les effectifs des classes.

Si je puis me permettre, le problème vraiment général, c'est de vouloir déterminer des indicateurs dont la variation et/ou la comparaison seraient censées témoigner de la "performance" des services de l’État (nombre d'amendes mises, de dossiers traités etc ?). Performance jaugée à des fins de réformes (au niveau "collèges", la carte de l’Éducation prioritaire devrait d'ailleurs être remodelée...)
Je ne dis pas qu'il ne faille pas évaluer mais bon, comme on ne sort pas un "chiffre d'affaires", on sera toujours à peu près évalués au doigt mouillé.

mgb35 a écrit:

Mathador a écrit:Fausse liste, je n'irais pas jusque là: la méthodologie statistique employée ne me semble pas absurde.
Par contre, le DNB étant évalué n'importe comment, on fera difficilement des données fiables avec.

PS: c'est selon moi un problème général à la DEPP. On y recrute des statisticiens compétents issus de l'INSEE, mais comme ils ne sont pas présumés compétents sur le volet pédagogique les données d'évaluation des élèves leur sont fournies par des cadres EN et c'est généralement de la merdre en barre. D'où le fait que les productions statistiques les plus pertinentes portent pour la plupart soit sur des enquêtes internationales (PISA, TIMSS…) soit sur la paye des enseignants et les effectifs des classes.

As tu une explication sur le décorrelation dans mon secteur entre ips et notes attendues ?

Il devrait y avoir forcément corrélation ?

mgb35 a écrit:
As tu une explication sur le décorrelation dans mon secteur entre ips et notes attendues ?

Est ce que l'IPS est le seul critère ? Ca me semblerait contestable par ailleurs...

Mathador a écrit:Fausse liste, je n'irais pas jusque là: la méthodologie statistique employée ne me semble pas absurde.
Par contre, le DNB étant évalué n'importe comment, on fera difficilement des données fiables avec.

"Garbage in, garbage out". Adage de statisticien...

Ce n'est pas absurde mais ce n'est pas "le classement des collèges", c'est un indicateur. Et quand on voit les instruments utilisés par le ministère pour remonter le taux de réussite, je ne suis pas sur que ce soit forcément un bon indicateur à suivre.

TrucOuBidule a écrit:

Mathador a écrit:Fausse liste, je n'irais pas jusque là: la méthodologie statistique employée ne me semble pas absurde.
Par contre, le DNB étant évalué n'importe comment, on fera difficilement des données fiables avec.

PS: c'est selon moi un problème général à la DEPP. On y recrute des statisticiens compétents issus de l'INSEE, mais comme ils ne sont pas présumés compétents sur le volet pédagogique les données d'évaluation des élèves leur sont fournies par des cadres EN et c'est généralement de la merdre en barre. D'où le fait que les productions statistiques les plus pertinentes portent pour la plupart soit sur des enquêtes internationales (PISA, TIMSS…) soit sur la paye des enseignants et les effectifs des classes.

Si je puis me permettre, le problème vraiment général, c'est de vouloir déterminer des indicateurs dont la variation et/ou la comparaison seraient censées témoigner de la "performance" des services de l’État (nombre d'amendes mises, de dossiers traités etc ?). Performance jaugée à des fins de réformes (au niveau "collèges", la carte de l’Éducation prioritaire devrait d'ailleurs être remodelée...)
Je ne dis pas qu'il ne faille pas évaluer mais bon, comme on ne sort pas un "chiffre d'affaires", on sera toujours à peu près évalués au doigt mouillé.

Cela ne me semble pas grotesque de vouloir mesurer ce qui se passe dans les services de l'État, même s'il importe ensuite de comprendre ce que veulent vraiment dire les statistiques obtenues et de les utiliser à bon escient.
Par contre, utiliser comme « niveau atteint par l'élève » le taux de réussite au DNB alors qu'une bonne partie des points du DNB résulte de gommettes de contrôle continu qui ne correspondent même pas directement aux bulletins, ça c'est vraiment grotesque.

Jenny a écrit:

mgb35 a écrit:
As tu une explication sur le décorrelation dans mon secteur entre ips et notes attendues ?

Est ce que l'IPS est le seul critère ? Ca me semblerait contestable par ailleurs...

Non, on fait un modélisation au niveau de l'élève avant de neutraliser l'effet établissement.
Les pages 82 à 86 du document méthodologique que j'ai cité détaillent les variables explicative et leur évolution au fil du temps, mais si je devais en garder une phrase:

DEPP a écrit:Les quatre dimensions que ces variables permettent de prendre en compte sont restées les mêmes depuis lors : niveau initial des élèves, origine sociale, retard scolaire et sexe.

Ensuite on fait une modélisation fine par élève, on ajoute les espérances estimées, etc. etc.

Mathador a écrit:

Par contre, utiliser comme « niveau atteint par l'élève » le taux de réussite au DNB alors qu'une bonne partie des points du DNB résulte de gommettes de contrôle continu qui ne correspondent même pas directement aux bulletins, ça c'est vraiment grotesque.

Certes, en revanche la moyenne des notes obtenues aux épreuves écrites par les élèves de l'établissement me paraît être un indicateur pertinent.

@Mathador
Au vu des 4 critères, le retard et le sexe étant assez identique dans le secteur, je ne vois que le niveau initial des élèves pour contrecarrer l'IPS... Niveau initial basé sur les évaluations 6ème de 2019 ? Si c'est le cas, au vu de la disparité des conditions de passage, surtout lors de leur mise en place, cette indicateur parait peut pertinent.

J'ai comparé mon collège avec ceux du secteur ayant un IPS inférieur (de 5 à 10 points): leur note attendue aux écrits est supérieure de 0,5 à 0,8 à la notre !

Solga a écrit:

Mathador a écrit:

Par contre, utiliser comme « niveau atteint par l'élève » le taux de réussite au DNB alors qu'une bonne partie des points du DNB résulte de gommettes de contrôle continu qui ne correspondent même pas directement aux bulletins, ça c'est vraiment grotesque.

Certes, en revanche la moyenne des notes obtenues aux épreuves écrites par les élèves de l'établissement me paraît être un indicateur pertinent.

De même que le nombre d’élèves effectivement présents à l’examen.

Solga a écrit:

Mathador a écrit:

Par contre, utiliser comme « niveau atteint par l'élève » le taux de réussite au DNB alors qu'une bonne partie des points du DNB résulte de gommettes de contrôle continu qui ne correspondent même pas directement aux bulletins, ça c'est vraiment grotesque.

Certes, en revanche la moyenne des notes obtenues aux épreuves écrites par les élèves de l'établissement me paraît être un indicateur pertinent.

Encore bruité par un effet correcteur, mais ce serait effectivement bien mieux.

mgb35 a écrit:@Mathador
Au vu des 4 critères, le retard et le sexe étant assez identique dans le secteur, je ne vois que le niveau initial des élèves pour contrecarrer l'IPS... Niveau initial basé sur les évaluations 6ème de 2019 ? Si c'est le cas, au vu de la disparité des conditions de passage, surtout lors de leur mise en place, cette indicateur parait peut pertinent.

J'ai comparé mon collège avec ceux du secteur ayant un IPS inférieur (de 5 à 10 points): leur note attendue aux écrits est supérieure de 0,5 à 0,8 à la notre !

Les critères sont renseignés dans le modèle de régression pour chaque élève, on ne prend pas directement la moyenne de chaque critère dans le collège.
En outre la régression logistique n'est pas linéaire: par exemple, l'augmentation d'un point de l'IPS d'un élève n'augmentera pas d'une quantité fixe sa probabilité estimée d'obtenir le brevet ou le bac.
La quantité qui dépend de manière affine des variables explicatives est logit(p) = ln(p/(1-p)) où p est la probabilité estimée qu'un élève obtienne le bac ou le brevet. Ce n'est pas expliqué dans le document dont j'avais donné le lien, mais dans une de ses références bibliographiques:
https://www.education.gouv.fr/sites/default/files/imported_files/document/DEPP-EF94-2017-article-5-meilleure-mesure-performance-lycees-refonte-methodologie-ival-session-2015_819385.pdf
à la page 95 (page 5 du pdf).

@Mathador
Merci. J'ai survolé et c'est un peu pointu pour moi !
Je note toutefois qu'intervient le niveau scolaire en 6ème et en 2nde. Je n'ai pas trouvé comment il est évalué mais j'ai des doutes sur la solidité de ces 2 indicateurs.

mgb35 a écrit:@Mathador
Merci. J'ai survolé et c'est un peu pointu pour moi !

C'est un document méthodologique qui va vraiment dans les détails techniques, je n'aurais pas tout compris non plus avant ma reconversion (un agrégé option A s'en sortirait sans doute mieux). Et les modèles linéaires généralisés (dont la régression linéaire par les moindres carrés et la régression logistique sont des cas particuliers) sont l'une des notions les plus pointues abordées dans la formation que j'ai suivie.

mgb35 a écrit:Je note toutefois qu'intervient le niveau scolaire en 6ème et en 2nde. Je n'ai pas trouvé comment il est évalué mais j'ai des doutes sur la solidité de ces 2 indicateurs.

J'ai moi aussi de sérieux doutes. Les collègues de la DEPP font avec ce qu'ils ont: ce n'est pas un hasard si je n'ai pas postulé là-bas.

Solga a écrit:

Mathador a écrit:

Par contre, utiliser comme « niveau atteint par l'élève » le taux de réussite au DNB alors qu'une bonne partie des points du DNB résulte de gommettes de contrôle continu qui ne correspondent même pas directement aux bulletins, ça c'est vraiment grotesque.

Certes, en revanche la moyenne des notes obtenues aux épreuves écrites par les élèves de l'établissement me paraît être un indicateur pertinent.

Tu veux dire," un peu plus pertinent".

"Désolé, aucun résultat ne correspond à votre recherche."

Bon ben tant pis...

Bouboule a écrit:"Désolé, aucun résultat ne correspond à votre recherche."
Bon ben tant pis...

Enlève le nom de l'établissement et écris en majuscule le nom de la ville, c'est ainsi que j'ai réussi à obtenir des réponses (auparavant, j'avais le même message que le tien).

Cleroli a écrit:

Bouboule a écrit:"Désolé, aucun résultat ne correspond à votre recherche."
Bon ben tant pis...

Enlève le nom de l'établissement et écris en majuscule le nom de la ville, c'est ainsi que j'ai réussi à obtenir des réponses (auparavant, j'avais le même message que le tien).

Merci mais pas mieux ; c'est le site lui-même qui me propose les établissements d'ailleurs.

La seule volonté du minsitère de mettre les collèges en concurrence