science étonnante : le paradoxe de Simpson.

gilthoniel a écrit:En fait j'avais présupposé que vous aviez des notions d'épistémologie. C'est plus complexe que de la simple confrontation de conviction. L'idée est d'aller au delà pour créer un discours scientifique

Je vais au préalable prendre deux trois précautions:
- je n'ai pas d'avis arrêté sur la question du redoublement.
- je me suis sérieusement intéressé à l'épistémologie mais ça ne fait pas de moi un spécialiste. Donc si je fais des erreurs d'interprétation je l'accepte.
- si ce que je dis peut paraître "professoral" ce n'est pas parce que je prend les autres de haut.

Des philosophes se sont intéressés au début du XXème siècle à ce qui faisait la science et ce qui la distinguait de voies de connaissances pseudo scientifiques (métaphysique). Toute science part de l'observation (on va mettre de côté les math dont l'objet se confond avec le discours), mais celle-ci n'est pas suffisante (c'est en ce qui nous concerne les statistiques qui finalement ne sont rien d'autre que de l'observation mis en forme) pour établir une vérité scientifique. En effet, ce n'est pas parce qu'on a expérimenté dans notre vie que des cygnes blancs qu'il n'existe pas de cygnes noirs et ce même si on a vu des centaines de milliers de cygnes différents puisqu'il suffit d'un cygne noir pour que ceux-ci existent (on en aurait vu des milliards que ça ne changerait pas la chose). De même on pourrait imaginer quelqu'un qui toute sa vie aurait assisté ou joué à pile ou face et obtenu que des faces (ce qui n'est pas moins probable que toute autre séquence). Donc on pourrait en conclure qu'aucune vérité scientifique ne peut être établie dans ce cas là. Puisque rien n'est sur et qu'on ne sait, par conséquent, rien.
L'induction est donc un cul de sac et tous les discours semblent se valoir (on en est là).

Or Karl Popper (un philosophe viennois) propose quand même une façon pour dépasser ce paradoxe, c'est la falsification (ou réfutation). Une proposition est falsifiable s'il est possible de trouver une observation la réfutant. Donc le point de départ de toute "vérité" historique est une intuition théorique qu'on corrobore par l'expérience (puisque la vérification empirique est impossible), c'est la démarche théorico-déductive. En conséquent, toute vérité scientifique est par nature temporaire. De plus Popper s'est principalement appuyé sur une science expérimentale dont les résultats sont reproductibles (la physique), or en science humaine ils ne le sont pas (ou alors avec un coût humain énorme et que la société ne veut/peut pas prendre - en ce qui nous concerne le fait de faire redoubler aléatoirement des élèves par exemple). De plus la variabilité interne de l'objet étudié (j'hésite à parler de variance) en science humaine fait qu'un contre exemple ne suffit pas à mettre au vide ordure une théorie.

Donc, en science sociale on part d'une base théorique dont découle des hypothèse qu'on vérifie (pardon corrobore) avec le matériau empirique. Sachant que par convention (sociale donc) on s'accorde sur un risque de première espèce de 5% (donc il y a 5% de chance qu'un résultat corroboré par les tests stat soit en réalité faux).

Il faut accepter qu'on ne saura jamais à 100% mais dire que parce qu'on ne sait pas à 100% tout se vaut est un non-sens. L'ambition justement des sciences sociales est de sortir du café du commerce d'une part et de ne pas être purement spéculative (à la manière de la philo d'autre part).

PS: C'est un peu schématique et si j'ai dit des conneries n'hésitez pas à me reprendre.
PS2: Un livre "de référence" sur le sujet et assez accessible est "Qu'est-ce que la science" de Chalmers.

Hélips a écrit:Dans la famille "rions avec les statistiques", j'aime donner à mes élèves trois exemples :
1) les étudiants mariés réussissent mieux leurs études que les étudiants non mariés. Allez vous marier cet été ?
2) les gens nés en décembre redoublent plus que les autres et ont un moins bon salaire (en fait je dis "ceux qui sont nés en décembre, vous allez rater votre vie"),
3) mes cheveux poussent de 1cm par mois, mes enfants boivent 20L de lait par mois. Est-ce que si je mets mes enfants au jus d'orange, je ferai des économies de coiffeur ?

(les études 1 et 2, je n'ai plus les références, elles font partie de ce que j'ai vu passer sur Yahoo, l'étude 3, je vous jure que ce sont les bons chiffres)

Igniatius a écrit:

gilthoniel a écrit:En fait j'avais présupposé que vous aviez des notions d'épistémologie. C'est plus complexe que de la simple confrontation de conviction. L'idée est d'aller au delà pour créer un discours scientifique

Je vais au préalable prendre deux trois précautions:
- je n'ai pas d'avis arrêté sur la question du redoublement.
- je me suis sérieusement intéressé à l'épistémologie mais ça ne fait pas de moi un spécialiste. Donc si je fais des erreurs d'interprétation je l'accepte.
- si ce que je dis peut paraître "professoral" ce n'est pas parce que je prend les autres de haut.

Des philosophes se sont intéressés au début du XXème siècle à ce qui faisait la science et ce qui la distinguait de voies de connaissances pseudo scientifiques (métaphysique). Toute science part de l'observation (on va mettre de côté les math dont l'objet se confond avec le discours), mais celle-ci n'est pas suffisante (c'est en ce qui nous concerne les statistiques qui finalement ne sont rien d'autre que de l'observation mis en forme) pour établir une vérité scientifique. En effet, ce n'est pas parce qu'on a expérimenté dans notre vie que des cygnes blancs qu'il n'existe pas de cygnes noirs et ce même si on a vu des centaines de milliers de cygnes différents puisqu'il suffit d'un cygne noir pour que ceux-ci existent (on en aurait vu des milliards que ça ne changerait pas la chose). De même on pourrait imaginer quelqu'un qui toute sa vie aurait assisté ou joué à pile ou face et obtenu que des faces (ce qui n'est pas moins probable que toute autre séquence). Donc on pourrait en conclure qu'aucune vérité scientifique ne peut être établie dans ce cas là. Puisque rien n'est sur et qu'on ne sait, par conséquent, rien.
L'induction est donc un cul de sac et tous les discours semblent se valoir (on en est là).

Or Karl Popper (un philosophe viennois) propose quand même une façon pour dépasser ce paradoxe, c'est la falsification (ou réfutation). Une proposition est falsifiable s'il est possible de trouver une observation la réfutant. Donc le point de départ de toute "vérité" historique est une intuition théorique qu'on corrobore par l'expérience (puisque la vérification empirique est impossible), c'est la démarche théorico-déductive. En conséquent, toute vérité scientifique est par nature temporaire. De plus Popper s'est principalement appuyé sur une science expérimentale dont les résultats sont reproductibles (la physique), or en science humaine ils ne le sont pas (ou alors avec un coût humain énorme et que la société ne veut/peut pas prendre - en ce qui nous concerne le fait de faire redoubler aléatoirement des élèves par exemple). De plus la variabilité interne de l'objet étudié (j'hésite à parler de variance) en science humaine fait qu'un contre exemple ne suffit pas à mettre au vide ordure une théorie.

Donc, en science sociale on part d'une base théorique dont découle des hypothèse qu'on vérifie (pardon corrobore) avec le matériau empirique. Sachant que par convention (sociale donc) on s'accorde sur un risque de première espèce de 5% (donc il y a 5% de chance qu'un résultat corroboré par les tests stat soit en réalité faux).

Il faut accepter qu'on ne saura jamais à 100% mais dire que parce qu'on ne sait pas à 100% tout se vaut est un non-sens. L'ambition justement des sciences sociales est de sortir du café du commerce d'une part et de ne pas être purement spéculative (à la manière de la philo d'autre part).

PS: C'est un peu schématique et si j'ai dit des conneries n'hésitez pas à me reprendre.
PS2: Un livre "de référence" sur le sujet et assez accessible est "Qu'est-ce que la science" de Chalmers.

Salut,
PauvreYorick a été plus rapide que moi (car plus matinal) mais je vais quand même répondre.
Je n'ai en effet aucune prétention en épistémologie, mais il me semble que tu ne sais pas vraiment ce qu'est la fiabilité d'un test statistique.

Je suis d'accord avec à peu près tout ce que tu dis, la notion d'induction liée au hasard étant un peu le b-a-ba des probabilités/statistiques en mathématiques.
Néanmoins, quand tu évoques le fameux "risque de 5%", sais-tu bien d'où il provient ?
Il est le résultat d'une modélisation mathématique du réel (le plus souvent par une loi normale mais pas que) qui ne produit d'intervalle de confiance que dans le cas où tout biais a été éliminé.
Or, je me répète, mais ces expériences sur le redoublement souffrent toutes d'un énorme défaut dans le protocole expérimental, qui empêche systématiquement leur assimilation à un modèle répondant à une loi normale.
Par conséquent, il n'y a pas lieu ici de parler de marge d'erreur à 5%, personne ne contrôle le modèle, sauf les sociologues qui ont pratiqué l'étude et qui sont rarement des statisticiens (à l'INSEE, on trouve bcp de matheux de pointe, et bien peu de sociologues qui tirent des conclusions).
Pour être parfaitement clair : produire une telle étude et en tirer comme conséquence qu'il faut supprimer le redoublement est une stupidité intellectuelle.

J'ajoute que je n'ai rien contre les sciences sociales en général et ne nie aucunement leur apport réel. PAr exemple, il est tout à fait possible de réaliser des études sur l'efficacité des différentes méthodes d'apprentissage de la lecture : des biais peuvent exister mais ils seront nettement plus contrecarrables que dans la situation du redoublement. C'est comme cela qu'on peut voir des études montrant la meilleure efficacité des méthodes explicites face aux méthodes inductives (à l'école en général) sur des cohortes importantes d'élèves.
En revanche, je pense que bcp d'études de sociologie se prévalent d'un caractère scientifique et irréfutable qu'elles ne possèdent pas, et je déplore l'aspect mensonger de certaines conclusions.


Sur le redoublement, mes convictions sont les suivantes :
1. autoriser le passage en classe supérieure d'un élève qui n'a pas acquis la majorité des bases de l'année en cours est une violence faite à l'enfant, et un aller simple vers l'échec ;
2. faire redoubler un gamin en grande difficulté en lui proposant les mêmes cours que l'année passée est une perte de temps et d'énergie le plus souvent, et s'avère en effet peu utile ;
3. les seules solutions qui me sembleraient valables seraient de placer le gamin dans une structure intermédiaire où on ne lui referait pas tout le programme de l'année précédente, mais seulement les points où il a connu de grandes difficultés, tout en cherchant à lui inculquer aussi une partie du programme de l'année suivante qu'il aurait dû suivre. Il me semble qu'ainsi on pourrait espérer réintégrer rapidement un nombre important de gamins dans le cursus "normal".




PS : je pense que lorsque Popper travaille sur la physique, il ne se voit pas du tout appliquer la même tolérance de raisonnement aux sciences humaines.

gilthoniel a écrit:

Igniatius a écrit:

gilthoniel a écrit:En fait j'avais présupposé que vous aviez des notions d'épistémologie. C'est plus complexe que de la simple confrontation de conviction. L'idée est d'aller au delà pour créer un discours scientifique

Je vais au préalable prendre deux trois précautions:
- je n'ai pas d'avis arrêté sur la question du redoublement.
- je me suis sérieusement intéressé à l'épistémologie mais ça ne fait pas de moi un spécialiste. Donc si je fais des erreurs d'interprétation je l'accepte.
- si ce que je dis peut paraître "professoral" ce n'est pas parce que je prend les autres de haut.

Des philosophes se sont intéressés au début du XXème siècle à ce qui faisait la science et ce qui la distinguait de voies de connaissances pseudo scientifiques (métaphysique). Toute science part de l'observation (on va mettre de côté les math dont l'objet se confond avec le discours), mais celle-ci n'est pas suffisante (c'est en ce qui nous concerne les statistiques qui finalement ne sont rien d'autre que de l'observation mis en forme) pour établir une vérité scientifique. En effet, ce n'est pas parce qu'on a expérimenté dans notre vie que des cygnes blancs qu'il n'existe pas de cygnes noirs et ce même si on a vu des centaines de milliers de cygnes différents puisqu'il suffit d'un cygne noir pour que ceux-ci existent (on en aurait vu des milliards que ça ne changerait pas la chose). De même on pourrait imaginer quelqu'un qui toute sa vie aurait assisté ou joué à pile ou face et obtenu que des faces (ce qui n'est pas moins probable que toute autre séquence). Donc on pourrait en conclure qu'aucune vérité scientifique ne peut être établie dans ce cas là. Puisque rien n'est sur et qu'on ne sait, par conséquent, rien.
L'induction est donc un cul de sac et tous les discours semblent se valoir (on en est là).

Or Karl Popper (un philosophe viennois) propose quand même une façon pour dépasser ce paradoxe, c'est la falsification (ou réfutation). Une proposition est falsifiable s'il est possible de trouver une observation la réfutant. Donc le point de départ de toute "vérité" historique est une intuition théorique qu'on corrobore par l'expérience (puisque la vérification empirique est impossible), c'est la démarche théorico-déductive. En conséquent, toute vérité scientifique est par nature temporaire. De plus Popper s'est principalement appuyé sur une science expérimentale dont les résultats sont reproductibles (la physique), or en science humaine ils ne le sont pas (ou alors avec un coût humain énorme et que la société ne veut/peut pas prendre - en ce qui nous concerne le fait de faire redoubler aléatoirement des élèves par exemple). De plus la variabilité interne de l'objet étudié (j'hésite à parler de variance) en science humaine fait qu'un contre exemple ne suffit pas à mettre au vide ordure une théorie.

Donc, en science sociale on part d'une base théorique dont découle des hypothèse qu'on vérifie (pardon corrobore) avec le matériau empirique. Sachant que par convention (sociale donc) on s'accorde sur un risque de première espèce de 5% (donc il y a 5% de chance qu'un résultat corroboré par les tests stat soit en réalité faux).

Il faut accepter qu'on ne saura jamais à 100% mais dire que parce qu'on ne sait pas à 100% tout se vaut est un non-sens. L'ambition justement des sciences sociales est de sortir du café du commerce d'une part et de ne pas être purement spéculative (à la manière de la philo d'autre part).

PS: C'est un peu schématique et si j'ai dit des conneries n'hésitez pas à me reprendre.
PS2: Un livre "de référence" sur le sujet et assez accessible est "Qu'est-ce que la science" de Chalmers.

Salut,
PauvreYorick a été plus rapide que moi (car plus matinal) mais je vais quand même répondre.
Je n'ai en effet aucune prétention en épistémologie, mais il me semble que tu ne sais pas vraiment ce qu'est la fiabilité d'un test statistique.

Je suis d'accord avec à peu près tout ce que tu dis, la notion d'induction liée au hasard étant un peu le b-a-ba des probabilités/statistiques en mathématiques.
Néanmoins, quand tu évoques le fameux "risque de 5%", sais-tu bien d'où il provient ?
Il est le résultat d'une modélisation mathématique du réel (le plus souvent par une loi normale mais pas que) qui ne produit d'intervalle de confiance que dans le cas où tout biais a été éliminé.
Or, je me répète, mais ces expériences sur le redoublement souffrent toutes d'un énorme défaut dans le protocole expérimental, qui empêche systématiquement leur assimilation à un modèle répondant à une loi normale.
Par conséquent, il n'y a pas lieu ici de parler de marge d'erreur à 5%, personne ne contrôle le modèle, sauf les sociologues qui ont pratiqué l'étude et qui sont rarement des statisticiens (à l'INSEE, on trouve bcp de matheux de pointe, et bien peu de sociologues qui tirent des conclusions).
Pour être parfaitement clair : produire une telle étude et en tirer comme conséquence qu'il faut supprimer le redoublement est une stupidité intellectuelle.

J'ajoute que je n'ai rien contre les sciences sociales en général et ne nie aucunement leur apport réel. PAr exemple, il est tout à fait possible de réaliser des études sur l'efficacité des différentes méthodes d'apprentissage de la lecture : des biais peuvent exister mais ils seront nettement plus contrecarrables que dans la situation du redoublement. C'est comme cela qu'on peut voir des études montrant la meilleure efficacité des méthodes explicites face aux méthodes inductives (à l'école en général) sur des cohortes importantes d'élèves.
En revanche, je pense que bcp d'études de sociologie se prévalent d'un caractère scientifique et irréfutable qu'elles ne possèdent pas, et je déplore l'aspect mensonger de certaines conclusions.


Sur le redoublement, mes convictions sont les suivantes :
1. autoriser le passage en classe supérieure d'un élève qui n'a pas acquis la majorité des bases de l'année en cours est une violence faite à l'enfant, et un aller simple vers l'échec ;
2. faire redoubler un gamin en grande difficulté en lui proposant les mêmes cours que l'année passée est une perte de temps et d'énergie le plus souvent, et s'avère en effet peu utile ;
3. les seules solutions qui me sembleraient valables seraient de placer le gamin dans une structure intermédiaire où on ne lui referait pas tout le programme de l'année précédente, mais seulement les points où il a connu de grandes difficultés, tout en cherchant à lui inculquer aussi une partie du programme de l'année suivante qu'il aurait dû suivre. Il me semble qu'ainsi on pourrait espérer réintégrer rapidement un nombre important de gamins dans le cursus "normal".




PS : je pense que lorsque Popper travaille sur la physique, il ne se voit pas du tout appliquer la même tolérance de raisonnement aux sciences humaines.

Je parlais de Popper car sa falsification sert de base épistémologique à la démarche en science humaine, pas parce qu'il porte son discours sur les sciences humaines. Ça nous amène à une "preuve" scientifique qui n'est pas basée sur un résultat empirique (là un peu pourri, je veux bien l'admettre) mais sur un couple "Théorie"=>hypothèse=>résultats empiriques (oui un couple à trois ).
En fait, je ne venais pas au secours de l'étude mais de mes collègues de SES (de façon, un peu partisane, il est vrai), qui étaient pour le moins pris de haut. J'expliquais juste la différence de perception sur ce qui pouvait constituer une preuve en fonction du background disciplinaire. Si j'ai donné l'impression d'être condescendant je vous demande pardon.

De plus ça me parait bizarre que l'idée que le redoublement puisse être contre-productif ne s’appuie que sur une seule étude. Mais je ne suis pas spécialiste de la question (je n'ai même pas lu l'étude en question, notamment en ce qui concerne sa robustesse).

Je ne me prétend pas un spécialiste des statistiques mais j'ai eut dans mes recherches à utiliser des modèles statistiques dont certains où on "redressait" le biais de sélection avec la méthode de Heckman. Ceci-dit, les économistes sont en général des gens qui maitrisent les outils statistiques et le fait qu'on soit obligé de travailler dans un univers biaisé (même les données utilisées, quand elles existent, le sont).

En revanche là où je suis à 100% d'accord avec toi c'est sur l'humilité dont manquent souvent les chercheurs en sciences sociales (je suis économiste et dans ma partie c'est une évidence).

PS: quand je parle de sciences sociales ce n'est pas seulement la sociologie mais toute les sciences prenant pour objet l'homme en société.

PauvreYorick a écrit:Je crois que Popper, au moins la vulgate qu'on retient, c'est trop simple pour rendre compte effectivement du travail en sciences dites « dures ». Sûrement. Mais il y a tout de même des aspects de son travail qui sont quasiment passés dans les mœurs, sous une forme ou sous une autre ; la possibilité de se confronter à une éventuelle réfutation expérimentale d'une théorie n'est que rarement évoquée entre spécialistes, j'imagine, parce qu'elle constitue une évidence pour tout le monde (même si c'est un casse-tête que de parvenir à des critères absolus de la « réfutation expérimentale », comme Lakatos y a longuement insisté). Dans les disciplines, en revanche, où ça pose d'emblée plus de difficultés ou bien où les critères sont nettement plus flous, ce n'est pas tellement étonnant qu'il revienne sur le tapis.