mais pourquoi les moindres carrés?

Bonjour,

en essayant aujourd'hui de faire "regresser"mes productions et consommations journalières d'électricité sur  des sinusoïdes, je me posai soudainement la question : "mais pourquoi utiliser sans cesse les moindres carrés?".

Quelqu'un a-t-il réponse à me donner? sachant que je suis en collège depuis près de 20 ans, mes études sont bien loin , alors pas trop technique si possible :boulet: .

ben si tu fais la somme des écarts par rapport à ta sinusoïde, ils ont tendance à s'annuler.. alors tu fais la somme des écarts au carré, et tu cherches rendre cette somme la plus faible possible...

A cause du théorème de Pythagore, pour le dire rapidement...

Un petit texte historique que je viens de découvrir

http://www.persee.fr/web/revues/home/prescript/article/rhs_0151-4105_1989_num_42_1_4132

merci Tazon, je me suis régalé avec ce petit article que je trouve très bien écrit, et j'ai appris des histoires que je ne connaissais pas...

Comme la dit cignus ca te permet d'avoir une erreur positive ou il n'y a pas de système de compensation. Tu pourrais aussi prendre la valeur absolue mais ca pourrait créer des problèmes lors du calcul de dérivés dans la théorie. Je pense.

Dinaaa a écrit:

moi aussi...

Il y a effectivement une raison pratique, la distance n'est pas dérivable, alors que son carré est dérivable.
D'une autre façon, on peut considérer les projections dans un espace de fonctions ad hoc.

Balthazaard a écrit:

Dinaaa a écrit:

moi aussi...

Y a pas à dire, c'est un métier

Whypee a écrit:

Balthazaard a écrit:

Dinaaa a écrit:

moi aussi...

Y a pas à dire, c'est un métier

+1

Balthazaard a écrit:Un petit texte historique que je viens de découvrir

http://www.persee.fr/web/revues/home/prescript/article/rhs_0151-4105_1989_num_42_1_4132

merci Tazon, je me suis régalé avec ce petit article que je trouve très bien écrit, et j'ai appris des histoires que je ne connaissais pas...

Super !

Balthazaard a écrit:Un petit texte historique que je viens de découvrir

http://www.persee.fr/web/revues/home/prescript/article/rhs_0151-4105_1989_num_42_1_4132

merci Tazon, je me suis régalé avec ce petit article que je trouve très bien écrit, et j'ai appris des histoires que je ne connaissais pas...

Oui, moi de même.
Merci beaucoup.

Il s'agit de mesurer une distance (écart) et donc on définit une norme. On peut prendre la valeur absolue (L1), la borne sup ou autre.
Mais la norme L2 (carrés des écarts) provient d'un produit scalaire et a donc de bonnes propriétés simplificatrices (la bilinéarité !) et donc on la choisit en priorité.
De plus c'est lié à des notions d'"énérgie".
Si tu définis la fonction d'énergie d'un système comme la somme des carrés des écarts, le minimum est atteint à la moyenne et vaut la variance. Si tu prend la somme des valeurs absolues, le minimum est atteint à la médiane.

cassoulet a écrit:Il s'agit de mesurer une distance (écart) et donc on définit une norme. On peut prendre la valeur absolue (L1), la borne sup ou autre.
Mais la norme L2 (carrés des écarts) provient d'un produit scalaire et a donc de bonnes propriétés simplificatrices (la bilinéarité !) et donc on la choisit en priorité.
De plus c'est lié à des notions d'"énérgie".
Si tu définis la fonction d'énergie d'un système comme la somme des carrés des écarts, le minimum est atteint à la moyenne et vaut la variance. Si tu prend la somme des valeurs absolues, le minimum est atteint à la médiane.

J'aime !

Notons que la question est "pourquoi l'utiliser"...étant entendu que les questions de minimum et autre font partie de la méthode...

merci pour vos réponses, c'est chouette neoprofs, toujours quelqu'un qui sait ce qu'on a besoin ou envie de savoir! Et m^eme plus, merci pour le texte!

Donc oui, Balthazaard a raison, c'est plus pourquoi que comment qui me faisait m'interroger. Donc des questions de dérivabilités, de linéarité, des erreurs qui s'équilibrent sans s'annihiler les unes les autres (ça oui, je m'en souvenais tout de m^eme ) OK.

Par contre Cassoulet la fonction d'énergie, là je ne sais vraiment pas de quoi tu causes! ( mais ne perds pas de temps à m'expliquer, je sens que ça irait chercher loin, bient^ot les vacances, je chercherai à mon rythme :lecteur: )

Je te risque une réponse informelle et simplifiée...(qui est présente dans le petit texte d'ailleurs) si on suppose que les valeurs que tu veux ajuster sont entachées de fluctuations (erreurs quoi..) qui obéissent à certaines conditions (en fait celles qui permettent de suspecter une distribution normale) on peut montrer que la méthode des moindres carrés fournit l'estimation la plus efficiente (c'est a dire qui "bougera" le moins si les données fluctuent). (th de Gauss-Markov)
Parce que sinon, mis à part le côté calculatoire de la méthode, on ne voit pas bien ce qui justifie son emploi (que ce soit le choix de la norme, de la projection ou autre qui pourront toujours sembler arbitraires...)

Le coup de l’énergie , je ne connais pas cette présentation mais ça ne me parait pas idiot, dans la mesure où on pourrait rechercher l'état le plus stable...je dis ça comme ça...

cassoulet a écrit:Il s'agit de mesurer une distance (écart) et donc on définit une norme. On peut prendre la valeur absolue (L1), la borne sup ou autre.
Mais la norme L2 (carrés des écarts) provient d'un produit scalaire et a donc de bonnes propriétés simplificatrices (la bilinéarité !) et donc on la choisit en priorité.
De plus c'est lié à des notions d'"énérgie".
Si tu définis la fonction d'énergie d'un système comme la somme des carrés des écarts, le minimum est atteint à la moyenne et vaut la variance. Si tu prend la somme des valeurs absolues, le minimum est atteint à la médiane.

Attention, en posant f(x)=somme (x-x_i)², le minimum est atteint pour x= moyenne(x_i), mais il vaut nV (effectif fois variance).
Je me suis fait avoir là-dessus devant mes 1S l'autre jour (excès d'enthousiasme).

Un peu plus de détails : les coordonnées (x_i,y_i) (où i appartient à [[1,n]]) des points étant connues, on cherche a et b minimisant l'expression
somme((y_i-a*x_i-b)^2, où  i appartient à [[1,n]]).

On munit R^n de son produit scalaire naturel, on note Y, X et J les vecteurs de coordonnées respectives (y_1,...,y_n), (x_1,...,x_n) et (1,1,...,1).

On cherche donc le minimum de l'expres​sion(norme(Y-aX-bJ))^2 lorsque (a,b) décrit R^2.

Pour cela, on dispose du théorème de projection orthogonale : cette expression est minimale lorsque aX+bJ est le projeté orthogonal de Y sur le sous-espace engendré par X et J, autrement dit lorsque les produits scalaires (Y-aX-bJ|X) et (Y-aX-bJ|J) sont nuls. Le calcul se ramène donc à la résolution d'un système de deux équations à deux inconnues.

On peut montrer que, pour n'importe quelle norme N sur R^n, on peut trouver a et b minimisant l'expression N(Y-aX-bJ), mais on ne dispose alors plus d'accès par le calcul à un couple (a,b) qui convienne, d'où le choix des moindres carrés.

Filnydar a écrit:Un peu plus de détails : les coordonnées (x_i,y_i) (où i appartient à [[1,n]]) des points étant connues, on cherche a et b minimisant l'expression
somme((y_i-a*x_i-b)^2, où  i appartient à [[1,n]]).

On munit R^n de son produit scalaire naturel, on note Y, X et J les vecteurs de coordonnées respectives (y_1,...,y_n), (x_1,...,x_n) et (1,1,...,1).

On cherche donc le minimum de l'expres​sion(norme(Y-aX-bJ))^2 lorsque (a,b) décrit R^2.

Pour cela, on dispose du théorème de projection orthogonale : cette expression est minimale lorsque aX+bJ est le projeté orthogonal de Y sur le sous-espace engendré par X et J, autrement dit lorsque les produits scalaires (Y-aX-bJ|X) et (Y-aX-bJ|J) sont nuls. Le calcul se ramène donc à la résolution d'un système de deux équations à deux inconnues.

On peut montrer que, pour n'importe quelle norme N sur R^n, on peut trouver a et b minimisant l'expression N(Y-aX-bJ), mais on ne dispose alors plus d'accès par le calcul à un couple (a,b) qui convienne, d'où le choix des moindres carrés.

Ce n'est pas une question de calcul (d'ailleurs en maths appliquées, on se soucie assez rarement de calcul , l'existence suffit souvent, une valeur approchée prenant alors le relais si besoin) la raison est plus technique