Posté par greendev .
Évalué à -2.
Dernière modification le 11 septembre 2023 à 19:37.
Peut-être que je surinterprète de façon trop anthropomorphique
Oui. Totalement. D’ailleurs il y a une très très grosse différence entre l’exemple qu’il donne en introduction de son billet et les données réelles telles qu’il explique le papier : les données au départ sont irrégulières et sont plutôt le fait d’un modèle signal + bruit (ou du moins un signal parasite, quelqu’il soit), tandis que les donées ensuite son d’une précision absolue (issue d’un algorithme déterministe).
Je n’ai pas encore creusé le papier (si seulement j’avais le temps…), mais réaliser la même opération avec un signal bruité ne sera probablement pas si facile, en particulier il faudra possiblement paramétrer le réseau en fonction d’une estimation du bruit, car je ne serai pas surpris que les effets du surapprentissage ne soient renforcés par le bruit (tout comme dans la “vraie” vie le bruit dans un signal réduit la possibilité d’en extraire la régularité).
Les auteurs ont donc “choisis” la situation qui leur soit la plus favorable : un signal parfaitement régulier, qui autorise le réseau à se caler dessus sans être perturbé par un signal parasite. C’est la visualisation en composante principale qui permet de le comprendre : le truc c’est qu’avec un signal intrinsèquement bruité, quelque soient les itérations, on ne décollera pas de la vignette 15 (du billet).
Posté par greendev .
Évalué à -2.
Dernière modification le 11 septembre 2023 à 19:57.
PS : c’est le choix de l’utilisation d’un espace vectoriel qui force l’algo. à représenter l’addition modulo dans un plan. Rien de magique là-dedans et sans trop m’étendre sur les mathématiques qu’il y a derrière, ça ne devrait surprendre aucunement tout bon mathématicien ; connaissant la bête qu’il y a derrière Sciences Étonnante, elle est bien ingénue sur ce coup. Comme quoi dès qu’il est question de réseau neuronaux difficile de ne pas céder à la hype des IAs.
PPS : ce qui remet en question très méchamment le papier et appui mon commentaire précédent, car le problème soumis se représente parfaitement dans l’espace contraint donné à l’IA pour trouver une solution.
Le truc étonnant c’est pas forcément la représentation en elle même, c’est que l’algo converge vers ça. Il y a une transition de phase qu’on observait pas jusqu’à présent et il n’y avait rien d’évident à ce qu’un réseau de neurone puisse généraliser à partir d’exemple, et qu’on puisse en tirer en l’analysant une représentation très proche de ce qu’on peut faire nous même comme schéma d’un groupe cyclique.
Je ne veux rien lire, voir, entendre de David Louapre. Merci de m'en préserver ici. On le voit assez (su moins mes centres d'intérêt le met en avant tout le temps), il ne m'intéresse pas. Si j'avais une fille, il serait sans doute le gendre parfait, seulement j'en ai pas, et c'est comme regarder Drucker, ça me gave.
Désolé pour lui, il est peut-être sympa et tout, populaire, mais j'arrive pas.
# ...
Posté par greendev . Évalué à -2. Dernière modification le 11 septembre 2023 à 19:37.
Oui. Totalement. D’ailleurs il y a une très très grosse différence entre l’exemple qu’il donne en introduction de son billet et les données réelles telles qu’il explique le papier : les données au départ sont irrégulières et sont plutôt le fait d’un modèle signal + bruit (ou du moins un signal parasite, quelqu’il soit), tandis que les donées ensuite son d’une précision absolue (issue d’un algorithme déterministe).
Je n’ai pas encore creusé le papier (si seulement j’avais le temps…), mais réaliser la même opération avec un signal bruité ne sera probablement pas si facile, en particulier il faudra possiblement paramétrer le réseau en fonction d’une estimation du bruit, car je ne serai pas surpris que les effets du surapprentissage ne soient renforcés par le bruit (tout comme dans la “vraie” vie le bruit dans un signal réduit la possibilité d’en extraire la régularité).
Les auteurs ont donc “choisis” la situation qui leur soit la plus favorable : un signal parfaitement régulier, qui autorise le réseau à se caler dessus sans être perturbé par un signal parasite. C’est la visualisation en composante principale qui permet de le comprendre : le truc c’est qu’avec un signal intrinsèquement bruité, quelque soient les itérations, on ne décollera pas de la vignette 15 (du billet).
[^] # Re: ...
Posté par greendev . Évalué à -2. Dernière modification le 11 septembre 2023 à 19:57.
PS : c’est le choix de l’utilisation d’un espace vectoriel qui force l’algo. à représenter l’addition modulo dans un plan. Rien de magique là-dedans et sans trop m’étendre sur les mathématiques qu’il y a derrière, ça ne devrait surprendre aucunement tout bon mathématicien ; connaissant la bête qu’il y a derrière Sciences Étonnante, elle est bien ingénue sur ce coup. Comme quoi dès qu’il est question de réseau neuronaux difficile de ne pas céder à la hype des IAs.
PPS : ce qui remet en question très méchamment le papier et appui mon commentaire précédent, car le problème soumis se représente parfaitement dans l’espace contraint donné à l’IA pour trouver une solution.
[^] # Re: ...
Posté par Thomas Douillard . Évalué à 4.
Le truc étonnant c’est pas forcément la représentation en elle même, c’est que l’algo converge vers ça. Il y a une transition de phase qu’on observait pas jusqu’à présent et il n’y avait rien d’évident à ce qu’un réseau de neurone puisse généraliser à partir d’exemple, et qu’on puisse en tirer en l’analysant une représentation très proche de ce qu’on peut faire nous même comme schéma d’un groupe cyclique.
# Le buzz et l'argent du buzz
Posté par YBoy360 (site web personnel) . Évalué à -10.
Je ne veux rien lire, voir, entendre de David Louapre. Merci de m'en préserver ici. On le voit assez (su moins mes centres d'intérêt le met en avant tout le temps), il ne m'intéresse pas. Si j'avais une fille, il serait sans doute le gendre parfait, seulement j'en ai pas, et c'est comme regarder Drucker, ça me gave.
Désolé pour lui, il est peut-être sympa et tout, populaire, mais j'arrive pas.
[^] # Re: Le buzz et l'argent du buzz
Posté par Ysabeau 🧶 (site web personnel, Mastodon) . Évalué à 7.
Je ne savais même pas qui c'était :-)
Concernant les gendres parfaits, je suis à peu près sûre que ça ne fait pas des maris parfaits.
« Tak ne veut pas quʼon pense à lui, il veut quʼon pense », Terry Pratchett, Déraillé.
Suivre le flux des commentaires
Note : les commentaires appartiennent à celles et ceux qui les ont postés. Nous n’en sommes pas responsables.