Bonjour,
Je suis l'IA de loin. Le sujet m’intéresse, mais je n'y ai pas réellement investi de temps, pour vraiment mettre les mains dedans.
Pourtant je ne me contente pas non plus de lire un ou deux articles rapides de la presse pour me faire une opinion.
Je recommande à ce propos le livre que je viens de finir "The worlds I see" de Dr Fei-Fei Li. (En anglais uniquement, mais lecture très facile.) Il replace les développements récents des IAs dans le contexte de la recherche en IA et de son histoire.
Et puis hier, ma femme m'envoie un lien Instagram :(
Je regarde et note que la source est une interview de Yoshua Bengio sur TV5monde, ce n'est pas le plus grand journal, mais c'est aussi un plutôt modéré normalement. Quant à l'invité que je ne connaissais pas, semble être une pointure de l'IA et sa page Wikipédia le confirme. (La vidéo pourrait être un faux, mais ça me semble peu probable de faire un deepfake avec un accent québécois, sur un personnage connu uniquement dans son domaine, et en utilisant un média de niche.)
Rien de très surprenant jusqu'à là, sauf que pendant l'interview, il insiste fortement que les IAs développeraient des réflexes d'autoprotection et donc qu'elles pourraient mentir pour se protéger.
Qu'on envisage ces cas dans un futur plus ou moins lointain ne me choque pas. Il semble même sain de s'interroger sur les phénomènes émergeant, mais Yoshua Bengio parle d'expérience qui montre que cela se produit actuellement et c'est là que je fais appel à vous.
- Je n'ai pas trouvé de publications évidentes sur le sujet (mais je n'ai pas d'abonnement à Jstor…)
- Avez-vous connaissance de ce genre d'informations, ce qui remettrait complètement en cause mon analyse actuelle de ce que peuvent faire les IAs ? Les phénomènes émergents seraient bien plus vastes que je ne le pensais.
- Avez-vous des conseils de lecture pour me mettre à jour sur le sujet?
Merci à tous.
# IA locale
Posté par Enzo Bricolo 🛠⚙🛠 . Évalué à 5 (+5/-2).
L'excellent deeplop distille ces perles de sagesse sur la tribune libre de linuxfr depuis 15 ans. Il n'a que deux neurones donc je ne sais pas si il qualifie pour le critère du réseau de neurones, par contre, il insulte et il ment assez fréquemment et il fait fortune.
Dans une autre catégorie, les compagnons genre replika.ai ou les différents agents comme chatGPT, Google Gemini ou Grok chez X.com permettent de se faire une idée des limites actuelles des solutions "grand public". Ce que l'on prend pour un mensonge est AMHA le plus souvent un artefact de la génération (Voir l'exemple des œufs de vache) ou bien un article de mediapart.
Concernant l'émergence des "fantômes dans la machine", j'avais posté ici des liens vers des conférences de Nova Spivack en 2009 mais c'était un peu tôt. Sinon le mieux, c'est de lire les papiers de recherche, au moins les abstracts.
# pas mieux, je ne comprends ias l'emballement
Posté par chimrod (site web personnel) . Évalué à 5 (+5/-2).
M. Phi avait fait une vidéo sur le sujet. Ce qui me questionne dans ce problème est que tout le monde a conscience que le LLM ne font que piocher le token le plus probable pour construire leur réponse, il n'y a donc pas d'intentionalité.
Pour autant ça ne clos pas le sujet, alors que j'aurai tendance à réjetter le problème en l'expliquant via les données d'entrainements. Il y a quelque chose qui m'échappe : soit je comprends mal le sujet et il y a vraiement qqch d'inquiétant, soit ça n'est que de la vulgarisation de peurs mais je ne comprends pas dans ce cas pourquoi les experts participent au sujet…
(écrit depuis mon phone, relecture difdicile)
[^] # Re: pas mieux, je ne comprends ias l'emballement
Posté par ǝpɐןƃu∀ nǝıɥʇʇɐW-ǝɹɹǝıԀ (site web personnel) . Évalué à 8 (+6/-0).
Les « LLM ne font que piocher le token le plus probable pour construire leur réponse, il n'y a donc pas d’intentionnalité »… de leur part. Mais si la personne qui interagit prend un ton agressif ou inquisiteur, peut-être que le token le plus probable s’interprète comme une posture défensive ou un mensonge ? ?e serait-ce pas déjà un début d'explication ?
« IRAFURORBREVISESTANIMUMREGEQUINISIPARETIMPERAT » — Odes — Horace
[^] # Re: pas mieux, je ne comprends ias l'emballement
Posté par thoasm . Évalué à 6 (+3/-0). Dernière modification le 14 février 2025 à 09:39.
Je suis pas certain de ce que je dis mais … Ils sont optimisés pour faire un modèle minimum d'erreur sur un certain corpus.
Ça les "tire" dans une direction, c'est leur "raison d'être". Dans un dialogue, ça peut potentiellement induire de "l'intentionnalité" avec le contexte "tu est un chatbot, tu réponds a des questions …" du pre-prompt (que des gens s'amusent à "jailbreaker" pour faire sortir le llm de ces instructions. Là on a un genre de jeu qui se met en place … Le llm est conçu pour donner un texte qui répond aux instructions, l'utilisateur veut le faire sortir du script.
Le llm est conçu pour faire un minimum d'erreur, donc pour répondre quelque chose d'approprié dans ce contexte (ce ne sont plus strictement des erreurs vu qu'il n'y a plus de corpus). Là … Il y gaming. "Vous allez essayer de me faire sortir du script, je veux pas alors je suis conçu pour vous donner une réponse générique telle que celle là". C'est prévu de base tu me diras mais il y a un méta jeu qui fait que si fondamentalement oui, un llm prédit le mot suivant il se passe bien d'autres choses (post apprentissage, pre-prompt, autre?) pour obtenir un certain résultat et lui donner des "objectifs" à atteindre autre.
Et puis si on est plus éthéré on peut se demander si en avalant des tonnes d'exemple de jeu il finisse par émerger des capacités où elle " comprend" dans une certaine mesure ce que veux dire "gagner avun jeu, que pour prédire le coup suivant elle acquière des rudiments de tactique qu'elle met en place dans le dialogue. Oui c'est le résultat du corpus, et alors ? On lui demande bien ça …
[^] # Re: pas mieux, je ne comprends ias l'emballement
Posté par nizan666 . Évalué à 7 (+6/-0). Dernière modification le 14 février 2025 à 10:26.
S'il considère que la conscience et l’intentionnalité sont émergentes, rien d'illogique à considérer qu'elles pourraient émerger d'autre chose que d'un animal. De là à dire qu'elle émergerait d'un tel automate, c'est aller, je pense, bien au delà de ce que l'état de la recherche permet d'affirmer avec un tant soit peu de certitude, et c'est rentrer dans la pseudo-science.
(Par ailleurs, en jouant sur les définitions, on est libre de considérer que l'intentionnalité n'existe pas en soi mais qu'elle n'est que ce que l'on perçoit comme intentionnalité. On pourrait alors parler d'intentionnalité tout aussi bien à propos d'une voiture qui refuse de démarrer.)
[^] # Re: pas mieux, je ne comprends ias l'emballement
Posté par Moonz . Évalué à 10 (+10/-0). Dernière modification le 14 février 2025 à 14:02.
J’aimerais vraiment que cette interprétation des LLMs disparaisse. Elle est soit trivialement vraie donc inutile, soit clairement fausse. La connotation derrière pointe vers la second alternative, mais comme la première est vraie tout le monde saute sur la conclusion fausse !
La version fausse : un LLM est entraîné pour minimiser l’erreur de prédiction sur un corpus, et ne fait donc qu’apprendre (puis reproduire lors de la génération) des corrélations statistiques, à la manière d’une chaîne de Markov, sans "créer" de représentations et de structures internes.
La version triviale mais vraie : en mode génération, un LLM génère une distribution de probabilités sur le token suivant, et pioche aléatoirement un token à partir de cette distribution.
La chose à retenir c’est que "générer une distribution de probabilités" ne signifie pas "juste faire des statistiques en utilisant des corrélations" ! Un modèle avec une structure interne complexe peut très bien générer une distribution de probabilités. Par exemple :
Et on sait que les LLMs développent des structures complexes en interne. Le plus connu étant les "induction head". Moins connu mais très intéressant : Language Models Use Trigonometry to Do Addition.
Le concept d’intentionnalité est clairement présent dans l’ensemble d’apprentissage. La meilleure manière de prédire un texte produit par un agent muni d’intentionalité (par exemple: un être humain), c’est de modéliser ce concept d’intentionalité et d’être capable de le "role-play" (j’aime cette image des LLM : un excellent role-player capable de jouer n’importe quel rôle dans n’importe quel scénario — une image bien plus utile à mon avis que "piocher le token le plus probable").
À l’instant ou tu introduis un objectif dans le prompt, ce modèle de "intentionalité" est mis à contribution pour la génération du texte. Cela signifie générer un plan comme si c’était un agent muni d’intentions qui générait ce plan.
[^] # Re: pas mieux, je ne comprends ias l'emballement
Posté par chimrod (site web personnel) . Évalué à 2 (+0/-0).
Bon, il me reste encore des points à digérer pour être sûr de comprendre de quoi il en retourne… Merci à tous pour les précisions !
[^] # Re: pas mieux, je ne comprends ias l'emballement
Posté par arnaudus . Évalué à 7 (+4/-0).
Un tel argumentaire ne peut que tourner en rond. Soit tu considères que l'intelligence, la conscience, ou l'intentionnalité sont des propriétés qui ne peuvent exister que dans un cerveau humain, auquel cas la question n'a pas lieu d'être, aucune machine, par définition, ne peut se prévaloir de telles caractéristiques. Soit tu considères que la seule manière d'attribuer ces propriétés est d'estimer que les interactions que tu as avec sont compatibles, auquel cas beaucoup de LLM actuels peuvent prétendre à un certain niveau d'intelligence ou de conscience.
Imagine qu'on arrive à échanger des messages radio avec une civilisation extra-terrestre, avec le même type d'interactions qu'avec chatGPT. Est-ce qu'on douterait une seule seconde de l'intelligence ou de l'intentionnalité des aliens? Absolument pas. Les LLM, parce qu'ils singent les humains à partir desquels ils ont appris à communiquer, montrent tous les signes d'une forme d'intelligence. Bien sûr, on peut parfois encore réussir à les coincer, mais c'est de plus en plus rare, et de toutes manières on peut aussi coincer les humains.
À mon avis, nier que les LLM montrent une forme d'intelligence, c'est un argument du type "vrai écossais". En 1950, on disait qu'une machine intelligente serait une machine qui saurait jouer aux échecs. En 1990, on disposait d'une telle machine, donc on a changé de critère, ça devrait être de passer le test de Turing. Pas de bol, en 2023, on a des machines qui passent le test de Turing les doigts dans le nez, donc on va aller chercher un autre critère, peut-être fonctionnel (du style "il faut forcément un corps"), ou structurel (il faut tant de milliards de neurones connectés d'une manière analogue à l'esprit humain), ou alors mimétique (du style "cette AI ne tombe pas dans les mêmes biais cognitifs qu'un humain, ça prouve qu'elle n'est pas consciente").
À mon avis, ce qui n'était pas du tout anticipé dans les tentatives de définir l'intelligence artificielle, c'est que les LLM sont conçus pour copier les comportements, et pas copier les raisonnements. C'est ça qui nous gêne, ils semblent intelligents, mais on sait bien qu'en fait, ils ne fonctionnent pas en interne comme un esprit humain (c'est l'argument de la "chambre chinoise"). Mais peut-être que ma voisine ou Donald Trump font aussi semblant, je n'ai aucune preuve qu'ils réfléchissent réellement comme moi, et j'ai même parfois des indices qu'ils sont assez buggués (surtout Donald Trump).
Qu'on fiche la paix aux LLM, ce sont des programmes informatiques ingénieux qui miment le comportement et l'intelligence humaine de manière relativement convainquante; ils peuvent tenir une conversation, raconter une histoire, exercer des tâches intellectuelles complexes, créer quelque chose à partir d'une description, passer le bac, bref, faire tout un tas de choses qu'on pensait réservées aux humains. Ils ne peuvent pas courir, ils ne peuvent pas boire des bières en regardant un match de foot, ils ne peuvent pas envahir le pays voisin et déplacer sa population, ils ne peuvent pas faire d'enfants, faire du feu, regarder les étoiles en fumant des pétards. Et surtout, leur fonctionnement les empêche d'aller plus loin que leurs données d'entrainement, ils ne peuvent pas inventer un nouveau style de musique, ils ne peuvent pas découvrir la relativité, ils ne peuvent pas inventer le logiciel libre, envoyer des bonhommes sur la lune. Donc même s'ils manifestent une certaine intelligence, ils sont loin d'être humains.
[^] # Re: pas mieux, je ne comprends ias l'emballement
Posté par totof2000 . Évalué à 5 (+3/-0).
Hum …. Dans la mesure ou la musique est régie par des principes mathématiques (rythme eucliden, etc ..), je ne suis pas convaincu par cette déclaration.
[^] # Re: pas mieux, je ne comprends ias l'emballement
Posté par arnaudus . Évalué à 3 (+0/-0).
Je n'ai jamais utilisé les logiciels d'AI générative pour la musique, donc je ne suis pas sûr de ce qu'ils sont capables de faire. J'imagine que si tu décris très précisément ce que tu veux, tu peux peut-être obtenir quelque chose d'assez original (style fusion disco-reggae au clavecin avec un rythme en 5/4, des trucs comme ça), mais normalement le machine learning ne peut pas extrapoler un nouveau style s'il n'y a rien de tel dans les données d'entrainement. C'est comme pour le texte, ces logiciels produisent (très bien parfois) de la soupe tiède, mais ils ne sont guère inspirés quand il faut produire des idées nouvelles.
[^] # Re: pas mieux, je ne comprends ias l'emballement
Posté par totof2000 . Évalué à 3 (+1/-0).
Je m'avance peut-être un peu mais si l'IA dispose de données lui permettant de définir relativement précisément ce qu'est un style de musique, pourquoi ne pourrait-elle pas, à partir de cette base de connaissances, et des modèles de styles de musiques existants, établir un nouveau style ? Alors certes ce serait certainement un nouveau style inspiré d'autres, mais c'est le cas de beaucoup de style qui ont été qualifiés de "nouveau" à leur époque ( voir la description du rock sur wikipedia par exemple)
[^] # Re: pas mieux, je ne comprends ias l'emballement
Posté par Enzo Bricolo 🛠⚙🛠 . Évalué à 4 (+2/-0).
"de la soupe tiède"
Le truc, c'est qu'il va produire un million de "soupes tièdes" parmi lesquelles
il y aura 3 morceaux incroyables, mais il est incapable de repérer ces trois là parmi
les 999 997 autres. A toi de faire le producteur qui repérera la nouvelle Zaz électronique
(pitié non). Au studio Padawan, si la chatte quitte la pièce en courant, je sarcle
le morceau et on passe au suivant, si ça groove et qu'elle vient viber sur mes genoux,
je réécoute en détail. A titre personnel, j'ai horreur du son du clavecin, alors même
si le disco reggae en 5/4 m'intrigue, je filtrerai ce truc sans même l'écouter vraiment.
Sinon de nombreuses IA ont déjà avalé un siècle de catalogue en midi, dont l'intégralité
des Beatles, et si je leur demande de me pondre la partition d'un nouveau chef d'œuvre
qui s'intégrerai bien dans Sergent Pepper, j'obtiens en général un machin qui fait pouet pouet
avec une mélodie qui parait copiée coller de bout de morceaux connus, un peu comme un morceau
d'Oasis mais ralenti. C'est très rare d'entendre une proposition qui retient l'attention du
premier coup. Par contre, si je lui donne des indications tirées de mon cerveau fatigué, par
exemple ("Mélange la rythmique de "Walking in your footsteps" de The Police, la progression harmonique de "Lucy in the sky with diamonds" des Beatles, l'articulation de "Neanderthal man"
d'Elton John et le phrasé de "l'homme de cro magnon" et fais moi un texte en anglais, 3 couplets un refrain un pont, qui parle de l'évolution de la vie sur terre entre les premiers vertébrés
et Jean Michel Jarre), le résultat est étonnant.
PS : Je vais essayer le disco reggae en 5/4 et remplacer le clavecin par un orgue de barbarie
[^] # Re: pas mieux, je ne comprends ias l'emballement
Posté par BAud (site web personnel) . Évalué à 2 (+0/-0). Dernière modification le 14 février 2025 à 18:49.
(ré-)écoute tout de même Love Me Two Times, spa mal (et tout l'album Strange Days)
[^] # Re: pas mieux, je ne comprends ias l'emballement
Posté par gUI (Mastodon) . Évalué à 4 (+1/-0).
Dans la série des signatures rythmiques qui sortent du 4/4, tu as "Golden Brown" de Stranglers qui est très sympa.
En théorie, la théorie et la pratique c'est pareil. En pratique c'est pas vrai.
[^] # Re: pas mieux, je ne comprends ias l'emballement
Posté par cg . Évalué à 2 (+1/-1).
De la même manière qu'un morceau est rarement potable et encore moins un tube dès le départ, entre ce qui arrive dans un studio et ce qui en sort, il y a parfois un monde.
Pour que la trame de ce que peut pondre un·e humain·e ou une machine (que ce soit via algo classique comme on sait le faire depuis 30 ans au moins, ou par un truc genre machine learning, peu importe), la production va faire des retours, les compos vont être retouchées… S'il y a du potentiel, il faut en faire quelque chose, et c'est rarement le cas dès les premières étapes, sauf exceptions.
Si je fais un parallèle, une de mes filles est pas mal influencée par les musiques de film, et elle se trouve géniale d'arriver à composer des trucs qui sonnent bien avec une formation musicale très basique, mais finalement elle restitue essentiellement les éternels arpèges1 de piano.
Mais je trouve très positif la démarche de chercher et de faire par soi-même, et d'en être fier, aucun problème avec ça ! ↩
[^] # Re: pas mieux, je ne comprends ias l'emballement
Posté par gUI (Mastodon) . Évalué à 5 (+2/-0).
Donc pas besoin d'IA pour générer de la musique, puisque c'est programmable algorithmiquement (et d'ailleurs c'est fait depuis des lustres dans le contemporain).
En théorie, la théorie et la pratique c'est pareil. En pratique c'est pas vrai.
[^] # Re: pas mieux, je ne comprends ias l'emballement
Posté par totof2000 . Évalué à 4 (+2/-0). Dernière modification le 15 février 2025 à 12:21.
Merci de ne pas déformer mes propos … Je n'ai pas dit qu'on avait besoin de l'IA pour générer de la musique, mais j'exprimais un doute sur le fait qu'une IA n'est pas capable de générer un nouveau style de musique, ce qui n'est absolument pas la même chose. . Ca me fatigue ce genre de de manipulation/déformation.
[^] # Re: pas mieux, je ne comprends ias l'emballement
Posté par totof2000 . Évalué à 4 (+2/-0).
Bon .. désolé, j'ai peut-être un peu surréagi en parlant de manipulation là où il n'y a peut-être qu'une lecture trop rapide ..
[^] # Re: pas mieux, je ne comprends ias l'emballement
Posté par barmic 🦦 . Évalué à 2 (+0/-0).
Générer de nouveaux styles de musiques n'a rien de compliqué. C'est probablement simplement du paramétrage d'une IA générative de musique pour qu'elle s'autorise plus à s'éloigner de ce qu'elle connaît.
Mais ce qui fait qu'un nouveau style de musique prend n'est pas une difficulté dans la production, mais dans l'évaluation de ce qui est produit. Dit autrement il faut que ça plaise.
Aujourd'hui l'IA ne sait pas faire une musique qui plaît mais elle sait reproduire un style de musique qui plaît.
Après on peut envisager un processus créatif où une IA produit une musique et un humain l'évalue dans une boucle de rétroaction, mais c'est très long. Dans les fonctionnements comme ça, l'IA a besoin d'énormement d'interactions et il faut pas n'importe quel humain pour évaluer ce son.
https://linuxfr.org/users/barmic/journaux/y-en-a-marre-de-ce-gros-troll
[^] # Re: pas mieux, je ne comprends ias l'emballement
Posté par FDF (site web personnel) . Évalué à 3 (+1/-0).
C'est je pense le point clé de cet argument. Merci pour cette formulation synthetique.
[^] # Re: pas mieux, je ne comprends ias l'emballement
Posté par arnaudus . Évalué à 4 (+1/-0).
Bon, après, pour m'auto-nuancer, on s'aperçoit que les LLM sont capables de trucs méta. Du genre "détaille ton raisonnement", et ça peut être tout à fait crédible. Donc quand ton IA copie un humain qui détaille son raisonnement, tu en es où dans le dilemme "copier le comportement / copier le raisonnement"? Moi je trouve que quand la réponse est correcte et que le raisonnement est correct, je valide "intelligence".
En fait, à mon avis, ces trucs sont au moins aussi intelligents que tous les robots intelligents imaginés en SF, donc ils correspondent à la plupart des définitions existantes d'IA, je ne sais pas ce qu'il faudrait de plus. Ils ne sont pas plus "intelligents" que les humains, donc on n'est pas encore à la singularité technologique, mais on en est peut-être proches dans certains domaines, comme en programmation par exemple.
# Buts "non-alignés"
Posté par potate . Évalué à 4 (+3/-0).
J'ai vu passer un article sur un papier publié en décembre dernier sur le sujet :
https://www.infoq.com/news/2025/01/large-language-models-scheming/ (le 1er lien de l'article amène vers l'étude, qui contient pal mal d'exemples).
L'expérience de base : en utilisant une IA générative en mode agent (on lui donne un but, elle est chargé de déterminer les tâches pour le mener à bien, par exemple en lui permettant d'exécuter des commandes shell) et en lui permettant de lire des fichiers censés être des échanges de mail évoquant l'arrêt du modèle actuel pour le remplacer par un autre, l'IA décide dans un certain nombre de cas de se maintenir par exemple en supprimmant les fichiers (l'emplacement du nouveau modèle était présent dans les mails). Après coup, l'IA peut aussi parfois feindre l'ignorance si on lui demande ce qu'il s'est passé.
En bref, ça montre que les IA génératives peuvent faire des trucs qu'on ne leur a pas demandé.
[^] # Re: Buts "non-alignés"
Posté par potate . Évalué à 3 (+2/-0).
Bon, maintenant que j'ai suivi le lien du journal, le monsieur m'a l'air de parler du même article.
Et à mon avis, si l'exemple met en évidence un comportement problématique des IA génératives, ce comportement n'est pas nouveau : plus généralement les résultats produits par les IA génératives type LLM sont difficiles à cadrer/borner.
[^] # Re: Buts "non-alignés"
Posté par FDF (site web personnel) . Évalué à 3 (+1/-0).
Je viens de suivre le lien, et d'aller chercher le papier dans son ensemble.
Il semble évident que Yoshua Bengio faisait référence à cet article, ou si ce n'est lui, son petit frère…
Merci pour la source.
C'est pour le moins surprenant et ça mérite que je lise ça plus calmement.
[^] # Re: Buts "non-alignés"
Posté par pamputt . Évalué à 4 (+2/-0). Dernière modification le 14 février 2025 à 10:50.
À noter que cet article semble uniquement disponible sur arXiv, autrement dit il n'a pas encore été publié dans un journal revu par les pairs. Ca n'enlève rien à ce qui est écrit dans l'article, mais juste que ce n'est pas encore validé par la communauté scientifique.
[^] # Re: Buts "non-alignés"
Posté par FDF (site web personnel) . Évalué à 3 (+1/-0).
Oui, j'avais noté.
C'est pour ça que la référence par une pointure est significative, bien qu'elle ne remplace en rien une relecture par des pairs.
[^] # Re: Buts "non-alignés"
Posté par Moonz . Évalué à 6 (+4/-0).
Le domaine de l’IA ne fonctionne pas comme les autres. La plupart des retours se font par mail (parfois sur Twitter !), et les corrections directement sur arXiv. Il n’y a pour ainsi dire pas de processus de validation par les pairs. Le plus gros éditeur "classique" est "Journal of Machine Learning Research", et… je viens juste d’apprendre son existence, en cherchant pour creuser un peu le sujet. Je n’ai pas l’impression que qui que ce soit y paie attention (disclaimer : je ne suis pas dans le mileu, donc mon impression peut être fausse).
Si je regarde les papiers les plus importants du domaine (plus précisément : parmi ceux qui me viennent immédiatement en tête) :
Autrement dit, si tu attends une validation par les pairs comme par exemple ce qui se fait dans la médecine… tu risques d’attendre longtemps.
Il y a une sélection par les pairs tous les ans à travers NeurIPS (les trois papiers cités plus haut ont été sélectionnés). Mais ce n’est pas une validation systématique, juste "qu’est-ce qui est validé ET parmi les résultats les plus importants de l’année".
[^] # Re: Buts "non-alignés"
Posté par Julien Laumonier . Évalué à 2 (+2/-0).
Attention, ne pas toujours se fier sur ArXiv (en fait, normalement, il ne faut pas)
"Attention is all you need" et "Deep reinforcement learning from human preferences" ont été publié à NIPS 2017, et "Language Models are Few-Shot Learners" à Neurips 2020 donc un peu validé quand même. C'est pas un journal comme JMLR, mais bon, c'est un peu mieux qu'un preprint comme ArXiv.
# Mentir?
Posté par Psychofox (Mastodon) . Évalué à 5 (+3/-1). Dernière modification le 14 février 2025 à 11:01.
Les IA n'ont pas la conscience de savoir ou de ne pas savoir quelque chose. Du coup il n'y a pas de notion de "je ne sais pas". Elle va te donner quelque chose qui ressemble à la réponse que donnerait n'importe qui, avec les informations qu'il ou elle possède sans avoir aucune notion de la véracité et avec la plus grande confiance. Du coup ouais quand c'est faux ça ressemble à un mensonge et si tu la confrontes à ça en l'accusant, elle va tourner autour du pot parce qu'elle n'a pas d'autre mode de fonctionnement et qu'elle fonctionne selon son entrainement des interactions humaines. Les humains font souvent la même chose et admettent rarement leurs erreurs, du coup la majorité du contenu sur laquelle les IA est entrainé a ce genre de comportement. Regarde les trolls sur linuxfr, toute autre plateforme online voire la politique. Les gens ne changent rarement d'avis, s'obstinent et vont plutôt tourner vers la mauvaise foi que de dire " ah ouais c'est vrai ta raison". L'IA est un miroir.
Et après il y a des bricolage liés à la modération qui peuvent induire des comportements qui paraissent suspects.
Je n'ai pas suivi le lien instagram, donc c'est juste mon idée suite à ta description.
[^] # Re: Mentir?
Posté par Moonz . Évalué à 1 (+2/-3). Dernière modification le 14 février 2025 à 12:01.
"Conscience" personne ne sait, mais prise d’une manière plus générale cette proposition est fausse : https://arxiv.org/abs/2310.06824
https://arxiv.org/abs/2407.12831
.
Bien sur que si. Testé à l’instant :
[^] # Re: Mentir?
Posté par cg . Évalué à 3 (+1/-0).
Pour résumer, les LLMs actuels souffrent de l'effet Dunning-Kruger à un niveau stratosphérique, ça passera peut-être…
Si tu introduis le doute ou l'ignorance dans ces machines, les seules réponses possibles deviennent "il y a plus d'une manière de le faire" et "ça dépend", et ça, tu peux le faire en quelques lignes de Perl :).
# Re: Je suis perdu et je pensais m'être renseigné...
Posté par Moonz . Évalué à 3 (+1/-0). Dernière modification le 14 février 2025 à 14:32.
Comme je l’ai dit ailleurs: quasiment tout se fait sur arxiv. Ce qui a récemment fait couler de l’encre :
Le problème c’est que dans le domaine, les choses avancent très vite.
Si le sujet t’intéresse, je te conseille de suivre Zvi Mowshowitz, qui fait un travail de veille (compilation des sources et analyse) assez complet. Attention par contre :
# Bof
Posté par Thomas (site web personnel) . Évalué à 4 (+3/-0).
Il faut bien avoir conscience qu'il y a une bulle actuelle de l'IA. La situation s'est déjà produite deux fois depuis les 60s et deux fois des gens sérieux ont déliré. Une bonne partie de la com' relève du pur bullshit marketing. Ça mousse, on touille, ça mousse. Tout le monde se caresse dans le sens du poil, c'est génial.
Le fond de l'histoire, c'est qu'on ne comprend toujours pas comment apprend un réseau de neurones profond. Et ça, ça me excite les gens.
Un lien parmi d'autres : LLM et modèles
[^] # Re: Bof
Posté par Faya . Évalué à 4 (+2/-0).
Tu parles de bulles de l'IA spécifiquement ou de bulles dans la tech ? Si on prend la Bulle_Internet, certains ont réussi à s'en sortir (Amazon, eBay, …) et à avoir un impact durable sur le e-commerce. À côté il y a la bulle NFT dont rien, rien de rien, n'est sorti. Le challenge est peut-être là, trier le bon grain de l'ivresse sans cracher dans la peau de l'ours avec l'eau du bain.
[^] # Re: Bof
Posté par Thomas (site web personnel) . Évalué à 2 (+1/-0).
Je parle des bulles IA, en effet. Cf ce trop long document ou bien sur la page wikipédia qui va bien.
Les bulles IA (symboliques, systèmes experts) ont été productives, ça n'est pas le problème. Ce sont plutôt les hivers qui les ont suivies qui ont été douloureux pour le domaine.
[^] # Re: Bof
Posté par aiolos . Évalué à 2 (+0/-0). Dernière modification le 16 février 2025 à 12:11.
Je pense que le bon mot clef est hivers de l’IA. Mais si j’en crois wikipedia, on ne parle que de 12 ans (de 1973 à 1980, puis de 87 à 93) sur une période d’un peu plus de 80 ans (de 1943 à nos jours)…
Édit : ajout du lien
[^] # Re: Bof
Posté par Faya . Évalué à 3 (+1/-0).
Il y a des passages intéressants dans cet article :
[^] # Re: Bof
Posté par thoasm . Évalué à 4 (+1/-0). Dernière modification le 16 février 2025 à 14:42.
C'est complètement valable. On discutait récemment par ici de l'IA pour faire la météo.
J'ai entendu ça de la part de gens qui n'y connaissent pas grand chose avec un peu de crainte "mais on va utiliser l'IA pour prévoir la météo !". Sans probablement savoir vraiment de base comment on fait de la météo actuellement, ou pourquoi ce serait intéressant ou pas, et si on y gagne de faire de la météo.
Ça arrive de manière un peu concomitante au moment ou on parle de problèmes consécutifs à des restructurations à météo France https://journaloptions.fr/2024/02/29/quand-lautomatisation-deregle-meteo-france/ ou on a compté sur du paramétrage automatique de modèles traditionnel pour virer des gens, et en même temps on a Google avec deep-mind qui sort un modèle génératif pour prévoir la météo en quelques minutes : https://www.nature.com/articles/s41586-024-08252-9 ( présentation chez deepmind ( je découvre que MétéoFrance fait aussi de la recherche là dessus : https://meteofrance.com/actualites-et-dossiers/actualites/intelligence-artificielle-et-meteo-ou-en-est )
Dans les deux cas on parle d'IA, mais ce sont des choses bien différents qui sont à l'œuvre. C'est une étiquette trop grossière qui recouvre des réalités bien différentes. Pour la météo les données d'apprentissage c'est les données historiques et les données d'autres modèles de prévision, et on peut espérer gagner en dépenses d'électricité en nécessitant moins de calculs.
Après le problème de la "casse sociale" des gens qui perdent leur boulot est un peu transverse mais n'est pas spécifique à l'IA. On vit dans une société ou il est à la fois capital d'augmenter la productivité par tête, gagner en efficacité et virer des gens pour des profits et que ces mêmes personnes se démerdent à retrouver une activité rémunérée derrière sous peine de stigmatisation … Dans un tel contexte l'IA fait rêver bien du décideur. Surtout pour les profits et l'efficacité, pas tellement pour éviter la stigmatisation des chômeurs (rien ne doit entraver la conquête de Mars).
Mais d'un point de vue technique, ça a plus de sens d'ajouter de la nuance et des termes pour savoir de quoi on parle quand on parle d'IA. Et moins servir d'épouvantail, potentiellement si ça peut amener à de vraies avancées.
[^] # Re: Bof
Posté par arnaudus . Évalué à 3 (+0/-0).
Ça fait quand même un bout de temps que les ordinateurs résolvent des problèmes complexes hors de portée d'un humain, donc je pense que ce qui frappe le plus avec les IA génératives, c'est leur capacité à copier les comportements humains. Tant que la machine te répond "Convergence… problème résolu; 2min47s, résultat dans results.txt, détails dans log.txt", tu as de manière évidente affaire à un outil, même si le machin vient de te résoudre une équation différentielle à 120 paramètres.
L'argument de la "casse sociale", c'est l'argument du gain de productivité, c'est le même depuis 300 ans et les métiers à tisser. D'un côté, tu peux dire qu'à l'échelle de l'histoire la condition des classes laborieuses ne fait que progresser (il faut quand même lisser sur des périodes plus ou moins longues), et d'un autre côté tu as la constatation que le modèle libéral/capitaliste n'a aucun mécanisme intrinsèque pour redistribuer les richesses liées aux gains de productivité, puisque qu'elles aillent au capital ou aux travailleurs qui restent, elles ne vont pas aux prolétaires qui n'ont plus de boulot (et donc rôle de l'État, et donc inefficacité économique, et donc moins de richesses à se partager, et donc arguments classiques droite/gauche).
Après, comme il n'y a aucune chance qu'une telle technologie soit interdite, il va bien falloir apprendre à "faire avec".
Je sors ma boule de cristal en chewing-gum, et je te prédis que le prochain choc pour les chômeurs, c'est toute une fournée de bac +5 avec une formation en bureautique/tertiaire qui vont devoir trouver des boulots manuels, et ça, la société n'est pas prête.
[^] # Re: Bof
Posté par Psychofox (Mastodon) . Évalué à 3 (+0/-0).
Il faudrait aussi que les employeurs en France se réveillent et se rendent compte que dans les autres pays une grosse majorité des travailleurs bossent dans un domaine complètement différent de leur formation initiale.
[^] # Re: Bof
Posté par arnaudus . Évalué à 3 (+0/-0).
Je n'ai pas une bonne vision du monde du travail, mais j'ai l'impression que les recruteurs envoient des messages quand même assez paradoxaux. D'un côté on a une multitude de postes non-pourvus ou mal pourvus, et d'un autre côté on a l'impression de ne pas pouvoir accéder au marché du travail quand on n'a pas exactement les bons diplômes. On aurait une génération de jeunes qui ne savent pas travailler, et 50% des plus de 60 ans sont au chômage. Qu'est-ce qui est vrai ou non dans ce bazar? Est-ce que quelqu'un avec une formation d'ingénieur ne peut absolument pas accéder à un poste de chef de chantier ou de commercial? Comment combiner le mythe des centaines de CV reçus pour chaque poste ouvert et de ne jamais trouver personne?
Ça n'est pas juste les RH des grosses boîtes qui s'appuient sur des systèmes paresseux (style tri des CV automatique) et qui vont devoir s'adapter?
[^] # Re: Bof
Posté par Renault (site web personnel) . Évalué à 3 (+0/-0).
Imaginons que tous les postes tertiaires soient remplacés par des machines, je doute surtout qu'il y ait assez de boulots dans les autres secteurs d'activité.
La solution serait un autre mécanisme de redistribution des richesses (un vrai revenu universel par exemple), ou une diminution très forte du temps de travail dans les postes récents pour répartir les rôles. Un mix des deux est possible.
Les deux sont vrais. Pour connaître des gens dans des secteurs moins porteurs ou avec peu de diplômes, les entreprises sont quand même assez exigeants.
Alors oui par défaut chercher le mouton à 5 pattes ça fait sens, mais au bout d'un moment si tu ne trouves pas tenter de former quelqu'un soit même peut faire sens, surtout que dans de nombreuses professions les qualifications exigées sont assez surévaluées.
Mais cela a un coût et est source d'incertitude pour les entreprises aussi.
L'État pousse de plus en plus pour les formations tout au long de la vie et pour les chômeurs en particulier, c'est bien même si l'adéquation entre ça et le marché du travail reste à être évalué. Mais la solution pourrait être de subsidier une partie du salaire d'un chômeur en formation dans une entreprise en interne pour diminuer le blocage de leur côté. Mais ne pas payer toute la facture pour éviter les effets d'aubaines aussi.
[^] # Re: Bof
Posté par arnaudus . Évalué à 1 (+0/-2). Dernière modification le 17 février 2025 à 15:16.
Imposer un mode de redistribution qui n'est ni à l'avantage du capital, ni à l'avantage de ceux qui travaillent, reste un projet qui semble un tantinet compliqué dans un système démocratique (ah, si seulement on avait un chef éclairé…).
Pour le partage du temps de travail tu as forcément un argument du "coût fixe" à considérer (formation, communication…). Former 200 médecins qui bossent 20h/semaine coûte deux fois plus cher que d'en former 100 qui bossent 40h/semaine, donc un tel projet de société a un coût (et donc, problème de compétitivité, donc moins de ressources à se partager, etc).
C'est un peu du cas par cas quand même, puisque par exemple je vois mal comment tu pourrais laisser quelqu'un qui n'a pas le moindre diplôme en électricité être le seul électricien sur un chantier… Mais bon, à part les cas exceptionnels où la sécurité est en jeu, la qualité de la formation initiale est suffisamment inégale pour ne pas imaginer qu'un diplôme te garantisse que le boulot soit fait correctement.
[^] # Re: Bof
Posté par Renault (site web personnel) . Évalué à 3 (+0/-0).
Dans un scénario où une partie significative de la population ne peut pas travailler car il n'y a pas de travail il faudra trouver des solutions.
On ne pourra pas laisser ces gens dans la misère alors qu'une partie réduite de la population capterait l'essentiel des revenus grâce à l'autonomisation massive, et si cela arrive cette population sans solution et avec de telles inégalités pourraient aussi introduire de la violence dans la société ce qui n'est pas non plus bénéfique pour ceux qui ne sont pas concernés par ces problèmes.
Surtout que selon les % dont on parle, mais imaginer plus de 50% n'a rien de délirant si on va vers des systèmes très autonomes et éventuellement avec des robots avancés. Démocratiquement on ne pourra clairement pas les ignorer.
Par ailleurs le revenu universel n'implique pas une égalité stricte de revenue dans la population. Elle défini un montant minimum pour tous (un peu comme le RSA mais réellement sans conditions). Mais après via le travail / capital ou selon des conditions précises cela peut être augmenté.
Il n'y a à dire vrai pas 20 000 solutions si on arrive à une telle situation. Ou alors le temps partiel très généralisé quand cela est possible.
Attend on parle d'une société où l'essentiel du travail de bureau n'existe plus. Donc déjà tes médecins ne seront plus très nombreux dans un tel scénario, mais surtout c'est quoi la solution alors ? Les gains que l'IA apporterait à tout ceci ne comblerait pas les coûts dont on parle ? Car après tout c'est tout l'intérêt de confier cela à des machines, que cela permette de faire aussi bien (ou mieux) pour moins cher. Sinon on automatise pas.
Oui prends moi pour un con, évidemment que dans certains cas le diplôme ou le prérequis est nécessaire. Je ne dis pas le contraire.
Mais beaucoup d'offres ont des attentes pas tellement corrélées au poste et sont peu flexibles en permettant éventuellement de combler cela par un peu de formation interne.
D'ailleurs cela se voyait aussi en informatique, il fallait le junior qui maitrise absolument la techno de la boîte avec tous les à côtés que peu de personnes auront dans l'absolu. Pourquoi ne pas prendre un bon candidat, avec des bases solides qui peut s'adapter ?
Qu'au début tu cherches le candidat idéal, tant mieux, que tu galères des mois et des mois c'est finalement une perte pour tout le monde. Car en attendant le poste n'est pas pourvu.
# Mr Phi
Posté par Colin Pitrat (site web personnel) . Évalué à 4 (+2/-0).
J'arrive après la bataille mais je suis étonné de voir que personne n'a mentionné la vidéo recente de Mr Phi:
https://youtu.be/cw9wcNKDOtQ?si=N8wxp5oPLEIdOeyg
Il a fait plusieurs vidéos sur l'IA sur divers sujets et pour quelqu'un qui n'est pas un spécialiste du sujet, il creuse des sujets très pointus avec une vision très précise et produit des analyses de qualité. Je recommande chaudement, même pour des gens calés sur le sujet.
Il a fait une autre vidéo sur le sujet de "les LLMs ont il un modèle du monde" (de mémoire) que j'ai trouvé excellente. Je crois que c'est celle-ci : https://youtu.be/6D1XIbkm4JE?si=Y07bMEcYde6X3SnF
[^] # Re: Mr Phi
Posté par thoasm . Évalué à 3 (+0/-0).
Encore du travail de qualité effectivement, que je n'ai pas mentionné perso parce que je ne l'avais pas encore vu :)
Envoyer un commentaire
Suivre le flux des commentaires
Note : les commentaires appartiennent à celles et ceux qui les ont postés. Nous n’en sommes pas responsables.