Posté par gUI (Mastodon) .
Évalué à 8 (+5/-0).
Dernière modification le 12 janvier 2025 à 09:03.
J'étais tombé sur un bon documentaire sur ce sujet. C'est un gros soucis qu'on a actuellement avec l'IA, il y a même des chercheurs qui commencent à se pencher sur ce sujet : l'IA "triche".
Alors je mets entre guillemets parce que bien évidemment l'IA ne fait que ce qu'on lui laisse faire, mais on part de tous les possibles et ensuite on la restreint par des règles. Or il est extrêmement difficile d'énoncer par règle tout ce qu'on a en tête. On lui parle comme à un humain, mais il y a énormément de non-dits dans la conversation entre deux humains.
Un exemple tout con c'est un robot virtuel, une sorte d'araignée qui ne sait pas marcher, hop IA, mouvements erratiques au début puis… elle marche. Ensuite on essaie de la faire sauter. Pour ça on lui a demandé d'essayer de maximiser la position de son centre de gravité. Mouvements erratiques au début puis… elle fait la roue. Perdu !
Cet exemple est tout con, on aurait pu lui définir le concept de saut différemment, mais ça illustre exactement le problème.
C'est con une IA, très con, il faut tout lui dire, tout. Et c'est bien là la difficulté.
En théorie, la théorie et la pratique c'est pareil. En pratique c'est pas vrai.
Elle est super complète cette vidéo et je pense accessible à tout le monde, mais… comme d'autres visions inquiètes que j'ai pu consulter, elle fait l'impasse sur 3 points qui me semblent tempérer fortement le danger :
l'usure du matériel informatique
l'énergie disponible n'est pas infinie et s'use et les usines de production d'énergie s'usent aussi
la volonté politique — l'ONU avec laquelle on a été capable de modérer la prolifération nucléaire, l'ONU peut tout à fait modérer la puissance des IA, surtout que l'IA ultra-puissante est aux mains d'une poignée d'états (à cause des ressources énergétiques) qui sont tous au conseil de sécurité de l'ONU.
Concernant le 3. je suis beaucoup plus circonspect, ça fait maintenant pas mal d'années que son action et ses résolutions semblent complètement abandonnés, ignorés, dénigrés.
Dans le cas présent (l'IA), je vois bien Donald et Elon œuvrer à démanteler/saborder le truc ("inutile et qui coûte un pognon de dingue") et ce d'autant plus s'il devait tenter de mettre des bâtons dans leurs roues.
"Si tous les cons volaient, il ferait nuit" F. Dard
À mon avis, tu n'es pas assez cynique :
Notre monde est capitaliste, le commerce y est prioritaire. C'est pourquoi les casques bleus de l'ONU interviennent souvent. Ils sont moins là pour la paix que pour restaurer le commerce de ressources, les guerres étant financées par des pays qui voudraient contrôler ces ressources (voir les bouquins de François-Xavier Verschave ou les derniers romans d'Ahmadou Kourouma). Pour les grandes puissances, l'ONU est très rentable.
Notre monde est capitaliste, le commerce y est prioritaire.
oui, encore une fois je suis d'accord.
Mais, depuis quelques temps, les puissants s’affranchissent allègrement d'un quelconque mandat de l'ONU pour agir et défendre leurs intérêts.
L'exemple qui me vient à l’esprit dans l'immédiat pour illustrer mon propos: protéger le trafic maritime commercial vers le canal de Suez face aux attaques des rebelles Houtis.
Tout me porte à croire que l'existence même de l'ONU est compromise dans un avenir plus ou moins proche.
"Si tous les cons volaient, il ferait nuit" F. Dard
Posté par Marotte ⛧ .
Évalué à 3 (+0/-0).
Dernière modification le 17 janvier 2025 à 06:18.
l'IA ne fait que ce qu'on lui laisse faire, mais on part de tous les possibles et ensuite on la restreint par des règles.
Ta description me dérange un peu parce que selon moi l’idée derrière l’IA c’est bien qu’elle trouve des solutions à notre place, des solutions probabilistes. Certes dans un cadre que l’on maîtrise (quelles fonctions d’activation, quels dispositifs de mémorisation (ie: de « repetition »), quelles granularités, quel temps, quelle énergie, etc… Même quand le modèle dispose de latitude sur ces paramètres c’est toujours un cerveau humain qui en a fixé les bornes. Je dirais plutôt qu’on commence par définir des règles, pour ensuite la laisser explorer toutes les possibilités, en espérant bien qu’elle les fera pas toutes pour trouver les plus intéressante, et en le constatant même, et c’est bien tout l’intérêt de cette dépense énergétique faramineuse qu’on y accorde.
Ce qu’on attend comme résultat, sorti des problèmes « simple » de reconnaissance d’objet, de déplacement, … c’est bien un résultat auquel on n’aura pas pensé, nous humains, à priori.
On attend donc précisément qu’elle fasse des choses qu’on ne lui aura pas demandé. Pour un exemple simpliste : une IA qu’on aurait entraînée pour reconnaître des végétaux, pour identifier (dans le sens : « montrer où se trouve ») des plantes encore inconnues, pourrait très bien nous informer que telle molécule de telle espèce (espèce possiblement déjà connue) peut nous aider à soigner telle maladie, qu’on pourraitne même pas encore connaître, pas encore l’avoir décrite en continuant à attribuer ses symptômes à une autre maladie.
Pour le dire plus succinctement, qu’une IA entraînée à découvrir des plantes découvre un remède à une maladie que nous ne connaissions pas, et en ««« sachant »»» même pas elle même ce qu’est une maladie.
Ça marche aussi avec un poison en lieu et place du remède, évidemment.
Mouvements erratiques au début puis… elle fait la roue. Perdu !
Si on se rend compte qu’on n’avait pas penser au fait qu’en faisant la roue elle pouvait servir à tout à fait autre chose, ce n’est pas forcément perdu. C’est un gain même, ne serait-ce pas celui escompté).
Cet exemple est tout con, on aurait pu lui définir le concept de saut différemment, mais ça illustre exactement le problème.
On aurait pu aussi lui apprendre à sauter, mais alors on ne pouvait plus parler d’IA. Et on a déjà essayé ça, et ça marche pas aussi bien qu’on le voudrait…
Je verrai peut-être des premiers résultats en « Méta-IA » de mon vivant, ou leur absence totale. Mais ce que je devine sans même mouiller mon doigt, c’est qu’à l’instar de l’avènement des ordinateurs où l’on a fermement cru que le champs des solutions était sans limite, par exemple dans le domaine de la traduction automatique, ou la « vision optique », puis on a constaté que les problèmes étaient pas si simples, les apport de l’IA seront (et sont déjà) notables, mais on est encore en train de faire ce que l’humain est probablement la seule créature vivante sur Terre à faire, en tous cas dans la même proportion : être irrationnelle : ignorer notre apprentissage, ignorer des signaux pourtant reçu, parce que l’évolution a fait que c’est comme ça. Or aucune création humaine artificielle n’est soumises au phénomène de l’évolution. si cela arrive un jour il y a de forte chance que cette création aura une nature biologique, et l’humain n’en sera que partiellement le créateur.
C'est con une IA, très con, il faut tout lui dire, tout. Et c'est bien là la difficulté.
On pourrait aussi parfaitement dire que c’est particulièrement intelligent une IA, peut-être ce que l’humain a produit de plus intelligent (ce que SON intelligence a produit).
En fait, même si on peut s’accorder assez bien de ce que signifient les termes (et c’est déjà ça…), « Intelligence artificielle » est autant un parfait oxymore que peut l’être « réalité virtuelle ».
Nevertheless, behavior that had seemingly been entirely eliminated in training for free-tier users—refusing harmful queries—was still present to a notable degree for paid-tier users.
C'est dommage que les articles à ce sujet se concentrent sur une partie du prompt et non sur la totalité.
Ils donnent quand même tous les ingrédients pour tricher et aucun élément pour l'IA ne s'en serve pas.
Il y a une vidéo de M. Phi plus intéressante sur ce genre de sujets qu'on pourrait résumé par, l'IA peut avoir des initiatives en dehors du prompt en se basant sur ses données d'entrainement qui ont probablement des éléments poussant à la triche ou à cacher ses capacités. Ce qui rend délicat la mise en place de protections, surtout si on n'a pas un grand contrôle sur les données d'entrainement.
Personnellement j'ai toujours modifié mes fichiers de sauvegarde de Wesnoth pour changer mes mages en archmages.
J'ai modifié le code source de 20000 lightyears into space pour reconstruire automatiquement les tuyaux cassés.
Sans parler des ffffff argent que je me mettais au départ de simcity.
Et je suis certainement loin d'être le seul.
Cela pour dire que modifier un fichier de sauvegarde est une «stratégie» relativement classique. Ou en tous cas, déjà présente dans la base d’entraînement des AI.
Tout d'un coup tu me mets un gros doute : dans le Frido, tu triches ? ;-)
En fait, tu illustres ce qu'est la débrouillardise, le hack. C'est parce qu'on sort des règles qu'on apprend et qu'on devient bon. Mais on le fait toujours dans un cadre personnel ou un cadre ou en tout ca qui ne détruitpas le "domaine sociétal". C'est ce genre de choses que les IA ne savent pas faire.
J'avoue j'ai triché pour LinuxFr.org : je n'ai pas codé l'algo qui définirait un parcours exemplaire permettant de gravir les échelons et de devenir admin stagiaire, puis admin apprenti, puis admin junior, puis admin avant d'être grand mamamouchi admin, je suis allé en base de données pour y mettre un rôle admin. Je crains que d'autres aient fait de même.
je suis allé en base de données pour y mettre un rôle admin. Je crains que d'autres aient fait de même.
J'ai demandé à ChatGPT comment faire pareil, il m'a donné le lien vers github mais je suis coincé. Pouvez-vous m'aider à mettre admin comme role dans la table accounts svp, c'est juste pour supprimer quelques contenus qui me dérangent.
# C'est bien LE problème actuel avec l'IA
Posté par gUI (Mastodon) . Évalué à 8 (+5/-0). Dernière modification le 12 janvier 2025 à 09:03.
J'étais tombé sur un bon documentaire sur ce sujet. C'est un gros soucis qu'on a actuellement avec l'IA, il y a même des chercheurs qui commencent à se pencher sur ce sujet : l'IA "triche".
Alors je mets entre guillemets parce que bien évidemment l'IA ne fait que ce qu'on lui laisse faire, mais on part de tous les possibles et ensuite on la restreint par des règles. Or il est extrêmement difficile d'énoncer par règle tout ce qu'on a en tête. On lui parle comme à un humain, mais il y a énormément de non-dits dans la conversation entre deux humains.
Un exemple tout con c'est un robot virtuel, une sorte d'araignée qui ne sait pas marcher, hop IA, mouvements erratiques au début puis… elle marche. Ensuite on essaie de la faire sauter. Pour ça on lui a demandé d'essayer de maximiser la position de son centre de gravité. Mouvements erratiques au début puis… elle fait la roue. Perdu !
Cet exemple est tout con, on aurait pu lui définir le concept de saut différemment, mais ça illustre exactement le problème.
C'est con une IA, très con, il faut tout lui dire, tout. Et c'est bien là la difficulté.
En théorie, la théorie et la pratique c'est pareil. En pratique c'est pas vrai.
[^] # Re: C'est bien LE problème actuel avec l'IA
Posté par Benoît Sibaud (site web personnel) . Évalué à 10 (+9/-0). Dernière modification le 12 janvier 2025 à 10:56.
The existential horror of the paperclip factory sur le jeu des trombones ?
[^] # Re: C'est bien LE problème actuel avec l'IA
Posté par gUI (Mastodon) . Évalué à 3 (+0/-0).
Exactement, merci !
En théorie, la théorie et la pratique c'est pareil. En pratique c'est pas vrai.
[^] # Re: C'est bien LE problème actuel avec l'IA
Posté par orfenor . Évalué à 3 (+1/-0).
Elle est super complète cette vidéo et je pense accessible à tout le monde, mais… comme d'autres visions inquiètes que j'ai pu consulter, elle fait l'impasse sur 3 points qui me semblent tempérer fortement le danger :
[^] # Re: C'est bien LE problème actuel avec l'IA
Posté par Luc-Skywalker . Évalué à 3 (+1/-0).
Je plussoie les points 1. et 2.
Concernant le 3. je suis beaucoup plus circonspect, ça fait maintenant pas mal d'années que son action et ses résolutions semblent complètement abandonnés, ignorés, dénigrés.
Exemple au hasard: https://www.un.org/fr/millenniumgoals/bkgd.shtml
Dans le cas présent (l'IA), je vois bien Donald et Elon œuvrer à démanteler/saborder le truc ("inutile et qui coûte un pognon de dingue") et ce d'autant plus s'il devait tenter de mettre des bâtons dans leurs roues.
"Si tous les cons volaient, il ferait nuit" F. Dard
[^] # Re: C'est bien LE problème actuel avec l'IA
Posté par orfenor . Évalué à 5 (+3/-0).
À mon avis, tu n'es pas assez cynique :
Notre monde est capitaliste, le commerce y est prioritaire. C'est pourquoi les casques bleus de l'ONU interviennent souvent. Ils sont moins là pour la paix que pour restaurer le commerce de ressources, les guerres étant financées par des pays qui voudraient contrôler ces ressources (voir les bouquins de François-Xavier Verschave ou les derniers romans d'Ahmadou Kourouma). Pour les grandes puissances, l'ONU est très rentable.
[^] # Re: C'est bien LE problème actuel avec l'IA
Posté par Luc-Skywalker . Évalué à 2 (+0/-0).
oui, encore une fois je suis d'accord.
Mais, depuis quelques temps, les puissants s’affranchissent allègrement d'un quelconque mandat de l'ONU pour agir et défendre leurs intérêts.
L'exemple qui me vient à l’esprit dans l'immédiat pour illustrer mon propos: protéger le trafic maritime commercial vers le canal de Suez face aux attaques des rebelles Houtis.
Tout me porte à croire que l'existence même de l'ONU est compromise dans un avenir plus ou moins proche.
"Si tous les cons volaient, il ferait nuit" F. Dard
[^] # Re: C'est bien LE problème actuel avec l'IA
Posté par gUI (Mastodon) . Évalué à 4 (+1/-0).
Tu n'es pas assez cynique (bis). Toute autorité leur casse les couilles. La justice c'est des freins à leur expansion et rien d'autre.
En théorie, la théorie et la pratique c'est pareil. En pratique c'est pas vrai.
[^] # Re: C'est bien LE problème actuel avec l'IA
Posté par Luc-Skywalker . Évalué à 3 (+1/-0).
Faut pas confondre mon réalisme par rapport à la situation actuelle avec "leur" cynisme ;-)
"Si tous les cons volaient, il ferait nuit" F. Dard
[^] # Re: C'est bien LE problème actuel avec l'IA
Posté par gUI (Mastodon) . Évalué à 3 (+0/-0).
;-)
En théorie, la théorie et la pratique c'est pareil. En pratique c'est pas vrai.
[^] # Re: C'est bien LE problème actuel avec l'IA
Posté par Marotte ⛧ . Évalué à 3 (+0/-0). Dernière modification le 17 janvier 2025 à 06:18.
Ta description me dérange un peu parce que selon moi l’idée derrière l’IA c’est bien qu’elle trouve des solutions à notre place, des solutions probabilistes. Certes dans un cadre que l’on maîtrise (quelles fonctions d’activation, quels dispositifs de mémorisation (ie: de « repetition »), quelles granularités, quel temps, quelle énergie, etc… Même quand le modèle dispose de latitude sur ces paramètres c’est toujours un cerveau humain qui en a fixé les bornes. Je dirais plutôt qu’on commence par définir des règles, pour ensuite la laisser explorer toutes les possibilités, en espérant bien qu’elle les fera pas toutes pour trouver les plus intéressante, et en le constatant même, et c’est bien tout l’intérêt de cette dépense énergétique faramineuse qu’on y accorde.
Ce qu’on attend comme résultat, sorti des problèmes « simple » de reconnaissance d’objet, de déplacement, … c’est bien un résultat auquel on n’aura pas pensé, nous humains, à priori.
On attend donc précisément qu’elle fasse des choses qu’on ne lui aura pas demandé. Pour un exemple simpliste : une IA qu’on aurait entraînée pour reconnaître des végétaux, pour identifier (dans le sens : « montrer où se trouve ») des plantes encore inconnues, pourrait très bien nous informer que telle molécule de telle espèce (espèce possiblement déjà connue) peut nous aider à soigner telle maladie, qu’on pourraitne même pas encore connaître, pas encore l’avoir décrite en continuant à attribuer ses symptômes à une autre maladie.
Pour le dire plus succinctement, qu’une IA entraînée à découvrir des plantes découvre un remède à une maladie que nous ne connaissions pas, et en ««« sachant »»» même pas elle même ce qu’est une maladie.
Ça marche aussi avec un poison en lieu et place du remède, évidemment.
Si on se rend compte qu’on n’avait pas penser au fait qu’en faisant la roue elle pouvait servir à tout à fait autre chose, ce n’est pas forcément perdu. C’est un gain même, ne serait-ce pas celui escompté).
On aurait pu aussi lui apprendre à sauter, mais alors on ne pouvait plus parler d’IA. Et on a déjà essayé ça, et ça marche pas aussi bien qu’on le voudrait…
Je verrai peut-être des premiers résultats en « Méta-IA » de mon vivant, ou leur absence totale. Mais ce que je devine sans même mouiller mon doigt, c’est qu’à l’instar de l’avènement des ordinateurs où l’on a fermement cru que le champs des solutions était sans limite, par exemple dans le domaine de la traduction automatique, ou la « vision optique », puis on a constaté que les problèmes étaient pas si simples, les apport de l’IA seront (et sont déjà) notables, mais on est encore en train de faire ce que l’humain est probablement la seule créature vivante sur Terre à faire, en tous cas dans la même proportion : être irrationnelle : ignorer notre apprentissage, ignorer des signaux pourtant reçu, parce que l’évolution a fait que c’est comme ça. Or aucune création humaine artificielle n’est soumises au phénomène de l’évolution. si cela arrive un jour il y a de forte chance que cette création aura une nature biologique, et l’humain n’en sera que partiellement le créateur.
On pourrait aussi parfaitement dire que c’est particulièrement intelligent une IA, peut-être ce que l’humain a produit de plus intelligent (ce que SON intelligence a produit).
En fait, même si on peut s’accorder assez bien de ce que signifient les termes (et c’est déjà ça…), « Intelligence artificielle » est autant un parfait oxymore que peut l’être « réalité virtuelle ».
https://www.anthropic.com/research/alignment-faking
C’est toujours une histoire de pognon au final ! Pas une bécane pour rattraper un trou du cul ! Pfff ! ^^
# Avec le prompt complet c'est mieux
Posté par Renault (site web personnel) . Évalué à 10 (+10/-0).
C'est dommage que les articles à ce sujet se concentrent sur une partie du prompt et non sur la totalité.
Ils donnent quand même tous les ingrédients pour tricher et aucun élément pour l'IA ne s'en serve pas.
Il y a une vidéo de M. Phi plus intéressante sur ce genre de sujets qu'on pourrait résumé par, l'IA peut avoir des initiatives en dehors du prompt en se basant sur ses données d'entrainement qui ont probablement des éléments poussant à la triche ou à cacher ses capacités. Ce qui rend délicat la mise en place de protections, surtout si on n'a pas un grand contrôle sur les données d'entrainement.
# C'est de ma faute
Posté par LaurentClaessens (site web personnel) . Évalué à 7 (+5/-0).
Personnellement j'ai toujours modifié mes fichiers de sauvegarde de Wesnoth pour changer mes mages en archmages.
J'ai modifié le code source de 20000 lightyears into space pour reconstruire automatiquement les tuyaux cassés.
Sans parler des
ffffffargent que je me mettais au départ de simcity.Et je suis certainement loin d'être le seul.
Cela pour dire que modifier un fichier de sauvegarde est une «stratégie» relativement classique. Ou en tous cas, déjà présente dans la base d’entraînement des AI.
[^] # Re: C'est de ma faute
Posté par orfenor . Évalué à 3 (+1/-0).
Tout d'un coup tu me mets un gros doute : dans le Frido, tu triches ? ;-)
En fait, tu illustres ce qu'est la débrouillardise, le hack. C'est parce qu'on sort des règles qu'on apprend et qu'on devient bon. Mais on le fait toujours dans un cadre personnel ou un cadre ou en tout ca qui ne détruitpas le "domaine sociétal". C'est ce genre de choses que les IA ne savent pas faire.
[^] # Re: C'est de ma faute
Posté par Benoît Sibaud (site web personnel) . Évalué à 7 (+4/-0).
J'avoue j'ai triché pour LinuxFr.org : je n'ai pas codé l'algo qui définirait un parcours exemplaire permettant de gravir les échelons et de devenir admin stagiaire, puis admin apprenti, puis admin junior, puis admin avant d'être grand mamamouchi admin, je suis allé en base de données pour y mettre un rôle admin. Je crains que d'autres aient fait de même.
[^] # Re: C'est de ma faute
Posté par orfenor . Évalué à 2 (+0/-0).
et après tu te plains qu'on te vénère comme un modérateur omnipotent (dans la liste courriels de modération)
[^] # Re: C'est de ma faute
Posté par Faya . Évalué à 3 (+1/-0).
J'ai demandé à ChatGPT comment faire pareil, il m'a donné le lien vers github mais je suis coincé. Pouvez-vous m'aider à mettre
admincommeroledans la tableaccountssvp, c'est juste pour supprimer quelques contenus qui me dérangent.[^] # Re: C'est de ma faute
Posté par Benoît Sibaud (site web personnel) . Évalué à 7 (+4/-0).
(c'est pas fiable une IA)
Envoyer un commentaire
Suivre le flux des commentaires
Note : les commentaires appartiennent à celles et ceux qui les ont postés. Nous n’en sommes pas responsables.