Posté par gUI (Mastodon) .
Évalué à 6 (+3/-0).
Dernière modification le 12 janvier 2025 à 09:03.
J'étais tombé sur un bon documentaire sur ce sujet. C'est un gros soucis qu'on a actuellement avec l'IA, il y a même des chercheurs qui commencent à se pencher sur ce sujet : l'IA "triche".
Alors je mets entre guillemets parce que bien évidemment l'IA ne fait que ce qu'on lui laisse faire, mais on part de tous les possibles et ensuite on la restreint par des règles. Or il est extrêmement difficile d'énoncer par règle tout ce qu'on a en tête. On lui parle comme à un humain, mais il y a énormément de non-dits dans la conversation entre deux humains.
Un exemple tout con c'est un robot virtuel, une sorte d'araignée qui ne sait pas marcher, hop IA, mouvements erratiques au début puis… elle marche. Ensuite on essaie de la faire sauter. Pour ça on lui a demandé d'essayer de maximiser la position de son centre de gravité. Mouvements erratiques au début puis… elle fait la roue. Perdu !
Cet exemple est tout con, on aurait pu lui définir le concept de saut différemment, mais ça illustre exactement le problème.
C'est con une IA, très con, il faut tout lui dire, tout. Et c'est bien là la difficulté.
En théorie, la théorie et la pratique c'est pareil. En pratique c'est pas vrai.
C'est dommage que les articles à ce sujet se concentrent sur une partie du prompt et non sur la totalité.
Ils donnent quand même tous les ingrédients pour tricher et aucun élément pour l'IA ne s'en serve pas.
Il y a une vidéo de M. Phi plus intéressante sur ce genre de sujets qu'on pourrait résumé par, l'IA peut avoir des initiatives en dehors du prompt en se basant sur ses données d'entrainement qui ont probablement des éléments poussant à la triche ou à cacher ses capacités. Ce qui rend délicat la mise en place de protections, surtout si on n'a pas un grand contrôle sur les données d'entrainement.
Personnellement j'ai toujours modifié mes fichiers de sauvegarde de Wesnoth pour changer mes mages en archmages.
J'ai modifié le code source de 20000 lightyears into space pour reconstruire automatiquement les tuyaux cassés.
Sans parler des ffffff argent que je me mettais au départ de simcity.
Et je suis certainement loin d'être le seul.
Cela pour dire que modifier un fichier de sauvegarde est une «stratégie» relativement classique. Ou en tous cas, déjà présente dans la base d’entraînement des AI.
# C'est bien LE problème actuel avec l'IA
Posté par gUI (Mastodon) . Évalué à 6 (+3/-0). Dernière modification le 12 janvier 2025 à 09:03.
J'étais tombé sur un bon documentaire sur ce sujet. C'est un gros soucis qu'on a actuellement avec l'IA, il y a même des chercheurs qui commencent à se pencher sur ce sujet : l'IA "triche".
Alors je mets entre guillemets parce que bien évidemment l'IA ne fait que ce qu'on lui laisse faire, mais on part de tous les possibles et ensuite on la restreint par des règles. Or il est extrêmement difficile d'énoncer par règle tout ce qu'on a en tête. On lui parle comme à un humain, mais il y a énormément de non-dits dans la conversation entre deux humains.
Un exemple tout con c'est un robot virtuel, une sorte d'araignée qui ne sait pas marcher, hop IA, mouvements erratiques au début puis… elle marche. Ensuite on essaie de la faire sauter. Pour ça on lui a demandé d'essayer de maximiser la position de son centre de gravité. Mouvements erratiques au début puis… elle fait la roue. Perdu !
Cet exemple est tout con, on aurait pu lui définir le concept de saut différemment, mais ça illustre exactement le problème.
C'est con une IA, très con, il faut tout lui dire, tout. Et c'est bien là la difficulté.
En théorie, la théorie et la pratique c'est pareil. En pratique c'est pas vrai.
[^] # Re: C'est bien LE problème actuel avec l'IA
Posté par Benoît Sibaud (site web personnel) . Évalué à 3 (+0/-0). Dernière modification le 12 janvier 2025 à 10:56.
The existential horror of the paperclip factory sur le jeu des trombones ?
# Avec le prompt complet c'est mieux
Posté par Renault (site web personnel) . Évalué à 3 (+0/-0).
C'est dommage que les articles à ce sujet se concentrent sur une partie du prompt et non sur la totalité.
Ils donnent quand même tous les ingrédients pour tricher et aucun élément pour l'IA ne s'en serve pas.
Il y a une vidéo de M. Phi plus intéressante sur ce genre de sujets qu'on pourrait résumé par, l'IA peut avoir des initiatives en dehors du prompt en se basant sur ses données d'entrainement qui ont probablement des éléments poussant à la triche ou à cacher ses capacités. Ce qui rend délicat la mise en place de protections, surtout si on n'a pas un grand contrôle sur les données d'entrainement.
# C'est de ma faute
Posté par LaurentClaessens (site web personnel) . Évalué à 2 (+0/-0).
Personnellement j'ai toujours modifié mes fichiers de sauvegarde de Wesnoth pour changer mes mages en archmages.
J'ai modifié le code source de 20000 lightyears into space pour reconstruire automatiquement les tuyaux cassés.
Sans parler des
ffffffargent que je me mettais au départ de simcity.Et je suis certainement loin d'être le seul.
Cela pour dire que modifier un fichier de sauvegarde est une «stratégie» relativement classique. Ou en tous cas, déjà présente dans la base d’entraînement des AI.
Envoyer un commentaire
Suivre le flux des commentaires
Note : les commentaires appartiennent à celles et ceux qui les ont postés. Nous n’en sommes pas responsables.