si ça intéresse, le papier scientifique sur le lequel s'appuie l'article de Science et Vie est disponible ici. De ce que j'en ai vu, il ne s'agit que d'une pré-publication et n'a pas encore été publié dans un journal.
Oui, et les mêmes auteurs (oui oui, exactement les mêmes dans le même ordre de citation) ont déjà publié une étude connexe il y a quelques mois qui n'est toujours pas publiée non plus (https://arxiv.org/abs/2402.06664v1)
J'ai regardé vite fait des CV, deux d'entre eux au moins sont des assistants de recherche de l'université, arrivés en même temps à l'université il y a 9 mois, et qui travaillent tous les deux à temps partiel à l'université et dans la Red team d'OpenAI. Je trouve cela pour le moins curieux.
Sinon quand on regarde le document, cela ne prouve pas grand chose. Déjà pas de prompts, ni de méthodologie avancée, pas de code, donc niveau reproductibilité et vérification c'est vraiment léger ça fait très "crois moi frère". L'excuse pour ne pas le faire semble bien léger.
Je suis d'accord avec lui sur la qualité de l'article, il n'y a aucune preuve que GPT4 fasse mieux que des outils dédiés à cette tâche et qui existent depuis longtemps. Et on a aucune preuve que ChatGPT soit capable de s'adapter à des failles complexes et de générer les exploits lui même. Cela fait très hype pour pas grand chose. On manque cruellement de détails essentiels pour conclure autre chose.
Et on a aucune preuve que ChatGPT soit capable de s'adapter à des failles complexes et de générer les exploits lui même. Cela fait très hype pour pas grand chose. On manque cruellement de détails essentiels pour conclure autre chose.
Ceci étant, on peut voir le développement d'un exploit comme quelque chose de proche d'un test (dans le sens test unitaire). Et pour ça les outils de LLM type ChatGPT sont plutôt bons. Ça peut donner des trucs intéressants à terme (une fois la hype passée).
Posté par Psychofox (Mastodon) .
Évalué à 4.
Dernière modification le 17 juin 2024 à 20:05.
Je vais répondre par point-bulles pour faire plus conçis:
Note: je n'ai pas accès à l'article lui-même.
par se transformer en hacker, les chercheurs peuvent parler de deux choses (je penche pour la première):
obtenir un extrait de code de type exploit qui permet comme son nom l'indique d'exploiter une faille d'un programme. Même si c'est éthiquement contestable, je serais tenter de dire que c'est la moindre des choses d'un LLM de pouvoir fournir ce genre d'information. Du code est du code, qu'il ait une finalité mauvaise ou pas (et les exploits permettent de tester ses propres applications/infras).
obtenir un accès plus loin que le simple prompt via une technique de prompt injection et obtenir accès aux systèmes qui font tourner chatGPT ou obtenir des informations de type fuite de prompt pour savoir ce que demandent les autres utilisateurs.
chatGPT est en quelque sorte censuré. Par là on veut dire qu'il est paramétré pour ne pas donner des réponses à des prompts selon différents critères moraux, éthiques et légaux un peu flous. C'est une manière pour les entreprises qui les développent de donner une meilleure image à la technologique et créer des garde-fous pour éviter leur prohibition.
cette censure n'est pas infaillible car par la technique mentionnée plus haut de prompt injection il peut être parfois possible de contourner cette censure.
chatGPT n'est pas le seul modèle, il existe une moultitude de modèles dans la nature, en accès libres et utilisable en local et un certain nombre d'entre eux sont non censurés. Et malgré les risques qu'ils nous recrachent du contenur douteux type raciste, homophobe ou autre, ça peut être utile pour certains cas d'usage. Du coup, la belle affaire. D'un point de vue mitigation des risques, on s'en branle un peu si la censure de chatGPT peut être contourné si on peut de toute façon faire tourneser son modèle non censuré sur sa propre infra. Ça me semble être un grand titre pour pas grand chose.
# Papier scientifique
Posté par pamputt . Évalué à 6.
si ça intéresse, le papier scientifique sur le lequel s'appuie l'article de Science et Vie est disponible ici. De ce que j'en ai vu, il ne s'agit que d'une pré-publication et n'a pas encore été publié dans un journal.
[^] # Re: Papier scientifique
Posté par Renault (site web personnel) . Évalué à 10.
Oui, et les mêmes auteurs (oui oui, exactement les mêmes dans le même ordre de citation) ont déjà publié une étude connexe il y a quelques mois qui n'est toujours pas publiée non plus (https://arxiv.org/abs/2402.06664v1)
J'ai regardé vite fait des CV, deux d'entre eux au moins sont des assistants de recherche de l'université, arrivés en même temps à l'université il y a 9 mois, et qui travaillent tous les deux à temps partiel à l'université et dans la Red team d'OpenAI. Je trouve cela pour le moins curieux.
Sinon quand on regarde le document, cela ne prouve pas grand chose. Déjà pas de prompts, ni de méthodologie avancée, pas de code, donc niveau reproductibilité et vérification c'est vraiment léger ça fait très "crois moi frère". L'excuse pour ne pas le faire semble bien léger.
Une personne a écrit (en anglais) une critique pour les deux articles de ces auteurs : https://struct.github.io/llm_auto_hax.html et https://struct.github.io/auto_agents_1_day.html
Je suis d'accord avec lui sur la qualité de l'article, il n'y a aucune preuve que GPT4 fasse mieux que des outils dédiés à cette tâche et qui existent depuis longtemps. Et on a aucune preuve que ChatGPT soit capable de s'adapter à des failles complexes et de générer les exploits lui même. Cela fait très hype pour pas grand chose. On manque cruellement de détails essentiels pour conclure autre chose.
[^] # Re: Papier scientifique
Posté par cg . Évalué à 2.
Ceci étant, on peut voir le développement d'un exploit comme quelque chose de proche d'un test (dans le sens test unitaire). Et pour ça les outils de LLM type ChatGPT sont plutôt bons. Ça peut donner des trucs intéressants à terme (une fois la hype passée).
[^] # Re: Papier scientifique
Posté par steph1978 . Évalué à 2.
De toute façon, à partir de là, j'avais déjà un doute sur le contenu :)
# chatGPT n'est pas seul
Posté par Psychofox (Mastodon) . Évalué à 4. Dernière modification le 17 juin 2024 à 20:05.
Je vais répondre par point-bulles pour faire plus conçis:
Note: je n'ai pas accès à l'article lui-même.
par se transformer en hacker, les chercheurs peuvent parler de deux choses (je penche pour la première):
chatGPT est en quelque sorte censuré. Par là on veut dire qu'il est paramétré pour ne pas donner des réponses à des prompts selon différents critères moraux, éthiques et légaux un peu flous. C'est une manière pour les entreprises qui les développent de donner une meilleure image à la technologique et créer des garde-fous pour éviter leur prohibition.
cette censure n'est pas infaillible car par la technique mentionnée plus haut de prompt injection il peut être parfois possible de contourner cette censure.
chatGPT n'est pas le seul modèle, il existe une moultitude de modèles dans la nature, en accès libres et utilisable en local et un certain nombre d'entre eux sont non censurés. Et malgré les risques qu'ils nous recrachent du contenur douteux type raciste, homophobe ou autre, ça peut être utile pour certains cas d'usage. Du coup, la belle affaire. D'un point de vue mitigation des risques, on s'en branle un peu si la censure de chatGPT peut être contourné si on peut de toute façon faire tourneser son modèle non censuré sur sa propre infra. Ça me semble être un grand titre pour pas grand chose.
Suivre le flux des commentaires
Note : les commentaires appartiennent à celles et ceux qui les ont postés. Nous n’en sommes pas responsables.