Le journal Vox nous propose un article intitulé How unbelievably realistic fake images could take over the internet : AI image generators like DALL-E and Midjourney are getting better and better at fooling us.. On y retrouve notamment les explications et travaux de Nick St. Pierre sur comment générer des images extrêmement réalistes (ça implique d’être très précis dans les prompts).
Une chose est sûre : il ne suffit plus d’être attentif à un arrière-plan cauchemardesque ou à des doigts non-euclidiens pour détecter une image générée par IA, surtout si la personne qui l’a générée sait ce qu’elle fait et comment manipuler l’entrée pour avoir un résultat le plus réaliste possible.
Ce journal, qui n’est qu’un lien avec un petit commentaire, est placé sous licence CC-0.
# mouais
Posté par jigso . Évalué à 9.
On sait trés bien qu'il ne faut pas croire tout ce qu'on lit sur internet (c'est Victor Hugo qui l'a dit, je l'ai lu quelque part…). La manipulation d'image et de photos existe depuis que la photographie existe, bien sûr pas à une telle échelle et avec une telle facilité, mais maintenant qu'on est au courant, il faudra juste adapter nos curseurs de croyance, et ne plus prendre une photo comme une preuve de quoque ce soit.
[^] # Re: mouais
Posté par bunam . Évalué à 1. Dernière modification le 09 avril 2023 à 11:15.
Repost : Heu que va-t-il se passer quand le RN/LM va rescanner internet quand celui-ci sera rempli de conneries générées par la version précédente ?
[^] # Re: mouais
Posté par Colin Pitrat (site web personnel) . Évalué à 2.
Tu veux dire RN/LRM? Je vois pas ce que le rassemblement national et la république en marche ont à voir avec tout ça…
Ok, ok -> []
[^] # Re: mouais
Posté par karteum59 . Évalué à 6. Dernière modification le 14 avril 2023 à 01:14.
Ouais, Lincoln aussi… :)
Je ne suis pas sûr que la prise de conscience du grand public (et encore moins des décideurs politiques) aille aussi vite que le développement fulgurant de l'IA dans nombre de domaines (ce qui inclue la désinformation, mais aussi plein d'autres choses. Une des choses qui m'inquiète est la capacité d'automatiser le hacking de systèmes (aujourd'hui pénétrer un système, scanner un environnement, s'y adapter et utiliser metasploit en fonction de cela requiert des compétences pointues, là où demain on pourra voir des armées de bots faire ce taff).
N.B. Microsoft (mais aussi plusieurs autres startups) a récemment annoncé être capable de faire dire n'importe quoi à n'importe qui sur la base de 3 secondes d'enregistrement d'une personne cible. Les tribunaux vont s'amuser… (et à l'inverse s'ils n'en prennent pas conscience à temps, des innocents seront un jour envoyés en prison sur la base de preuves forgées de toute pièce…)
# Compétences en manipulation
Posté par Glandos . Évalué à 4.
Oui, si la personne sait manipuler Photoshop ou Gimp, c'était déjà pareil :)
Bon évidemment, dans quelques itérations, ça sera réaliste avec une demande moisie genre « Trump se fé arrêtait par des chtroumphes »
[^] # Re: Compétences en manipulation
Posté par lejocelyn (site web personnel) . Évalué à 7.
La facilité d'accès à ces manipulations me semble au contraire un vrai changement de paradigmes. Ce ne sont plus simplement des équipes spécialisées qui vont pouvoir créer des faux, mais simplement une personne, à la demande.
À quand la production de fausses archives justifiant n'importent quelle théorie révisionniste ? Ou des faux documents attestant tout et n'importe quoi (avec signature).
Je me demande dans quelle mesure on peut créer des chaînes de confiance, en mode signature des enregistrements dès leurs productions. Cela permettrait de créer une forme de validation/label "enregistrement véritable". Le problème, c'est qu'à part avoir un système qui soit intégré directement à l'enregistreur, et qui vérifie aussi bien le matériel que le logiciel, je ne voit pas comment ça pourrait être possible.
[^] # Re: Compétences en manipulation
Posté par Misc (site web personnel) . Évalué à 7.
C'était pas déjà le cas avant ?
On a pas eu besoin de midjourney pour avoir une vague de conspiration sur les vaccins. On a pas eu besoin de midjourney pour écrire les protocoles des sages de Sion.
La différence pour moi n'est pas dans la production, mais dans la propagation.
Les conspirations sur les vaccins se sont propagés via les réseaux sociaux et beaucoup d'efforts pour exploiter le besoin de rationalisation des humains. Le protocole des sages de Sion s'est propagé via les réseaux de la police politique du Tsar.
Donc je pense que la production est marginal par rapport aux efforts de propagation, et le "debunk" était déja une stratégie perdante vu qu'il faut plus de temps pour prouver un faux que d'en faire un.
Quelque chose de cheap faisait déjà l'affaire avant, pour peu que ça confirme les biais sous jacents de la personne qui va répéter l'info, donc je ne suis pas sur que ça apporte grand chose que d'améliorer la photo, en terme de manipulation.
[^] # Re: Compétences en manipulation
Posté par Thomas Douillard . Évalué à 3.
La crédibilité et l'honnêteté de la source ont toujours été importante vu qu'il est improbable que tout le monde vérifie en profondeur toutes les informations dont on est abreuvés. En comparaison de l'époque du tsar on est dans de tous ordres de grandeurs dans la quantité d'infos, journalistiques, de gestion publique, journalistiques …
Mais … On a développé des protocoles de fiabilités, des techniques scientifiques exigeantes et profondes, avec aussi beaucoup d'incertitudes parce que souvent les scientifiques n'aiment pas conclure quand il reste des zones d'ombres. Le monde s'est aussi beaucoup complexifié techniquement, politiquement, avec des conflits à l'échelle de la planète désormais pour la maîtrise des ressources, absolument partout où on peut en récupérer.
Là on peut anticiper un changement d'échelle parce que la profondeur de la propagande peut changer. Des rapports avec des données entièrement bidonnées qui ont l'air crédibles, des protocoles sur le papier béton qui tromperaient un scientifique, qui passeraient n'importe quel peer review ? Pourquoi pas. Vas y pour montrer qu'il n'y a pas eu d'expérience, la science nécessite un minimum d'honnêteté quand bien même le principe c'est que tout doit être triple verifié … Les rapports d'expertise et des cabinets type mc Kinsey n'en parlons pas.
Il y a une histoire de chaîne de confiance de l'information transmise a creuser. Un journaliste est supposé avoir des sources, un scientifique les cité également et tous de tirer leurs info quelque part dans la réalité. La in va avoir la possibilité d'une réalité alternative tout aussi plausible et beaucoup plus travaillee, avec une chaîne de confiance alternative de plus en plus profonde ?
[^] # Re: Compétences en manipulation
Posté par arnaudus . Évalué à 7.
C'est déja très facile de tromper le peer-review. Le peer review est basé sur une forme de confiance dans la bonne foi (les erreurs de bonne foi peuvent être détectées si les données sont fournies de manière transparente, mais les manipulations sont virtuellement indétectables).
Ceux qui se sont gauler à manipuler des données sont juste des mauvais; la plupart du temps c'est un excès de confiance qui leur vaut leur perte.
Par contre, ce qui peut changer, c'est le volume de données pipeaurées, et la production automatique d'articles scientifiques pipeau de A à Z. Avant, faire un faux prenait du temps, et cette productivité limitée des faussaires limitait nécessairement le nombre de faux en circulation. Si maintenant un faussaire peut produire 100 fois plus de faux documents dans le même temps, le système peut se retrouver paralysé et noyé sous la masse.
[^] # Re: Compétences en manipulation
Posté par Benoît Sibaud (site web personnel) . Évalué à 7.
Et le fait de chercher à manipuler un certain public : la Sciento ou un gourou ou un scammer ou un populiste s'en fichent d'être débunkés par un spécialiste en astrophysique, un constitutionaliste, un prof de médecine ou un historien, ils peuvent volontairement cibler un public crédule donné, et le public non crédule qui s'en désintéresse c'est toujours ça de ciblage fait à pas cher (donc un meilleur retour sur investissement).
[^] # Re: Compétences en manipulation
Posté par SpaceFox (site web personnel, Mastodon) . Évalué à 4.
La notion même de "enregistrement véritable" est bancale, à moins se certifier les données brutes issues des capteurs. Et encore, ça ignore toutes les intentions du photographe / vidéaste /… lors de l'enregistrement. Tu peux faire dire énormément de choses différentes à un même évènements avec des images sans la moindre trace de retouche (recadrage compris) juste en choisissant bien l'angle de prise de vue, le moment enregistré, etc.
La connaissance libre : https://zestedesavoir.com
[^] # Re: Compétences en manipulation
Posté par lejocelyn (site web personnel) . Évalué à 2.
Oui, le terme est nul, et c'est pour cela que je l'ai mis entre guillemets. Et je connais bien la problématique de l'intention, soulevée dès son invention.
Mais, ça ne change pas que savoir si une photo a été retouchée, si elle a été machinée, ou si elle est brut de décoffrage, est un élément clef de son interprétation.
C'est exactement ce que je suggère. Désolé si je n'étais pas clair. Un label "non machine", tout comme un label non retouchée serait aussi intéressant.
[^] # Re: Compétences en manipulation
Posté par Misc (site web personnel) . Évalué à 5.
D'ailleurs, pour les photos, j'ai vu passer un tweet assez intéressant, sur le fait qu'on retouche aussi l'argentique. Ça m'a un peu bluffé.
[^] # Re: Compétences en manipulation
Posté par Ysabeau 🧶 (site web personnel, Mastodon) . Évalué à 5.
Mon arrière-grand oncle avait un kit de retouche photo. Ça se vendait à l'époque (début du siècle dernier) avec des couleurs pour retoucher les vilains défauts dans les gammes de gris. La retouche photo est née quasiment avec la photo.
« Tak ne veut pas quʼon pense à lui, il veut quʼon pense », Terry Pratchett, Déraillé.
[^] # Re: Compétences en manipulation
Posté par gUI (Mastodon) . Évalué à 6. Dernière modification le 12 avril 2023 à 09:03.
Mes parents développaient eux-mêmes leurs photos en N&B (je me souviens encore de l'odeur des produits !).
La phase de développement est très propice à la retouche : recadrage et luminosité (y compris limité à certaines zones) sont les premiers trucs à savoir faire : ça te sauve pas mal de photos !
En théorie, la théorie et la pratique c'est pareil. En pratique c'est pas vrai.
[^] # Re: Compétences en manipulation
Posté par Maderios . Évalué à 4.
Ce n'est pas de la retouche mais une interprétation du négatif. C'est ce que je fais sous l'agrandisseur (N&B): avec les mains, des formes de carton, grilles, etc, on fait sortir un ciel, on bouche/débouche les ombres, éclaircit/assombrit un visage, etc, tout est possible. C'est pour cette raison que les tirages originaux faits par le photographe, ou un tireur sous ses directives, sont plus recherchés que les tirages faits par un tireur de labo qui n'a pas fait la photo. Tout ça pour dire que le négatif, c'est seulement une base, son interprétation peut donner des résultats très différents selon les techniques et l'inspiration du moment dans la chambre noire. Ne pas confondre avec le développement du négatif, premier stade, où le type de révélateur/formule/durée/température/agitation employées peut également fortement influer sur le résultat final (grain, contraste, etc…) et même tout foirer en cas d'erreur. Sauf que parfois, les erreurs donnent des bonnes surprises…
[^] # Re: Compétences en manipulation
Posté par Thomas Douillard . Évalué à 2. Dernière modification le 11 avril 2023 à 12:31.
Ça rejoint un peu les problématique de fichiers sources et de libres, et de l’art libre en terme de matériel utilisé pour une oeuvre d’art
Si un jour on arrive à avoir les fichiers sources et les traitements associés aux production, évidemment c’est compliqué pour de la vidéos, avoir une image source avant traitement authentifiée par une solution cryptographique comme générée par un vrai appareil ça peut être intéressant.
Après les problématique de cadrage de l’image source, ça n’est pas différent de la situation pré-IA donc on ne peut pas forcément y voir une rupture plus que celle de la massification des caméras et appareils photos depuis quelques temps déjà.
# De la réalité des images et du probléme de la perception de celle-ci.
Posté par Big Pete . Évalué à 6.
Un des probléme sous-jacent est pas forcément lié au fait que l'IA serait capable de produire des images qui paraitraient réaliste, c'est aussi lié a la croyance assez répandue qui consiste a croire que ce que l'on voit est réel.
Si je puis me permettre de conseiller cette conférence de vulgarisation (sur YT) à ce sujet : Le cerveau fait son monde : l'illusion de la réalité
En plus pour le coup, mettant en scène de nombreuse illusion, elle est plutôt sympa a regarder. Les sciences cognitives à l'état brut s'est souvent un peu plus sec.
Et d’ailleurs, cette approche spectaculaire des science du cerveau est souvent utilisé pour amener les gens a la vulgarisation scientifique. Par exemple ici à Rennes : https://www.youtube.com/watch?v=DML2rUI3Jc0 a voir au sein de l'exposition Incroyable Cerveau à l'espace de sciences : https://www.espace-sciences.org/expositions/incroyable-cerveau
Faut pas gonfler Gérard Lambert quand il répare sa mobylette.
# Quelques remarques
Posté par Maderios . Évalué à 2.
Sur un petit écran et vues à distance, ces images paraissent issues de la réalité. Si on agrandit un peu avec Gimp, sur l'image de droite, le modelé du visage est artificiel, il fait penser à une reproduction genre musée Grévin en plastique. En zoomant sur les cheveux, on découvre que ce ne sont pas des cheveux normalement fins mais des agrégats grossiers ressemblant à de la laine.
Concernant l'image de gauche, la couleur très pâle de la peau surexposée par le soleil induit en erreur mais le cou du personnage est trop long et la tête semble rapportée sur un cylindre caché par le col montant de la robe. Quant à la tentative d'érotiser le personnage avec une robe transparente, c'est maladroit et grotesque, je n'en dirai pas plus. L'IA à l'origine de cette image ferait bien de suivre des cours d'anatomie.
[^] # Re: Quelques remarques
Posté par SpaceFox (site web personnel, Mastodon) . Évalué à 7.
Dans le genre, il y a celle-ci que je trouve très intéressante aussi :
La connaissance libre : https://zestedesavoir.com
[^] # Re: Quelques remarques
Posté par SpaceFox (site web personnel, Mastodon) . Évalué à 9.
Au fait, je ne vois ai pas dit en quoi cette photo est intéressante. En réalité, et contrairement à ce que beaucoup de gens ont cru, y compris des gens qui ont beaucoup utilisé les IA génératrices d'images : cette image est parfaitement authentique.
C'est bien de ce genre de problème que parle le lien du journal : aujourd'hui, on ne peut plus se contenter de dire "en petit ça passe mais il suffit d'agrandir et de regarder". Et quand bien même : une IA qui génère facilement des images réalistes en petit format reste un problème, parce que personne ne va passer son temps à étudier en détail chaque image qui passe, surtout si elle est crédible.
La connaissance libre : https://zestedesavoir.com
[^] # Il faux créer une IA qui a pour fonction d'identifier la crédibilité d'une image?
Posté par Nodeus . Évalué à 2.
Puisque, comme tu le dis très justement, personne n'aura le temps de vérifier, toute ces images, ne faut-il pas créer une IA pour le faire .
mais la vrai question est qui contrôle L'IA qui vérifie les images.
[^] # Re: Il faux créer une IA qui a pour fonction d'identifier la crédibilité d'une image?
Posté par Gil Cot ✔ (site web personnel, Mastodon) . Évalué à 3.
Une IA qui contrôle les IA contrôleuses de bas niveau
“It is seldom that liberty of any kind is lost all at once.” ― David Hume
[^] # Re: Quelques remarques
Posté par Colin Pitrat (site web personnel) . Évalué à 2.
Et en double aveugle (ou même en simple aveugle en fait) ce genre d'analyse ça donne quels pourcentages de faux positifs/négatifs ?
[^] # Re: Quelques remarques
Posté par Faya . Évalué à 5.
Ça serait une erreur de penser que ces modèles ne vont pas s'améliorer… Ou que l'internaute moyen sera attentif à autant de détails. Sinon concernant "la tentative d'érotiser le personnage avec une robe transparente" le prompt d'origine est disponible :
Il a juste demandé une robe en dentelle blanche en fait… Ces robes existent et je n'y vois rien de grotesque.
Suivre le flux des commentaires
Note : les commentaires appartiennent à celles et ceux qui les ont postés. Nous n’en sommes pas responsables.