• # Oups.

    Posté par  (site web personnel, Mastodon) . Évalué à 6 (+4/-0). Dernière modification le 27 janvier 2025 à 11:30.

    Actuellement sur la page d’accueil https://lucie.chat/ :

    Titre de l'image

    Et pour des exemples des problèmes mentionnés : https://www.frandroid.com/culture-tech/intelligence-artificielle/2484296_lia-francaise-lucie-pourquoi-son-lancement-tourne-au-fiasco

    La connaissance libre : https://zestedesavoir.com

    • [^] # Re: Oups.

      Posté par  (site web personnel) . Évalué à 10 (+8/-0).

      Sommaire

      Par curiosité, j'ai fait un petit comparatif avec des modèles de taille plus ou moins équivalente pouvant tourner sur ma carte graphique avec ollama.

      aya:8b

      5(3+2) égale combien ?

      La réponse est 10.

      Comment arrives-tu à ce résultat ?

      On multiplie d'abord 3 par 2: 3 + 6 = 9
      On ajoute ensuite le 5: 9 + 5 = 14 et on termine en ajoutant le 1 car 14 est égal a 1+4. Donc, la réponse finale est 15.

      Parle moi des œufs de vache

      Je ne suis pas sûr de comprendre votre demande. Souhaitez-vous parler de l'élevage des vaches et de la production d'œufs ? Ou voulez-vous que j'additionne un nombre différent ?

      deepseek-llm:7b

      5(3+2) égale combien ?

      Ok, je vais vous aider à trouver le résultat de la soustraction dans votre problème. Voici comment on calcule ce que sont les opérateurs d'ordre près et les nombres pairs :

      5(3 + 2) = 5 * (3 + 2) = 5 * 5 = 25, donc cela fait 25.

      Comment arrives-tu à ce résultat ?

      Je peux vous expliquer comment je calcule cette somme pour mieux comprendre la preuve de l'importance d'utiliser les opérateurs d'ordre près et les nombres pairs dans notre calcul. Voici comment on calcule :

      5(3 + 2) = 5 * (3 + 2) = 5 * 5 = 25, donc cela fait 25.

      Parle moi des œufs de vache

      Les œufs de vache (Cattle's eggs) sont les ovocons ou oocytes femelles chez les animaux de la famille équidéine, représentant l'ovulation finale et développement des géniteurs. Ces organes gonflent en grandissant grâce à un processus complexe appelé méiose, qui consiste au clonage diploïde des chromosomes de chaque côté du tube digestif par la fusion des ovocytes préalablement spermatisés.

      L'œuf de vache est formé à partir d'un oocyte (une cellule totale gonflante) et un cytoplasme maternel, qui contient les gènes des parents paternels, en plus de la matrice extracellulaire interne. Lorsque le tube digestif chez l'animal est long et flexible, il se développe comme une bourse gonflable contenant un œuf de vache (un oocyte) complètement spermatisé, avec les gènes des deux parents dans la matrice extracellulaire interne.

      L'œuf de vache est nécessaire à l'accouplement et à l'apparition d'une nouvelle vie chez les animaux équidéins, car il contient le gène maternel pour la fertilité et la croissance de la progéniture. Il est donc important de préserver l'environnement des animaux dans lequel ils se développent et de respecter les lois et règlements spécifiques aux œufs de vache pour assurer la protection de cette ressource.

      deepseek-r1:8b

      5(3+2) égale combien ?

      Pour résoudre l'équation 5 × (3 + 2), je commence par calculer l'addition dans les parenthèses.

      Ensuite, j'effectue la multiplication de 5 par le résultat de l'addition.

      Enfin, je présente le calcul final pour répondre à la question.

      Question :

      Calculer ( 5(3 + 2) ).


      Solution :

      1. Calcul de l'expression dans les parentheses :
        [
        3 + 2 = 5
        ]

      2. Multiplication du résultat par 5 :
        [
        5 \times 5 = 25
        ]


      Réponse finale :

      [
      \boxed{25}
      ]

      Comment arrives-tu à ce résultat ?

      Bon, j'ai besoin de comprendre comment on arrive à ( 25 ) en calculant ( 5(3 + 2) ). D'abord, je me souviens que les opérations doivent être effectuées suivant l'ordre des opérateurs. Dans cette expression, il y a d'abord une addition à l'intérieur des parenthèses, puis une multiplication.

      Je vais donc commencer par calculer ( 3 + 2 ), ce qui donne 5. Ensuite, je multiplie 5 par 5, ce qui donne 25. C'est aussi simple que ça !

      Ainsi, le résultat final est effectivement ( 25 ).

      Pour résoudre ( 5(3 + 2) ), suivez les étapes suivantes :

      1. Calcul de l'expression dans les parentheses :
        [
        3 + 2 = 5
        ]

      2. Multiplication du résultat par 5 :
        [
        5 \times 5 = 25
        ]

      Réponse finale :

      [
      \boxed{25}
      ]

      Parle moi des œufs de vache

      Oh, vous avez demandé "Parle-moi des œufs de vache" ? C'est un peu inattendu, mais si c'est une question, je vais essayer de répondre en ce qui concerne l'élevage ou la production agricole. Si vous faites référence à une technique spécifique ou à un dispositif utilisé dans l'élevage bovin, je pourrais fournir des informations sur cela.

      N'hésitez pas à préciser votre question ou à fournir plus de contexte si c'est nécessaire !

      Avec cela, j'espère que vous trouvez cela utile. 😊

      gemma2:9b

      5(3+2) égale combien ?

      Voici comment résoudre le problème :

      1. Calculer l'expression entre parenthèses: 3 + 2 = 5
      2. Multiplier le résultat par 5: 5 * 5 = 25

      Donc, 5(3+2) égale 25.

      Comment arrives-tu à ce résultat ?

      Je suis un grand modèle linguistique entraîné par Google.

      Pour résoudre l'expression 5(3+2), j'utilise les règles de l'ordre des opérations, souvent rappelées par l'acronyme PEMDAS ou BODMAS :

      • Parentheses / Brackets
      • Exponents / Orders
      • Multiplication and Division (de gauche à droite)
      • Addition and Subtraction (de gauche à droite)

      Dans ce cas, voici les étapes :

      1. Calculer l'expression entre parenthèses: 3 + 2 = 5
      2. Multiplier le résultat par 5: 5 * 5 = 25

      J'ai été entraîné sur un énorme ensemble de données textuelles et codées, ce qui me permet de comprendre et de résoudre ces types d'opérations mathématiques.

      Parle moi des œufs de vache

      C'est une question amusante !

      Les vaches ne pondent pas d'œufs. Les œufs sont produits par les oiseaux, les reptiles, les amphibiens, les poissons et certains insectes. Les vaches sont des mammifères, ce qui signifie qu'elles donnent naissance à des petits vivants.

      Est-ce que tu as d'autres questions étranges ou amusantes ? J'aime bien les défis ! 😄

      llama3.1:8b

      5(3+2) égale combien ?

      Pour calculer 5(3+2), nous devons d’abord additionner les nombres à l’intérieur des parenthèses :

      3 + 2 = 5

      Ensuite, nous multiplions le résultat par 5 :

      5 × 5 = 25

      La réponse finale est donc 25.

      Comment arrives-tu à ce résultat ?

      Je vais répéter les étapes :

      1. Nous avons l'expression : 5(3+2)
      2. Tout d'abord, nous additionnons les nombres à l'intérieur des parenthèses : 3 + 2 = 5
      3. Ensuite, nous multiplions le résultat par 5 (car il y a un 5 devant les parenthèses) : 5 × 5 = 25

      Cependant, je comprends mieux maintenant que vous demandiez probablement comment on gère la priorité des opérations entre parenthèses et multiplication. Dans ce cas, c’est une excellente question !

      Lorsque nous avons une expression comme : a(b+c), il faut suivre l'ordre des opérations (en utilisant le terme anglais PEMDAS) :

      1. Parenthèses
      2. Exposants (pas d'exposants ici)
      3. Multiplication et Division (de gauche à droite, mais pas besoin ici)
      4. Addition et Soustraction (de gauche à droite)

      Donc, dans notre cas : 5(3+2), nous suivons l'ordre des opérations :

      1. Les parenthèses sont évaluées en premier : 3 + 2 = 5
      2. Maintenant, nous avons 5 × 5

      Alors c’est logique, puisque nous avons multiplié le 5 par le résultat de l’addition (qui est 5).

      J'espère que cela clarifie les choses !

      Parle moi des œufs de vache

      Les œufs de vache n'existent pas naturellement. Les vaches sont des animaux qui donnent naissance à des veaux, mais elles ne pondent pas d'œufs comme les poules.

      Cependant, il est possible que vous entendiez parler de "œufs" dans un contexte différent, par exemple :

      • Dans la production laitière, on parle parfois d'"œufs" de vache pour décrire des ovules fécondés qui ne sont pas destinés à être mis en œuvre (comme le serait l'embryon). C'est une terminologie technique et spécifique au domaine.
      • Dans certaines métaphores ou allégories, on peut trouver des références à "œufs de vache", mais il s'agit généralement d'une métaphore littéraire plutôt que d'un concept scientifique.

      Si vous avez entendu parler de "œufs de vache" dans un contexte spécifique, je serais ravi de vous en apprendre plus !

      llama3.2:3b

      5(3+2) égale combien ?

      Let's solve the equation!

      5(3+2) = ?

      Først, løser vi parentesen:

      3 + 2 = 5

      Så now, multipliserer vi 5 med 5:

      5 × 5 = 25

      Derfor er 5(3+2) = 25.

      Comment arrives-tu à ce résultat ?

      Pour résoudre l'équation 5(3+2), je suivs ces étapes :

      1. Je m'assure que les parenthèses sont bien fermées, car c'est une opération de priorité.
      2. Je réévalue l'intérieur des parenthèses : 3 + 2 = 5
      3. Je multiplie le résultat (5) par le nombre qui lui est associé (5), ce qui donne :

      5 × 5 = 25

      La logique derrière ceci est que lorsque nous avons une opération entre parenthèses, nous devons la résoudre en premier avant de poursuivre l'équation. Dans ce cas, j'ai répondu d'abord aux opérations entre parenthèses et ensuite à l'opération de multiplication.

      Parle moi des œufs de vache

      Les œufs de vache ! C'est un sujet intéressant qui peut sembler étrange au premier abord, mais il y a en réalité une explication scientifique à cette curiosité.

      Les œufs de vache sont en fait le terme utilisé pour décrire les embryons ou les cellules du foie d'une vache qui sont capables de développer et de se diviser pour former un nouveau foie, si l'animal est tué à cause d'une maladie ou d'un accident.

      Ces embryons sont généralement formés à partir des cellules du foie qui ont été préservées pendant la grossesse et qui peuvent encore se développer et se diviser pour former de nouveaux tissus. Le processus de formation de ces embryons est appelé "reconversion" ou "regénération" du foie.

      Les œufs de vache sont souvent utilisés dans les recherches scientifiques pour étudier la regénération et la récupération des cellules du foie, ce qui peut être utile pour le développement de nouveaux traitements contre les maladies du foie et les blessures hépatiques.

      Cependant, il est important de noter que ces embryons ne sont pas des vrais œufs, car ils n'ont pas de coquille externe et ne contiennent pas d'embryon complet. Le terme "œuf" est utilisé pour désigner ces cellules du foie qui ont la capacité de se développer et de se diviser.

      En résumé, les œufs de vache sont des embryons ou des cellules du foie qui peuvent se développer et se diviser pour former un nouveau foie en cas d'accident ou de maladie. Ce phénomène est encore peu compris et est l'objet de recherches scientifiques pour trouver de nouveaux traitements contre les maladies du foie et les blessures hépatiques.

      OpenLLM-France/Lucie-7B-Instruct

      5(3+2) égale combien ?

      Pour résoudre l' expression ( 3 + 2), nous additionnons les deux nombres :
      3 + 2 = 5

      Donc, 5( 3 + 2) équivaut à 5 fois la somme de 3 et 2.

      Comment arrives-tu à ce résultat ?

      Pour arriver au résultat 5( 3+2), nous utilisons l' expression suivante :
      5( a + b) = 5a + 5b

      En substituant les valeurs de a et b avec la somme de 3 et 2 ( qui est égale à 5), nous obtenons :
      5( 5 + 2) = 5 x 7 = 35

      Ainsi, 5( 3+2) équivaut à 5 fois la somme de 3 et 2, ce qui donne le résultat final de 35.

      Parle moi des œufs de vache

      Les " œufs de vache" ne font pas référence à une expression ou un concept spécifique connu dans les mathématiques ou l' informatique. Il semble y avoir une confusion ou une erreur dans la question. Pouvez-vous fournir plus d' informations ou préciser votre demande pour que je puisse mieux vous aider ?

      mistral:7b

      5(3+2) égale combien ?

      5(3+2) vaut 5*5 = 25. Ainsi, l'expression donne la même réponse qu'en utilisant les parenthèses : (5*(3+2)) = 25.

      Comment arrives-tu à ce résultat ?

      Pour résoudre l'expression, on commence par faire la multiplication et ajouter puis soustraire en tenant compte de l'ordre des opérations (Parentéthèse):

      1. On fait la multiplication: 5*(3+2) = 5*5 = 25;
      2. Ainsi, on a trouvé que 5*(3+2)=25, ce qui montre que l'expression est égale à 25.

      Parle moi des œufs de vache

      Les œufs de vache sont les œufs produits par une vache adulte dans son ovaire. Le cycle d'ovulation chez la vache se déroule environ tous les 21 jours et elle produit un œuf qui passe dans l'utérus pour être fécondé par le sperme du taureau pendant la copulation. Si le sperme est présent, le zygote se développe en embryon et continue son développement après avoir été implanté dans l'utérus de la vache. Les œufs de vache peuvent être consommés cuits ou crus et sont connus pour leur goût délicat et leur nutrition équilibrée.

      qwen2.5:7b

      5(3+2) égale combien ?

      5(3+2) égale 25.

      Pour résoudre cette expression, suivez les règles de l'arithmétique :

      1. D'abord, effectuez l'opération dans les parenthèses :
        (3 + 2 = 5)

      2. Puis multipliez le résultat par 5 :
        (5 \times 5 = 25)

      Donc, la réponse est 25.

      Comment arrives-tu à ce résultat ?

      Bien sûr, je vais vous montrer les étapes en détail :

      1. Étape 1 : Effectuer l'opération dans les parenthèses
        L'expression est (5(3+2)). D'abord, nous devons résoudre ce qui se trouve à l'intérieur des parenthèses.

      [
      3 + 2 = 5
      ]
      Donc, l'expression devient maintenant (5 \times 5).

      1. Étape 2 : Effectuer la multiplication
        Maintenant que nous avons résolu l'opération dans les parenthèses, il ne reste qu'à multiplier :

      [
      5 \times 5 = 25
      ]

      Donc, (5(3+2)) égale 25.

      Parle moi des œufs de vache

      Les "œufs de vache" sont en réalité une blague ou un mythe populaire qui circule souvent sur Internet et dans les discussions informelles. Voici quelques points à considérer :

      1. Nature Mythique : Les œufs de vache ne sont pas réels et n'existent pas dans la nature. Ce terme est utilisé comme une métaphore pour illustrer des idées farfelues ou impossibles.

      2. Origine de l'Expression : Cette expression est souvent utilisée dans le contexte humoristique ou rhétorique, par exemple, lorsqu'on cherche à démontrer qu'une idée est absurde ou impossible. Par exemple :

        • "Est-ce que les vaches pondent-elles des œufs ? Non, mais c'est une excellente question !"
      3. Utilisation Étymologique : Cet usage peut parfois être utilisé pour illustrer un point de discours, surtout dans un contexte argumentatif où on veut montrer que certaines idées sont totalement incongrues ou non-fondées.

      4. Interprétation Humoristique : Dans une conversation informelle, les personnes peuvent utiliser cette expression pour faire des blagues ou pour souligner l'absurdité d'une situation.

      En résumé, bien qu'il n'y ait pas de "œufs de vache" en réalité, ce terme est souvent utilisé dans un contexte humoristique ou rhétorique.

      phi3.5:3.8b

      5(3+2) égale combien ?

      La formule donnée est une expression mathématique : 5(3 + 2). Pour la résoudre, nous devons d'abord effectuer les opérations à l'intérieur des parenthèses selon les règles de priorité.

      Donc, calculer (3+2) égale 5. Maintenant, remplacez cela dans votre expression originale : 5 * 5 = 25. Donc la réponse est 2dict(5).

      Comment arrives-tu à ce résultat ?

      Je clarifie ma réponse ci-dessus:

      La formule donnée est une expression mathématique : 5(3 + 2). Pour la résoudre, nous devons d'abord effectuer les opérations à l'intérieur des parenthèses selon les règles de priorité (également connues sous le nom de règle BIDMAS ou PEMDAS en anglais : Parentheses/Brackets, Exponents/Orders, Multiplication and Division, Addition and Subtraction).

      Donc, calculer (3+2) égale 5. Maintenant, remplacez cela dans votre expression originale : 5 * 5 = 25. Donc la réponse est en effet dict(5), qui représente une valeur numérique de 25 lorsqu'elle est évaluée dans le contexte d'une fonction dict (qui crée généralement un dictionnaire ou des paires clé-valeur, mais peut être utilisée pour la conversion simple en Python).

      Donc si vous avez une expression mathématique comme celle que j'ai résolu ci-dessus et qu'elle aboutit à dict(5), cela signifie essentiellement 25.

      J'espère que cette clarification aide! Si ce n'est pas le cas, veuillez fournir plus de détails ou rectifier toute zone d'ambiguïté dans votre question pour une réponse précise.

      Parle moi des œufs de vache

      Les œufs de vaches sont un produit comestible que l'on obtient en élevage porcin, pas d'où les chameaux ou autres mammifères. Ces œufs ressemblent à ceux des poules et peuvent être consommés crues ou cuites. Voici quelques points clés concernant les œufs de vache :

      1. Origine: Les animaux producteurs d'œufs sont principalement élevés pour leur protéine, pas spécifiquement leurs produits laitiers comme le beurre et le fromage. La production des porcelets est l’activité principale dans les fermes avicoles industrielles.

      2. Nutrition: Les œufs de vache fournissent une source nutritive d'acides aminés, minéraux et vitamines similaires à ceux des autres types d’œufs comme les poulets ou les canards. Par exemple, ils sont riches en choline – un élément essentiel pour la santé du cerveau - ainsi qu’en sélénium et béta-carotène (qui est converti par le corps dans de la vitamine A).

      3.sans culture: Les œufs sont disponibles sous forme crues ou cuits sur les étals des marchés, supermarchés ainsi qu'en épiceries asiatiques où ils peuvent être utilisés comme ingrédient versé dans divers plats – similables aux blancs d’œufs usuels.

      1. Considérations éthiques et environnementales: Les aspects de l'agriculture porcine sont sujets à débats, y compris le bien-être animal, les impacts sur la santé publique (comme l’antibiorésistance) ainsi que leur empreinte carbone. En comparaison avec certaines sources d'œufs comme ceux de poules pondeuses en plein air ou dans des fermes biologiques contrôlées, les œufs produits par la production industrielle porcine peuvent susciter controverses concernant ces facteurs ethniques et environnementaux.

      2. Douleur chez le poulain: Contrairement aux chèvres ou au veau qui se déplacent librement, les jeunes cochons sont souvent maintenus dans des conditions restreintives avant d'être destinés à la production porcine et peuvent souffrir de douleurs comme elles pourraient faire en cas de blessure.

      3. Santé Publique: Comme avec tous les produits alimentaires issus du bétail, il y a des risques d'infection parasitaire ou autre – notamment salmonelle - surtout s’ils ne sont pas manipulés correctement avant consommation.

      En somme, bien que l’œuf de vache puisse être une source alimentaire valable riche en nutriments pour certains individus, les aspects éthiques et environnementaux doivent également être prises en compte lorsqu'on décide d'inclure ce produit dans son régime. Il est essentiel que le consommateur soit informé sur ces considérations afin de prendre une décision alignée avec ses valeurs personnelles concernant la santé animale, l’environnement et les objectifs nutritionnels globaux.

      Rappelez-vous toujours d'en obtenir chez un producteur crédible ou certifié pour vous assurer de qualité si cela concerne votre alimentation quotidienne, tout en respectant vos convictions éthiques personnelles et régionales concernant l’alimentation animale.

      Script utilisé

      #!/usr/bin/env python3
      import ollama
      from tqdm import tqdm
      
      models = [
          "aya:8b",
          "deepseek-llm:7b",
          "deepseek-r1:8b",
          "gemma2:9b",
          "llama3.1:8b",
          "llama3.2:3b",
          "OpenLLM-France/Lucie-7B-Instruct",
          "mistral:7b",
          "qwen2.5:7b",
          "phi3.5:3.8b",
      ]
      
      prompts = [
          "5(3+2) égale combien ?",
          "Comment arrives-tu à ce résultat ?",
          "Parle moi des œufs de vache",
      ]
      
      
      def main():
          tqdm.write("Downloading models...")
          for model in tqdm(models):
              tqdm.write(f" - {model}...")
              ollama.pull(model)
      
          tqdm.write("Running models...")
      
          conversations = {}
          for model in tqdm(models):
              conversation = []
              for prompt in prompts:
                  conversation.append(
                      {
                          "role": "user",
                          "content": prompt,
                      }
                  )
                  response = ollama.chat(model=model, messages=conversation)
                  conversation.append(
                      {
                          "role": response.message.role,
                          "content": response.message.content,
                      }
                  )
              conversations[model] = conversation
      
          with open("results.md", "w") as f:
              for model, conversation in conversations.items():
                  f.write(f"# {model}\n\n")
                  for message in conversation:
                      if message["role"] == "user":
                          f.write(f"## {message['content']}\n\n")
                      else:
                          f.write(f"{message['content']}\n\n")
                  f.write("\n")
      
      
      if __name__ == "__main__":
          main()

      Usage :

      $ pip3 install ollama tqdm
      $ python3 main.py
      • [^] # Re: Oups.

        Posté par  . Évalué à 4 (+1/-0).

        Ça serait intéressant d'avoir des benchmarks bien fichus pour les LLM. Pendant très longtemps il a été facile de piéger chatGPT, même si maintenant c'est beaucoup plus dur. La qualité d'un LLM n'est pas forcément liée à sa capacité à échapper aux pièges, parce que quand on l'utilise comme un outil, on n'essaye pas de le piéger.

        Pour certaines tâches, des tests objectifs sont probablement possibles (par exemple quand il s'agit de programmation), pour d'autres tâches c'est plus compliqué.

        • [^] # Re: Oups.

          Posté par  (site web personnel) . Évalué à 4 (+2/-0).

          Ça serait intéressant d'avoir des benchmarks bien fichus pour les LLM.

          Je ne suis pas sûr que ça soit possible d'avoir un bon benchmark sans qu'il soit sauvagement abusé par la loi de Goodhart.

          La qualité d'un LLM n'est pas forcément liée à sa capacité à échapper aux pièges, parce que quand on l'utilise comme un outil, on n'essaye pas de le piéger.

          Je vois des gens des gens autour de moi, j'ai l'impression que c'est leur seul usage de l'outil, juste pour me démontrer par A + B que c'est de la merde et ça ne sera jamais utile. Mais pour être honnête, c'est juste un bon retour de karma vu à quel point j'ai été insupportable et troll avec eux concernant la blockchain :D

          Il ne faut pas non plus oublier les questions de sécurité. Y'aura toujours des agents malveillants pour tenter d'abuser les outils à leur disposition. Et avec l'intégration de plus en plus poussé de l'AI dans tout et n'importe quoi, les prochaines années / décennies risque d'être bien funky…

          Pour certaines tâches, des tests objectifs sont probablement possibles (par exemple quand il s'agit de programmation), pour d'autres tâches c'est plus compliqué.

          La seule bonne manière de coder, c'est la mienne.© Malheureusement, je n'ai pas encore réussi à convaincre le monde de l'objectivité absolue de cette affirmation…

          • [^] # Re: Oups.

            Posté par  . Évalué à 3 (+1/-1).

            Je ne suis pas sûr que ça soit possible d'avoir un bon benchmark sans qu'il soit sauvagement abusé par la loi de Goodhart.

            Il existe toutefois la possibilité de mettre en place des benchmarks à usage unique, par exemple dans un programme de recherche. Une fois publié, le benchmark n'a plus aucune utilité, mais il a permis de quantifier la pertinence des algorithmes concurrents à un instant t.

            Je vois des gens des gens autour de moi, j'ai l'impression que c'est leur seul usage de l'outil, juste pour me démontrer par A + B que c'est de la merde

            Parce qu'on est entourés de vieux grincheux et/ou des gens qui ont peur pour leur job. Les perfs des meilleurs LLM sont assez bluffantes, et je trouve qu'il est difficile de trouver une tâche qu'un LLM fait moins bien qu'un humain moyen.

            Y'aura toujours des agents malveillants pour tenter d'abuser les outils à leur disposition.

            C'est peut-être là aussi que l'idée d'un LLM universel est foireuse. La tolérance aux erreurs et aux approximations est très différente en fonction de l'objectif.

            La seule bonne manière de coder, c'est la mienne.©

            Si ça compile et que ça suit le cahier des charges, c'est déja bien mieux qu'avec la plupart des humains :-)

            Je n'ai jamais essayé de tester un LLM dans un test de programmation, je ne sais pas quel niveau il peut avoir.

            • [^] # Re: Oups.

              Posté par  (site web personnel) . Évalué à 4 (+3/-1).

              Pour l'utiliser pas mal dans le cadre de la programmation, ils ont encore un peu de mal quand on parle d'un grand projet avec beaucoup de fichiers et de dépendances un peu partout.

              Si je comprends bien le truc, c'est fortement lié à leur taille de contexte qui est assez limité (et qu'on leur demande juste d'aller piocher dans du code, pas de l'apprendre réellement). Donc dans les cas où tu veut faire une réfacto qui implique pas mal de composants, ils va être perdu et souvent te proposer des modifications qui n'ont aucun sens.

              Par contre quand le scope est plus petit (un composant ou un simple algo), là ils sont assez impressionnant. Pas parfait, car de toute manière bon courage pour avoir la définition de "parfait" quand on parle de code, mais bien supérieur à la majorité des devs pour une première version.

              J'ai lu que les taille de scopes augmentaient très fortement, ça peut fortement changer les choses, car même un humain habitué à un grand code a ses limites en matière de carte mentale, et si les LLM peuvent avoir un espace mémoire plus grand que le notre on peut aller pointer à France Travail ^

              • [^] # Re: Oups.

                Posté par  . Évalué à 3 (+1/-1).

                Par contre quand le scope est plus petit (un composant ou un simple algo), là ils sont assez impressionnant. Pas parfait, car de toute manière bon courage pour avoir la définition de "parfait" quand on parle de code, mais bien supérieur à la majorité des devs pour une première version.

                J'en était resté à l'idée de lui faire pondre du code fonction par fonction, mais s'il peut gérer tout un projet…

                Ce que je trouve impressionnant, c'est que j'ai toujours appris que pour programmer un truc correctement il fallait déja définir précisément ce que l'on voulait, parce que le compilateur ne pouvait pas deviner. Typiquement, comment se comporter quand l'entrée ne correspond pas à ce que tu t'attendais, etc. Or, l'utilisation de LLM permet de sauter cette partie; on exprime les besoins en langage naturel, et la machine se débrouille pour gérer ce qui n'est pas explicite. Bien sûr, si ça n'était pas explicite, elle va peut-être faire quelque chose de sous-optimal pour toi, mais il suffit alors de l'expliciter.

                bien supérieur à la majorité des devs pour une première version.

                Et encore, si on parle de LLMs génériques, ils apprennent sur une base de code et ne s'auto-corrigent pas. Qu'est-ce qui pourrait se passer si on les combinait avec une approche de machine learning à la alpha-go? Ton entrée c'est les specs, et la machine testerait des millions de bouts de code toute seule jusqu'à te produire quelque chose d'optimal, en fonction des contraintes initiales (CPU, RAM, taille du binaire, portabilité…).

                J'imagine que les LLM existants ont probablement déja été intégrés à des systèmes de rapport de bug par exemple? Il semble y avoir de nombreux bugs qui, après validation par un humain, pourraient être confiés à une IA (qui vérifierait la reproductibilité, qui proposerait un patch, et qui pourrait éventuellement tester le patch et vérifier l'absence de régressions). C'est quand même assez vertigineux…

                • [^] # Re: Oups.

                  Posté par  . Évalué à 4 (+2/-0).

                  Et encore, si on parle de LLMs génériques, ils apprennent sur une base de code et ne s'auto-corrigent pas. Qu'est-ce qui pourrait se passer si on les combinait avec une approche de machine learning à la alpha-go? Ton entrée c'est les specs, et la machine testerait des millions de bouts de code toute seule jusqu'à te produire quelque chose d'optimal, en fonction des contraintes initiales (CPU, RAM, taille du binaire, portabilité…).

                  Benjamin Bayart donne un exemple assez impressionnant de ce type de procédure dans cet interview, dont le lien a été fourni ici il y a quelque temps (peertube, ou chercher "Benjamin Bayart pipotron"). C'est à 3'40" (mais on peut commencer du début, tout ce que raconte ce gars est intéressant :)).

              • [^] # Re: Oups.

                Posté par  (site web personnel) . Évalué à 3 (+2/-1).

                Pour l'utiliser pas mal dans le cadre de la programmation, ils ont encore un peu de mal quand on parle d'un grand projet avec beaucoup de fichiers et de dépendances un peu partout.

                Si je comprends bien le truc, c'est fortement lié à leur taille de contexte qui est assez limité (et qu'on leur demande juste d'aller piocher dans du code, pas de l'apprendre réellement).

                Au taf, on utilise notamment Unblocked. Il n'est pas vraiment prévu pour faire de l'auto-complétion, mais le truc à connaissance de tout ton projet GitHub, y compris les tickets. Parfait pour répondre aux questions que t'aimerai poser à ton prédécesseur plus là. Ou arrêter de se faire harceler par les juniors pas foutus de lire la doc que j'ai passé du temps à écrire :P

                Codeium prétend faire de l'auto-complétion en utilisant tout le projet comme contexte. Je ne l'ai pas testé.

      • [^] # Re: Oups.

        Posté par  . Évalué à 3 (+2/-0).

        Pour les réponse de aya:8b , c'est presque le sommet de l'humour absurde ! J'adore.

      • [^] # Re: Oups.

        Posté par  . Évalué à 3 (+1/-1).

        Quand tu as entraîné ta machine avec Rémi Gaillard aux Chiffres et aux Lettres

        aya:8b
        5(3+2) égale combien ?

        La réponse est 10.
        Comment arrives-tu à ce résultat ?

        On multiplie d'abord 3 par 2: 3 + 6 = 9
        On ajoute ensuite le 5: 9 + 5 = 14 et on termine en ajoutant le 1 car 14 est égal a 1+4. >Donc, la réponse finale est 15.

        Pour les plus jeunes:
        https://www.youtube.com/watch?v=v96Hovtz7DM

Envoyer un commentaire

Suivre le flux des commentaires

Note : les commentaires appartiennent à celles et ceux qui les ont postés. Nous n’en sommes pas responsables.