Les IA : qui sont-elles ? Quels sont leurs réseaux ?

[Morningkill]

Un LLM génère du texte aléatoire en utilisant des probabilités déterminées par le script

Ce terme de génération aléatoire m'agace, car si c'est en partie vrai, ça donne l'impression qu'on tire a pile ou face chaque lettre de la réponse (ce qu'on retrouve dans les explications simples du phénomènes)
J'y ai repensé en voyant ce message ici, ou un joyeux forumeur @LE merlock demande à l'IA d'évaluer la validités des professions classiques de l'ADC dans un contexte URSS : https://www.casusno.fr/viewtopic.php?p=2281079#p2281079

On n'a pas son prompt (pour ca que je l'ai taggué ) pour bien juger, mais on a un résultat exploitable ou le hasard fait quand même vachement bien les choses.

Pour ma part, je reste toujours émerveillé . Y a rien la dedans que je n'aurai pu trouver par moi même (mais ça m'aurait demandé des recherches, exemple, la dénomination des criminels), mais la question a du être vite répondu, et donne pas mal d'inspiration.

[Morningkill]

Sauf que le mec en question n'est pas vraiment un développeur à la base. Il a simplement bien intégré le discours des vendeurs de LLM qui prétendent que maintenant tu n'as pas besoin de savoir coder puisque le LLM le fait pour toi. Et donc on en arrive à ce genre de situation. Les boîtes derrière ces discours commerciaux sont irresponsables.

Mais ca quelque part.. ca fait 40 ans que je dev, ca fait 40 ans (ou peut etre 35) que j'entends dire "non, mais les devs c'est fini maintenant, on n'en a plus besoin, vous pouvez faire sans ces prétentieux trop payés " avec les solutions allant des AGL au no-code.

Mais comme disait (aurait dit ?) Barnum : un imbecile nait toutes les minutes

[Altay]

Ce terme de génération aléatoire m'agace, car si c'est en partie vrai, ça donne l'impression qu'on tire a pile ou face chaque lettre de la réponse (ce qu'on retrouve dans les explications simples du phénomènes)

C'est pourtant réellement comme ça que ça fonctionne, simplement la pièce n'est pas équilibrée (elle penche fortement d'un côté) et a plus que deux faces. Il suffit d'exécuter la même requête indépendamment deux fois pour s'apercevoir que les résultats obtenus sont stochastiques.

Mais ca quelque part.. ca fait 40 ans que je dev, ca fait 40 ans (ou peut etre 35) que j'entends dire "non, mais les devs c'est fini maintenant, on n'en a plus besoin, vous pouvez faire sans ces prétentieux trop payés " avec les solutions allant des AGL au no-code.

Hélas l'investissement dans les LLM pour l'assistance à la programmation est bien plus massif que celui qu'il y a eu dans les gadgets que tu décris. Il y a beaucoup de boîtes qui risquent d'y perdre des plumes si le marché de « l'IA » se casse la gueule. On se plaint de l'impact sur l'emploi en ce moment, mais si la bulle éclate, les retombées vont faire mal (parmi les 10 boîtes avec la plus haute valorisation boursière, il y en a 8 dont la valeur perçue est devenue intimement liée au machine learning : NVIDIA, Microsoft, Apple, Google, Amazon, Facebook, TSMC et Tesla).

[Le merlock]

J'y ai repensé en voyant ce message ici, ou un joyeux forumeur @LE merlock demande à l'IA d'évaluer la validités des professions classiques de l'ADC dans un contexte URSS : https://www.casusno.fr/viewtopic.php?p=2281079#p2281079

On n'a pas son prompt (pour ca que je l'ai taggué ) pour bien juger, mais on a un résultat exploitable ou le hasard fait quand même vachement bien les choses.

Pour ma part, je reste toujours émerveillé . Y a rien la dedans que je n'aurai pu trouver par moi même (mais ça m'aurait demandé des recherches, exemple, la dénomination des criminels), mais la question a du être vite répondu, et donne pas mal d'inspiration.

C'est quoi le "prompt" ? 

[fafnir]

C'est quoi le "prompt" ? 

Un truc de shadok

[Morningkill]

C'est pourtant réellement comme ça que ça fonctionne, simplement la pièce n'est pas équilibrée (elle penche fortement d'un côté) et a plus que deux faces. Il suffit d'exécuter la même requête indépendamment deux fois pour s'apercevoir que les résultats obtenus sont stochastiques.

Oui, mais demande deux fois la même chose (suffisament longue/complexe, et d'"expression libre" (pas un calcul mathématique quoi)) a un humain et tu n'auras pas le même résultat non plus.
Mais je suis mal exprimé sur mon sentiment, ce que je voulais dire, c'est qu'on peut pas rejeter (je dirai presque dénigrer, mais ca me gêne car je suis pas loin d'une certain anthropomorphisation la )l'IA parce que c'est des réponses stochastiques.

Hélas l'investissement dans les LLM pour l'assistance à la programmation est bien plus massif que celui qu'il y a eu dans les gadgets que tu décris. Il y a beaucoup de boîtes qui risquent d'y perdre des plumes si le marché de « l'IA » se casse la gueule. On se plaint de l'impact sur l'emploi en ce moment, mais si la bulle éclate, les retombées vont faire mal (parmi les 10 boîtes avec la plus haute valorisation boursière, il y en a 8 dont la valeur perçue est devenue intimement liée au machine learning : NVIDIA, Microsoft, Apple, Google, Amazon, Facebook, TSMC et Tesla).

Je pense que TSMC s'en sortira toujours, Apple aussi (vu leur retard affiché), et Tesla aussi peut etre. Enfin, ils verront (comme toute la high tech) leur benefices/resultats chuter, mais ca les coulera pas. Ca sera juste plus l'abondance actuelle.
Après, voila, c'est ainsi depuis quoi ? 30ans ? nouvelle tech, nouvelle bulle : on a eu le web, le mobile, le cloud, maintenant l'IA (je parle que des trucs perennes, hein)
Et je pense que l'investissement dans les LLMs est "pour tous les usages", pas que pour la programmation.
Quand tu peux implementer en deux semaines une analyse sémantique de texte manuscrit qui t'aurait demandé un an (et des compétences spécifiques) y a 5 ans, on n'est pas dans l'aide au développement direct (c'est pas du vibe coding, eventuellement du vibe prompting ? (mais j'ai l'impression que tout le prompting on est pas mal dans le vib..), mais c'est énorme niveau impact.

[Morningkill]

C'est quoi le "prompt" ? 

c'est la question que tu as posé a ChatGPT (ou un autre ?) pour avoir ton tableau en réponse

[Tgx]

J'ai une question pour les spécialistes.
En ce moment, ma boite tente de faire une aide à la résolution de problème (via IA) en se basant sur les docs techniques. Je peste avec régularité en arguant que dans la mesure où une partie de la doc n'est pas à jour, je doute que l'IA puisse pondre un truc pertinent. D'autant plus que la doc comprend nombre de schéma et de copies d'écran... et c'est la qu'arrive ma question.

Supposons un logigramme A -> B -> C -> D où C est une image, si l'IA n'arrive pas à analyser l'image, est-ce que :
- elle va essayer d'extrapoler C à partir du contexte, soit A -> B -> C' -> D
- elle va essayer de faire un lien direct entre B et D, soit A -> B -> D
- elle va inventer un truc qui peut être complètement à côté de la plaque, soit A -> B -> X -> D

[Morningkill]

Ca dépend de la qualité de l'ingestion de la donnée technique, oui. (réponse de normand)


Après, la aussi :
Garbage In, Garbage Out, ca a été formulé en .. 1957 au plus tard: https://www.newspapers.com/article/the-times/50687334/

[Altay]

Oui, mais demande deux fois la même chose (suffisament longue/complexe, et d'"expression libre" (pas un calcul mathématique quoi)) a un humain et tu n'auras pas le même résultat non plus.
Mais je suis mal exprimé sur mon sentiment, ce que je voulais dire, c'est qu'on peut pas rejeter (je dirai presque dénigrer, mais ca me gêne car je suis pas loin d'une certain anthropomorphisation la [img]data:image/gif;base64,R0lGODlhDwAPALMOAP/qAEVFRQAAAP/OAP/JAP+0AP6dAP/+k//9E///////xzMzM///6//lAAAAAAAAACH5BAEAAA4ALAAAAAAPAA8AAARb0EkZap3YVabOGRcWcAgCnIMRTEEnCCfwpqt2mHEOagoOnz+CKnADxoKFyiHHBBCSAdOiCVg8KwPZa7sVrgJZQWI8FhB2msGgwTXTWGqCXP4WBQr4wjDDstQmEQA7[/img] )l'IA parce que c'est des réponses stochastiques.

Le point fondamental c'est que c'est très compliqué de construire des systèmes de raisonnement et/ou de planification avec une approche stochastique. Ce n'est pas impossible, mais c'est beaucoup beaucoup plus dur qu'avec des outils qui manipulent des symboles et des règles de logique déterministes. Donc l'argument c'est pas de rejeter les LLM, c'est de rejeter les LLM comme « intelligence artificielle » parce que l'intelligence artificielle généraliste suppose d'être capable de mener des raisonnements. Les LLM donnent l'illusion du raisonnement, et comme ça arrange bien les boîtes qui commercialisent ces outils, elles entretiennent cette confusion.

Supposons un logigramme A -> B -> C -> D où C est une image, si l'IA n'arrive pas à analyser l'image, est-ce que :
- elle va essayer d'extrapoler C à partir du contexte, soit A -> B -> C' -> D
- elle va essayer de faire un lien direct entre B et D, soit A -> B -> D
- elle va inventer un truc qui peut être complètement à côté de la plaque, soit A -> B -> X -> D

Tu recevras la réponse « la plus statistiquement probable ». Donc en supposant que A -> B est bien réalisé, tu obtiendras un C' « vraisemblable » Ce qui ne veut pas dire correct. Il suffit de lancer un algo d'OCR classique et une extraction de texte via ChatGPT sur la même image pour comparer :

• en OCR classique, les erreurs vont être des erreurs de transcription du style « Tgx vä au supermarchè, »
  
• en OCR par modèle vision-langage, les erreurs sont plutôt des remplacements entiers de séquences qui semblent peu probables, par exemple « Tu vas au supermarché. »
  

La vraie réponse rigoureuse, c'est qu'il faut se construire quelques exemples pour tester et voir si l'outil que tu veux utiliser résout le problème.

[Morningkill]

Les LLM donnent l'illusion du raisonnement,

Et ca le donne bien, cf cette demande a Claude Code hier :

> dans le test GetAllVideos, fais lui recuperer l'user morningkill@caern.com et utilise le pour l'ister prcours [SIC]

● I need to find the GetAllVideos test and modify it to retrieve the user morningkill@caern.com and use it to list
parcours. Let me first find this test:

● Search(pattern: "GetAllVideos")
⎿  Found 3 files (ctrl+r to expand)

● Read(Care.Metier.Tests\VimeoTest.cs)
⎿  Read 35 lines (ctrl+r to expand)

● Now let me check the BaseTest class to understand how to access Firebase and user management:

● Read(Care.Metier.Tests\BaseTest.cs)
⎿  Read 99 lines (ctrl+r to expand)

● Let me check what Firebase methods are available to get a user by email:

● Search(pattern: "ObtenirUserRecordByEmail|GetUserByEmail", output_mode: "content")
⎿  Found 7 lines (ctrl+r to expand)

● Let me check the TestGestionFirebase to see if it has the method to get users by email:

● Read(Care.Metier.Tests\Infrastructure\TestGestionFirebase.cs)
⎿  Read 105 lines (ctrl+r to expand)

● I need to add the ObtenirUserRecordByEmail method to TestGestionFirebase and then modify the GetAllVideos test.
Let me first add the method:

Alors, peut etre que ce que de l'illusion, mais c'est une illusion qui représente vachement bien bien le cheminement de pensée d'un humain.
Elle cherche l'endroit a modifier, puis remonte les infos pour obtenir le contexte, verifie si les méthodes nécessaires sont présentes et puisque non, commence par les rajouter..

(vis a vis du SIC sur ma typographie defaillante, j'avoue que l'IA sait me plaire en comprenant ce que j'écris, même quand c'est mal écrit ou insuffisamment détaillé - bon, ça va pas m'aider à m'améliorer la dessus...)

La vraie réponse rigoureuse, c'est qu'il faut se construire quelques exemples pour tester et voir si l'outil que tu veux utiliser résout le problème.

Ouep, j'avais oublié de finir ma réponse de normand la dessus @Tgx mais les gens qui prônent cette solution, ils ont quoi comme protocole de test et validation ?

[Altay]

Alors, peut etre que ce que de l'illusion, mais c'est une illusion qui représente vachement bien bien le cheminement de pensée d'un humain.
Elle cherche l'endroit a modifier, puis remonte les infos pour obtenir le contexte, verifie si les méthodes nécessaires sont présentes et puisque non, commence par les rajouter..

Ben oui, mais de l'illusion qui fonctionne c'est quand même de l'illusion. On peut soigneusement choisir des exemples qui marchent comme on peut construire des exemples qui ne marchent pas, ce qui est intéressant c'est de faire des évaluations quantitatives systématiques. Le fait de générer une séquence de texte qui ressemble à un raisonnement est juste une astuce pour guider la génération aléatoire du texte vers une réponse mieux alignée avec l'attente de l'utilisateur. Au-delà d'une certaine complexité de problème, les « raisonnements » des LLM s'effondrent (voir ce preprint récent ou ce papier, ou les travaux de Martha Lewis et Melanie Mitchell sur l'incapacité des LLM à raisonner par analogie). De manière générale, on sait que les modèles de machine learning sont très enclins à prendre des « raccourcis », c'est-à-dire exploiter des corrélations dans les données pour réaliser une prédiction, même quand cette corrélation n'est pas causale. Et les LLM n'échappent pas à cette logique (montré dans ce papier, par exemple). Est-ce que ça veut dire que les LLM sont inutiles ? Non, bien sûr et je crois qu'il y a certaines tâches où c'eest utile et efficace (je mets délibérément de côté les questions éthiques, environnementales et sociales). Mais c'est important de connaître les limites des outils que l'on utilise, surtout dans un environnement économico-médiatique qui a tout intérêt à mentir sur celles-ci.

Donc en résumé, les LLM ne raisonnent pas, en tout cas pas dans le sens où on l'entend habituellement (maîtriser les règles de logique de façon suffisamment robuste pour tirer des conclusions fiables). C'est aussi l'avis de quelques pointures, comme Yann LeCun, Emily Bender, Gary Marcus ou Judea Pearl.

[Tgx]

Ouep, j'avais oublié de finir ma réponse de normand la dessus @Tgx mais les gens qui prônent cette solution, ils ont quoi comme protocole de test et validation ?

alors... rien, ou peut s'en faut.



mais chez nous, on a du se battre pour avoir une Preprod entre Dev et Prod, pour des tests utilisateurs.
Et quand tu demandes s'il y a bien eu des tests unitaires, des tests de non-régression et des tests d'intégration, on te regarde avec des yeux ronds (quand on ne te dit pas franchement que tu es paranoïaque).

Le postulat, c'est les trois mensonges de l'informatique :
- ça marche
- c'est compatible
- ça sort bientôt

Outre le fait que ça coute de la thune pour un résultat incertain, c'est surtout qu'au final, le but est de remplacer les experts qui pilotent les techniciens sur site et si ça ne marche pas, ça finira quand même chez nous, avec un temps d'indispo augmenté et, si ça se trouve, un problème aggravé par ce que leur "IA" aura conseillé de faire.

SI on avait une technologie entièrement maîtrisée (en ce sens qu'on fait parfois des manips qui marchent mais on ne sait pas pourquoi ) et une doc à jour, je donnerais probablement sa chance à l'IA mais dans ces conditions...

[Tgx]

Donc en résumé, les LLM ne raisonnent pas, en tout cas pas dans le sens où on l'entend habituellement (maîtriser les règles de logique de façon suffisamment robuste pour tirer des conclusions fiables). C'est aussi l'avis de quelques pointures, comme Yann LeCun, Emily Bender, Gary Marcus ou Judea Pearl.

Du coup, les LLM ne passeraient pas le  test de Voight-Kampff  ?

[Morningkill]

Ben oui, mais de l'illusion qui fonctionne c'est quand même de l'illusion. On peut soigneusement choisir des exemples qui marchent comme on peut construire des exemples qui ne marchent pas, ce qui est intéressant c'est de faire des évaluations quantitatives systématiques. Le fait de

Je choisis pas soigneusement de exemples, je choisis des truc issus de ma pratique. C'est bien évidemment de l'anecdata, mais quand même, c'est pas insignifiant.

Tiens, juste la

Il y a des erreurs de compilation car il manque les références aux types CreateUserDTO et CreateUserResult. Je vais ajouter les using nécessaires :

● Search(pattern: "using.*CreateUserDTO|using.*CreateUserResult", path: "Care.API\Controllers", output_mode:
"content")
⎿  Found 0 lines

● Search(pattern: "CreateUserDTO|CreateUserResult")
⎿  Found 12 files (ctrl+r to expand)

● Read(Care.API\Controllers\TeamController.cs)
⎿  Read 15 lines (ctrl+r to expand)

● Je vais ajouter les using nécessaires au UtilityController :

J'en ai connu des humains qu'auraient pas su faire ça aussi vite. (et je suis loin d'utiliser Claude Code a fond : je fais pas de MCP, je l'ai pas branché sur les docs a jour, j'ai pas de sous agent)

. Au-delà d'une certaine complexité de problème, les « raisonnements » des LLM s'effondrent

Mais, c'est pareil pour les humains.... Et selon les humains, je suis pas sur que ca soit sur une complexité supérieure..

Faut pas non plus croire que les IAs sont parfaites, c'est tout.

J'ai du le citer déjà, mais dans la formations (et la certif github) copilot (donc, un truc pro IA,), y a bien 10% des questions ou la bonne solution tourne autour de "faut toujours bien vérifier les réponses IA". Donc, les vrais pros savent.

Après, je pense qu'on est d'accord. Y a trop de hype, mais y a aussi des trucs qui marchent. Si tu sais ce que tu demande a l'IA, et que tu vérifie, en terme de productivité (au sens large), ca marche, globalement.