Ça me rappelle les articles sur la conduite autonome et le deep où des indiens étaient payée une misère pour labelliser des heures et des heures d’enregistrement vidéo.
Il y a une raison derriere la blague de mauvais gout qui dit AI ca veut dire « Actually, Indians ».
- Yann LeCun a tenu à tempérer les ardeurs qui agitent le Web depuis le lancement de ChatGPT, à la fin novembre
- les biais de ChatGPT
Le gars du CNRS interviewé par Sonia Devillers à ce propos a une formulation que je trouve pertinente pour expliquer comme fonctionne ChatGPT: elle fait de la génération probabiliste de texte selon ce qu’elle a appris. Ca explique pourquoi elle peut sortir des grosses erreurs sans broncher.
(Je connais pas du tout le monde du ML et donc si vous avez des liens qui explique comment ça fonctionne je suis preneur).
Je pense que openAI et GPT3.0 apportent quelque chose de vraiment nouveau, à partir du moment où on ne cherche pas à lui faire faire n’importe quoi:
Oui, il fait des erreurs (les fameuse « hallucinations »). Mais elles peuvent être réduites de plusieurs façons:
- En lui disant de dire qu’il ne sait pas si il n’est pas sûr de la réponse
- En baissant la « température » au minimum (c’est un paramètre de GPT3 qui n’est pas exposé dans ChatGPT qui permet de régler la « créativité » du texte généré).
- En lui fournissant plus de contexte dans la question quand c’est possible.
Et surtout il faut arrêter de prendre GPT pour Google, ce n’est pas un moteur de recherche.
À l’autre bout du spectre, il y a ceux qui disent « mais GPT il sait juste générer du texte et recracher des trucs qu’il a déjà vu avant, c’est pas très utile si tu veux faire autre chose qu’un pipotron shooté au deep learning » . C’est passer à côté de ce qui pour moi fait l’intérêt de GPT3, c’est à dire sa capacité à pouvoir executer une tâche simple en lui fournissant juste quelques exemples.
Par exemple, si vous avez une appli qui a un Dashboard qui peut montrer des widgets à partir de sources de données (genre Dashboard PowerBI), et que chaque widget est défini par un object JSon (type de graphe, table & colonnes utilisées pour les differentes dimensions), vous pouvez faire les appels GPT3 suivants pour générer automatiquement un widget à partir du titre (genre: « camembert de répartition des ventes pour l’année 2022 par région »)
1)
Voici la liste des sources de données disponibles: <...> Voici quelques exemples de titres de widgets et la source de donnée qu'ils utilsent:
Titre 1: source X
Titre 2: source Y
Titre 3: source Z
camembert de répartition des ventes pour l'année 2022 par région:
Et GPT3 va retourner la meilleure source de données potentielle en fonction du titre du widget.
2) Ensuite on peut recommencer pour choisir le type de widget (camembert, bar chart, liste, etc.)
3) Enfin on peut terminer en lui donnant directement des exemples de définition du widget en JSon ainsi que la liste des colonnes disponibles dans la source de données sélectionnées en 1) , et voilà, on peut directement avoir un widget fonctionnel juste avec le titre.
C’est pas juste des affabulations, j’ai vu un prototype faire ça avec GPT3 et construire un dashboard avec 6 graphes juste en rentrant les 6 titres.
Toute tâche qui prend du texte/code en entrée et sort du texte/code en sortie a des chances de pouvoir être automatisée de la sorte, en particulier si elle peut être décomposée en tâches plus simples.
Et pour finir, concernant l’article « Il n’y a rien de révolutionnaire » qui cite Yann LeCun, sommité du domaine: En effet, il n’y a rien de vraiment neuf ici, mais il y a des points qui font que OpenAI+GPT se démarquent :
- C’est simple à utiliser. Il n’y a pas besoin d’être un Data Scientist avec une expertise an IA. C’est juste des appels REST avec du texte en entrée et en sortie, avec des libs qui vont bien en Python et JS pour utiliser ça.
- Il y a Microsoft qui va investir un paquet de brouzoufs et qui fournit l’infra pour faire tourner tout ça (Azure). Il viennent même de proposer des modèles GPT3 directement disponibles sur des environnements Azure, donc sans avoir à envoyer ses données à OpenAI - c’est indispensable pour une utilisation en entreprise pour peu que tes données soient un mimimum sensibles.
- Avec l’investissement de Microsoft, il y a un fort apport de crédibilité - il y a plein de boîtes qui te fournissent des APIs de ML/AI en ligne, mais combien seront encore là dans quelques années?
- ChatGPT a été un coup de marketing magistral, et comme pas grand monde dans le grand public ne connaissait openAI avant ça (contrairement à Meta ou Google), il y a moins de risques de bad buzz. Je pense que les équipes IA chez Google/Meta doivent l’avoir mauvaise car techniquement ils peuvent faire presque pareil, mais ne peuvent pas se permettre de prendre des risques pour l’image de leur boite.
Au final on verra si ça fera pshiiit et qu’on retombera dans un nouvel hiver de l’IA… ou pas. Je pense qu’on aura la réponse d’ici la fin de l’année, on y sera vite 
Entièrement d’accord avec ce que tu dis dans la dernière partie, c’est clair que ChatGPT n’a rien de neuf scientifiquement mais tout l’enrobage pour le public et les entreprises en font quand même une petite révolution. Concernant l’avis de Yann LeCun, je ne peux pas m’empêcher d’y voir un peu de la jalousie.
Clair, mais il y a aussi la frustration de n’avoir pas pu le faire plutôt que la jalousie de ne pas l’avoir fait, comme le laisse penser ce tweet:
https://twitter.com/ylecun/status/1617804305456836609
Je comprends que les grosses boites aient bridé les démos publiques de leurs équipes d’IA après les bad buzz du chatbot nazi de Microsoft et de l’illuminé de Google qui claironnait partout qu’ils avaient une IA sentiente.
Dans tous les cas, GPT3/ChatGPT rebattent les cartes et mettent un bon coup de pied dans la fourmilière de l’IA. Je ne sais pas encore si la direction est bonne ou pas, mais au moins ça avance
Je ne sais pas si ça a vraiment sa place ici vu que ça ne parle pas de l’aspect technique du deep learning mais plutôt de l’impact societal de l’AI, mais j’ai trouvé ça intéressant:
Un document du gouvernement de Singapour pour aider à appréhender la façon dont l’AI va impacter le monde du travail:
Et pour rester sur le sujet de ChatGPT, une cheat sheet qui aidera à créer des prompts qui marchent mieux:
C’est assez différent des style de prompts qu’on a pris l’habitude d’écrire pour obtenir des bonnes répsonses sur Google ou Stackoverflow, donc il y a tout un apprentissage à refaire.
Vous prêtez des intentions ou des états d’esprit aux gens oO.
Il faut simplement se rappeler qu’il est en service commandé de son employeur, où en ramenant chatGPT à la confluence de choses existantes déjà, il en profite à la rigueur peut-être pour donner un coup de griffe aux concurrents.
Et un projet de confluence n’est jamais une mauvaise chose sauf si le marketing en fait trop. L’avenir nous dira si cela aura été oublié dans peu de temps ou si c’est un point de départ dans la façon d’utiliser l’IA autrement
Mais lol … soyons sérieux deux minutes… il est loin d’être le seul à pas se faire embarquer dans la hype intéressée et crée de toute pièce autour du truc.
Je suis le premier à dire comme lui, rien n’est fondamentalement révolutionnaire. Mais je m’attendais plutôt à ce qu’il soit content de voir l’IA percer auprès du grand public, par le passé il avait plutôt une attitude « d’évangéliste ».
Pour l’avoir rencontré quelques fois, je pense pas à de la jalousie. Il est peut-être juste blasé.
Ce matin, une émission sur l’IA, dans la matinale de France Inter.
Je me dis « Ho, punaise, ça va encore être la fête du nawak… »
Les invités :
- Cédric Villani : Ancien député et mathématicien, médaillé Fields en 2010
- Isabelle Ryl : Directrice de l’INRIA
- Cécile Badoual : Cheffe de service en Anatomo-pathologie à l’hôpital Pompidou
Première intervention de Cédric VILLANI :
« L’IA, ce n’est pas de l’intelligence. Ça s’apparente plus à de la statistique. »
Ah, ben, en fait, il y avait du contenu vraiment construit et loin du bla bla médiatique habituel…
A écouter ici (26min) :
Ha j’ai entendu le lancement ce matin mais je n’ai pas pu l’écouter!
Merci pour le rappel
Trouvé sur LinkedIn mais je n’ai pas trouvé l’auteur.
En tout cas marrant d’illustrer à la manière des éditions O’Reilly avec un paresseux.
Un article très intéressant (payant).
Sur l’origine et la gestion des données d’apprentissage. Venant du monde de l’Informatique Décisionnelle, où potentiellement on agrège des données hétérogènes et on vérifie leur cohérence, ça me parle pas mal.
Dans sa Carte blanche au « Monde », Nozha Boujemaa, spécialiste de l’éthique de l’IA, aborde un pan trop négligé, à ses yeux, de la révolution algorithmique : la fiabilité des données, carburant d’une IA dite « de confiance ».
Les dev front en sueurs :