IA, éthique, tout ça

:rofl:

5 « J'aime »

Mouais ça irait mieux dans le thread Trucs complètement idiots, mais je devais poster voir même un thread à part si tu comptes poster toutes les générations d’images IA foireuses.

Nan, juste une de temps en temps, pour bien rappeler de quoi on parle. :wink:

2 « J'aime »

On sait de quoi on parle je pense, vu que c’est partout, tout le temps.

Et Claude 3.5 ne voit pas de probleme sur l’image tant qu’on le met pas clairement sur la piste. Ca serait interressant de comprendre pourquoi il ne semble pas correctement analyser la position du feu de camp dans l’image mais que par contre il s’etonne que la campeuse soit bien coiffée :sweat_smile:

C’est je pense potentiellement lié à la manière dont les images sont « embedées » pour être passées au modèle qui fait perdre une partie des infos de positionnement des différentes partie de l’image les unes par rapport aux autres. Par contre je m’explique pas trop pourquoi il semble « comprendre » le problème de positionnement quand je le mets sur la piste (ou alors peut être qu’il ne le comprend toujours pas mais qu’il m’a juste fait une réponse logique quand on parle de problème avec un feu en camping)

1 « J'aime »

Pour moi, il ne « comprend » rien. J’avais fait quelques expériences avec ChatGPT à l’époque, en lui demandant de m’inventer des noms de personnages sur base de prérequis que je lui avais indiqué.

Que ses réponses fussent adéquates (alignées avec mes prérequis) ou pas, si je lui disais qu’il se trompait, il admettait systématiquement s’être trompé et reformulait de nouvelles propositions, ce qui me laisse penser qu’il est principalement conditionné par le langage utilisé (et pas par les faits). Ce qui au final n’est pas surprenant dès qu’on se souvient que ces chatbots sont avant tout des moteurs de conversation, et pas de réflexion.

Le plus drôle était de le retoquer quand ses réponses étaient bonnes, de le voir s’excuser et de me proposer en lieu et place une réponse… erronnée. :smiley:

1 « J'aime »

Oui je suis d’accord avec le fait qu’ils ne « comprennent » pas…mais ils ne disent pas non plus n’importe quoi en ignorant totalement les faits. Sa première réponse est quand même cohérente et logique par rapport à l’image que je lui ai passé même si il est passé à coté de l’élément majeur. Et quand je le met sur la piste et qu’il reconnait son erreur (ce qu’ils font effectivement très souvent mais ca c’est juste lié aux données utilisées pendant la partie RLHF de l’entrainement pour leur donner un coté plus « humain ») il fait la aussi une réponse quand même très adaptée à l’image.
Et oui ils sont bien sur très influencés par le langage utilisé, il suffit parfois de juste changer un mot dans un prompt pour totalement changer une réponse.

Nop. Ca c’est un GPT renforcé pour la conversion (avec un renforcement supervisé).

Un llm c’est un générateur de suite de token.

On voit bien la différence sur le playground d’openai entre les différents modèles. Tu peux faire un essai avec gpt3.5 et gpt3.5-instruct

Je ne sais pas de quelle différence tu parles, mais 3.5 a toujours le même comportement.

mais en effet, c’est juste débile ce comportement!
Et si on lui demande « Does Digital Love Concerts make the acronym DLC? » il répond quoi?

Il va répondre « Oui » sans doute appuyé d’un « c’est un bon choix » ou « c’est une bonne idée ».

Je pense que @Ewi fait référence à ca quand il te parle du playground https://platform.openai.com/playground/
Ca te permet d’expérimenter avec les modèles de manière un peu plus « brut » qu’en passant par l’ui chatgpt.

Pour l’exemple que tu présentes c’est typiquement une tache très difficile pour un LLM de par leur manière de fonctionner par token. Les llm ne travaillent pas au niveau des lettres mais des tokens (qui representent globalement un mot ou un « bout » de mot) et que ces tokens sont produit par le llm l’un apres l’autre (lorsque le llm sort le 2eme token il n’a pas de representation interne de ce qu’il va vouloir dire avec le 3eme ou le 4eme token. Pour produire le 3eme token il regardera juste tous les tokens qu’il a produit avant. Pour ca qu’ils ont beaucoup de mal à faire des charades, des rebus, des contrepèterie, de l’arithmétique (un papier montrait d’ailleurs qu’ils etaient moins nul si on leur demandait de produire les nombres « à l’envers » parce que plus simple de par leur mode de fonctionnement de produire d’abord le chiffre des unités avant celui des dizaines ou des centaines).

Et le fait que chatgpt ou autre outil de ce type soit tellement tenté de s’excuser et de reconnaitre des erreurs (meme quand elles n’en sont pas) ne vient pas vraiment du llm en lui meme mais juste de l’entrainement qu’il y a eu apres. Comme il sort beaucoup de connerie il a « appris » pendant cet entrainement supplémentaire a justement dire « ah oui oui j suis con » mais sans bien sur comprendre pourquoi.

J’entends bien et je comprends l’explication technique derrière ce type de comportements, mais ça reste cocasse de voir qu’un outil présenté comme intelligent part en sucette dès qu’on le met face à un processus logique de contradiction aussi simple à résoudre.

video interressantes sur les RAG et pourquoi ca produira forcement de la merde si on les utilise pas en comprenant leurs limitations

Pour faire simple, tu as des gens qui « spécialisent » un LLM pour en faire un GPT.
Tu vois la difference entre chatGPT, entraîné pour converser et GTP-instruct entrainé pour suivre des instructions.

Si demain, t’as openAI qui décide de spécialiser son LLM vers un GPT-Go, ou GPT-starcraft, ils seront nul au monopoly.

Si demain t’as openAI qui décide de spécialiser son LLM sur la génération d’acronyme, t’aura plus jamais ce genre d’erreur :slight_smile:

Je crois qu’on est tous (ici) sur la meme longueur d’onde. Le ML c’est du ML… rien de plus.

1 « J'aime »

Petit passage par ChatGPT 3.5 ce jour.
J’ai plein de nombres dans un tableur, et un résultat à obtenir…
Je m’y casse les dents sur mon tableur excell. Je tente le Chatbot.
Peux-tu me trouver comment obtenir XXX en additionnant certains des nombres suivants….
En 5 secondes, j’ai ma solution là où je me suis arraché les cheveux plusieurs dizaines de minutes dans mon tableur….

Ok, j’ai un second nombre à trouver, donc même prompt mais pour trouver YYYY….

Et là, il me sort une liste de mes nombres, en me disant qu’en les additionnant j’arrive à YYYY. Et bien en fait pas du tout…. J’ai du mal à comprendre comment ça peut aboutir sur ce type d’erreur avec des chiffres.

Parce que c’est de la génération de texte, pas du calcul.

6 « J'aime »

:popcorn:

2 « J'aime »

Je crois que l’éthique s’est définitivement fait la malle… :expressionless:

4 « J'aime »