Les bonnes réponses sont filtrées par le llm lui même…
Cet article n’est bien sur par là pour montrer que gtp4o est une AGI mais montre plutôt qu’il est extrêmement difficile de concevoir un benchmark qui serait une preuve d’intelligence et de capacité de raisonnement. Ca montre aussi qu’utilisé d’une certaine manière les llm sont capable de s’attaquer à des taches qu’on pensait hors de leur capacité. Et je pense que ca montre aussi que l’ « AGI » n’arrivera pas d’un coup du jour au lendemain avec une nouvelle architecture de modèle qui change totalement la donne mais plutôt de manière diffuse avec des systèmes capable de résoudre des taches de plus en plus en complexes et variées.
Aujourd’hui, l’archi qui marche c’est LLM-Agent et dans cette archi, ce qui compte c’est le « consensus » que tes agents vont attendre (consensus, délibération ou vote, y a plein de méthodes). Le choix de ces méthodes peuvent être confié a un LLM (ou non). L’intérêt, c’est que dans ces multiples appels, tu interroges plusieurs types de LLM (car LLM, c’est comme dire « patate », y a plein de variétés derrière…).
Pour en revenir a ta comparaison, c’est comme si plusieurs personnes se réunissaient pour traiter un problème commun. On fait un tour de table et a la fin, y a une solution qui sort. C’est pas débile dans le monde physique, pourquoi ca le serait avec des agents?
Ici comme c’est logiciel, ta réunion, elle se fait avec autant de participant que ta CB le permet. Tu peux meme ajouter un agent « débile » qui prend le 1er résultat d’un moteur de recherche histoire de faire douter les autres agents.
« Everyone is talking about Retrieval Augmented Generation, but most companies don’t actually have any internal documentation worth retrieving. Fix. Your. Shit. »
Ouhla, plein de trucs mélangés qui confondent tout. On reprend parceque la partie sur les robots.txt c’est pareil que l’article déjà linké au-dessus. WIRED le confirme d’ailleurs dans la description de leur « experience »:
Immediately after a WIRED reporter prompted the Perplexity chatbot to summarize the website’s content, the server logged that the IP address visited the site.
Le prompt utilisé demande précisément de résumer une url. C’est un simple wget pour récupérer le contenu. Bref, rien qui en temps normal nécessite un robots.txt
Je remarque qu’il n’y a jamais d’expérience qui pose une question générique où WIRED aurait un bon SEO pour voir si Perplexity de lui-même va crawler le site. Parceque là, oui, il n’y aurait pas respect du robots.txt
Dans les articles linkés d’Engadget on trouve des takes du genre:
Its AI bots are copying hard-paywalled content without proper attribution
It’s resulting in a loss of advertising revenue or ability to reach subscribers
Là aussi je suis perplexe. Comment un crawler pourrait accéder à du contenu derrière un Paywal? Et l’article auquel font référence Wired, Engadet et autres disait justement que Perplexity faisait du headless. Donc les pubs seraient bien affichés…
En fait le vrai intérêt pour ces boîtes il est ici:
At a $1 billion valuation, Perplexity AI has offered us and our peers exactly $0
Même combat que pour récupérer de la thune chez Google News.
Parceque LA feature de Perplexity qui pose problème c’est celle-là: https://www.perplexity.ai/page/Eric-Schmidts-AI-boKJzWQcRFmCLk5XjgKJEQ
Pouvoir compiler plusieurs recherches dans une URL publique.
Les sources, quoi qu’en pense Forbes, sont bien citées et mises en évidence.
Mais une fois que tu as un résumé, il n’y a plus besoin de lire l’article originel. On est très loin des 3 lignes dans Google News ou dans un lecteur RSS.
En même temps, est-ce différent d’un blog qui analyse l’actu ou d’un Wikipedia? J’en sais rien, je n’ai pas la réponse.
Et pour finir sur les accusations de « plagiat » parceque les résumés sont trop proches c’est vrai qu’il est difficile de re-phraser du contenu quand toutes les sources ont deja des titres similaires:
On note partout un appauvrissement du débat, remplacé par des remarques simplistes et caricaturales empechant toute discussion. Je vois que ca n’epargne pas geekzone…triste.
Its AI bots are copying hard-paywalled content without proper attribution
It’s resulting in a loss of advertising revenue or ability to reach subscribers
At a $1 billion valuation, Perplexity AI has offered us and our peers exactly $0
