Le deep learning pour les nuls

C’est pas l’artiste ça, c’est le mécène ou le client. Il donne les consignes et récupère le produit fini. Ça a peut-être été un vrai travail de définir précisément son besoin, mais au final ce n’est pas lui qui est crédité car ce n’est pas lui qui a créé.

2 « J'aime »

Ta comparaison avec une voiture n’a aucun sens. Déjà une voiture ça s’use. Je pense pas qu’un bout de code ira moins bien après avoir été utilisé par 10 000 personnes. Si tu veux comparer ça à l’automobile alors il faudrait que je conçoive de toute pièce une voiture complètement novatrice et que mon voisin me copie l’idée.

On ne photocopie par les livres parce la majorité des auteurs ont fait le choix de la thune et de ne pas les distribuer gratuitement/librement/opensourcement/gnument/creativecommonent/whatever.

J’ai regardé un peu ce repo SuiteSparse et toutes les licences parlent de free software, GNU, LGPL et je n’ai rien vu de commercial. Ce n’est pas du code privé puisque que c’est un repo public… et sur Github en plus.

Ce Tim Davis semble être chercheur et professeur. Donc il mange en grande partie grâce à son salaire payé par l’état et pas grâce aux royalties sur un bout de code de 2004. D’où ma question: qu’est-ce que ça va changer concrètement à sa vie si le code qu’il a choisi de distribuer partout (et créé pendant son boulot à l’unif, pas sur son temps libre) est réutilisé ailleurs sans le citer ? A part une question d’égo ?

Maintenant ce que je ne comprends pas c’est pourquoi Github n’ajoute pas simplement toute les licences automatiquement dès qu’un code est réutilisé. Puisqu’en soit ces gens n’ont rien contre Copilot, ils veulent juste voir leur p***** de licences.

Apres qu’est ce que le libre arbitre, qu’est ce que l’art on a aussi quel est l’interet des licences sur le code.
Une chose est sur ces modeles posent des questions :slight_smile:

Oui ou alors c’est un vrai métier et il faut bien manger…

C’est ce que Amazon Code Whisperer fait:

Je trouve ca bien mieux et heu… c’etait loin d’etre simple a implementer dans une V1. Mais bon c’est pas forcement suffisant pour éliminer toutes les questions liées aux droits.

1 « J'aime »

https://arxiv.org/abs/2212.03860
Un papier qui analyse à quel point les modèles ressortent directement des images venant de leur dataset d’entrainement.
Comme imaginé la taille du dataset joue beaucoup mais aussi sa qualité (plus ou moins d’images identiques dupliquées) et aussi plus un prompt est précis et proche d’une des légendes des images du dataset plus il y a de risque que le modèle ressorte l’image à l’identique.

J’ai créé ce sujet : Les licences open source

1 « J'aime »

C’est davantage une profession de foi qu’autre chose quand on lit son papier, sans parler du fait qu’il vend sa tambouille, c’est-à-dire qu’il est loin d’être neutre, puisque il est PdG d’une boîte d’IA.

En plus titres et intertitres putaclics, sans parler de ses formules pleines d’emphases et exagérations.

Et non ma critique n’a rien à voir avec un adorateur des calèches devant les voitures à moteur thermique, d’abord, même si ce qu’il dit était vrai, ça manque d’argumentations, c’est une profession de foi, et en plus il a l’air de croire que qu’il n’y aurait plus du tout du tout de développement.

2 « J'aime »

Le fait que ça soit la réthorique utilisée montre à quel point il faut calmer les attentes.

On peut effectivement considérer que cet article n’a aucune valeur et qu’il est écrit par quelqu’un qui a une vision totalement biaisée.
Moi je me dis plutôt qu’il est rédigé par quelqu’un qui sait quand même un peu de quoi il parle (son CV ne résume pas à « PDG d’une boîte d ia ») et que son point de vue est peut être pas totalement inintéressant. Ça ne veut pas dire qu il a raison, les prédictions dans la tech sont toujours très hasardeuses, mais rejeter tout ce qu’il dit et ne pas envisager que le dev va peut être beaucoup changer dans les années à venir me paraît un peu étonnant.

J’ai plutôt l’intuition que le dev va changer, mais dans la direction opposée de l’IA actuellement à la mode. L’IA a un problème de conso électrique monstrueuse pour entraîner les modèles alors qu’on parle de réduire massivement l’utilisation d’énergie et de ressources partout dans les années qui viennent. C’est donc pour le moment absurde de dire qu’on va tartiner de l’IA partout alors que c’est une des technos les plus énergivores de la planète.

4 « J'aime »

J’ai corrigé.

L’ia, c’est pas que le deep learning. Le renforcement, les multiagent, multi-robot, la RO, etc. C’est aussi intéressant (j deconne pour la RO) :slight_smile:

1 « J'aime »

Ah ouai carrément! Bon bah c’est une bonne nouvelle on sait qu’il suffit d’interdir le deep learning pour reduire drastiquement notre consommation d’énergie.

Je doute juste qu"un modele de détection d’objet qui tourne avec TF lite sur un appareil mobile soit des ordres de grandeurs plus energivore qu’un algorithme codé à la main (qui sera en plus tres certainement beaucoup moins performant dans ses reponses). Autre exemple, meme si le resultat est pas totalement comparable, generer une image en fullHD avec un modele de diffusion va faire tourner pendant 10 sec ma 2080ti alors que rendre une scene equivalente sous blender avec cycle la fera plutot tourner une 10ene de minute (voir une 10ene d heures suivant la complexité de la scene). Pareil pour les simulation physiques, il commence à y avoir des modeles qui donnent des resultats acceptables en quelques secondes là ou les algorithmes standards actuels nécessitent plusieurs heures de calcul.

Et penser que ce qui va diriger l’evolution de la tech c’est des considerations ecologiques plutot que des consideration de productivité, de facilité de mise en oeuvre et de performance pourquoi pas hein mais c’est pas ce qu’il s"est passé jusqu’à maintenant.

Faut pas confondre le training de l’utilisation du modèle. On peut pas généraliser pour tout partout mais c’est loin d’être facilement rentable la plupart des modèles. Pas juste parce que c’est énergétiquement problématique mais aussi parce que c’est loin d’être rentable et que le compute est très très loin d’être gratuit. Avec du hardware dédié on est moins en PLS mais c’est à des années lumières d’être un truc ou tu penses pas au coûts des que l’utilisation dépasse la démo technique (et perso ce qui m’intéresse c’est si on peut en faire un vrai produit rentable et c’est hard mode en dehors de certaines niches ou alors à la marge pour améliorer un produit existant). Des utilisations légitimes mais qui ont un plafond assez bas.

En parlant de ça si tu veux des gens avec un CV / expérience pro dans l’IA qui ont a priori des avis plus ou moins “éclairés” grâce à leur expérience chez certains gros acteurs du domaine… pas besoin d’aller chercher des articles super loin. T’en as déjà plusieurs qui participent déjà ici même :slight_smile:

1 « J'aime »

Tu peux aussi regarder sur ResearchGate. C’est moins le cancer que LinkedIn, l’AFIA et autre GDR ( IA & jeux en tête).

Pour que l’entraînement soit vraiment rentable, faudrait soit que le modèle soit très simple, ce qui n’est pas la tendance du marché, soit que le modèle n’évolue pas, ou pas beaucoup, ce qui n’est pas non plus la tendance. Quand je suis pessimiste sur le long terme, c’est que ça n’est pas une balle d’argent. Par contre, je suis enthousiaste sur certains usages, comme sur le nucléaire et le contrôle du champ magnétique pour contenir la fusion, c’est hyper prometteur et c’est pour un problème fini, qui n’évolue pas dans le temps.

Je ne confonds pas du tout les deux. Les exemples que j’ai choisit concernent des situations ou l’entrainement du modele initial peut effectivement etre tres gourmande mais si ensuite, à l’utilisation, ce modele permet d’obtenir des resultats pour une fraction de la puissance de calcul nécessaire avec des algos « strandards », l’investissement energetique initial peut etre vite rentablisilé. Pour ce qui est de la rentabilité economique c’est un autre sujet et globalement comme pour n’importe quelle autre techno ce qui la rend rentrable c’est si tu arrives grace à elle à faire un produit suffisamment intéressant/novateur pour que des gens soient pret à payer pour l’utiliser une somme qui couvre tes couts. Et je pense effectivement qu’un modele en tant que tel est difficilement valorisalbe (en dehors eventuellement sous forme d’une api payante) parce que pour qu’il ait un interet il doit etre integré dans un produit. Comme par exemple la dedans https://runwayml.com/. Ou comme dans copilot qui est proposé pour 10€/mois (je ne suis pas du tout capable de juger si ca leur permettra d’etre rentable mais j’ai la naiveté de penser qu’ils savent quand meme un peu ce qu’ils font)

J’en doute pas, alors hesitez pas à poster des liens vers des ressources interressantes, c’est un peu l"idée de ce thread… :slight_smile:
(et qui considere que linkedin est une source d’information interressante? :thinking: 20 ans que je me demande comment ce site peut séduire autant de monde)

Je ne pense pas du tout que c’est une solution miracle. Par contre ca permet de réaliser certaines choses qu’on pensait encore totalement impensables il n’y a pas si longtemps que ca. On peut par exemple considerer que le probleme de la traduction est pratiquement totalement resolu et puis on a aussi reussi à determiner la structure 3d de l’ensemble des protéines connues. Pas si mal deja.

Tellement pas. Loin d’égaler un humain dont c’est le métier. Pas plus résolu que la conduite autonome quoi. Ça marche quand tout va bien mais tu fais pas confiance: impossible à utiliser sans humain qui vérifie si on veut pas se planter. En trad y a pas mal de cas ou t’en as rien à secouer de la qualité (et au contraire de la conduite autonome ça te fout pas dans un piéton). Demande à des traducteurs pros ce qu’ils pensent de ce qu’ils reçoivent en traduction après une première passe de AI. Pour faire du gros volume rapidement qui serait économiquement injouable sinon, mais faut comprendre la différence avec une vraie trad pro. Je dis ça en tant que qqn qui a des équipes qui vendent de la trad automatisée (entre autre choses…).

4 « J'aime »

Je pensais que mon « pratiquement totalement » apportait suiffsament de nuance pour dire que j’etais bien conscient qu’on ne fait pas encore en automatique une traduction de Poe avec la meme qualité que Baudelaire ou suffisament fiable pour etre utilisée sans relecture à l’ONU. Par contre pour le grand public qui a besoin de lire un bout d’article dans une langue qu’il connait pas ou comprendre le menu du resto en Roumanie ca fonctionne plutot tres bien.
Mais bon je vasi arreter là, si à chacun de mes messages je dois réexpliquer que j’ai bien conscience des limites actuelles .
Moin point est juste de dire (et c’etait l"idée à la base de ce thread) : regardez ce qui se passe en deep learning (particulierement si vous faires deja du dev), il y a des bonne chances que ces technos changent la maniere dont on adresse beaucoup de problleme dans la tech. Je pense que c’est pas un point de vue completement delirant Et pour revenir à l’exemple de la trad je pense que plus personne ne bosse sur le sujet avec autre chose que du deeplearning. Ce qui n’etait pas le cas il y a 10 ans.

Si tu veux éviter qu’on comprenne mal faudrait peut être éviter les hyperboles ultra généreuses dans tous les sens. “Pratiquement totalement résolu” c’est peut être pas la même chose que “on peut commander au resto en Roumanie ou comprendre le fond d’un article en Japonais trouvé sur le net”. C’est peut-être même pas a des kilomètres.

En tant que dev justement, je suis convaincu qu’il n’y a rien de pire pour le futur de l’IA, et encore pire de l’IA commerciale, que de sur-vendre ce que ça sait faire. C’est la troisième fois qu’on fait ça et qu’on se retrouve avec 10-15 ans de deche. Mais à chaque génération “cette fois c’est différent, promi!”. Et le pire c’est qu’il y en a plein pour s’en convaincre alors que c’est du pur suicide et va engendrer un autre hivers de l’AI à la prochaine contraction économique. A chaque génération on progresse et ça avance, on commence à avoir des vrais applications viables en industrie, mais calmos sur la hype, perso j’aimerais garder mon taff.

4 « J'aime »