Je suis pas sur de comprendre pourquoi tu crois que c’est pas trivial de se procurer/generer une tetra chiée de hash de la DB CSAM pour produire autant de conflit que l’on veut… les hash… tout le monde avec 20 minutes de darkweb en connait une grosse partie. Ce qu’on sait pas par contre en effet c’est si il y a plein d’images dans la DB qui ne sont PAS du child porn mais par exemple des memes politiques ou des images avec des marqueurs pour en suivre la propagation, si la Chine ou les US demandent gentiment par l’intermédiaire des forces de « l’ordre ». Comme ils ont déjà demandé, et obtenu, de ne pas encrypter les backups avec une clef générée cote client.
D’autant qu’avec des générateurs de collision qui sont dispos en 20 minutes, peuvent être fait sur des images quasiment arbitraire, meme avec des miniatures floutées et une autre passe avec un algo « independent », ca va etre lolilol de produire des trucs identiques. Et si t’es vraiment decide a envoyer quelqu’un en prison pour child porn, y a meme moyen de faire encore plus beton et avec des moyens très abordable (quelques milliers d’Euros) a base de studio photo et des demoiselles majeures qui coopèrent, il est plus que très probable de pouvoir garantir un flag de dizaines de photos et un juge techno ignare qui fout des gens au trou, meme avec un review humain.
C’est pas comme si il y avait pas un historique, y a qu’a regarder le fameux « SEND DUNES! » en Angleterre a base de conneries de techno justiciers qui marchent a moitie. Toute cette histoire pour obtenir un truc dangereux, inutile, qui va se faire trouer dans tous les sens par principe et au final n’avoir que le cote invasif qui reste, c’était bien la peine. C’est comme NVIDIA avec ses cartes « unhackable »… par principe, ca se fait trouer direct…
Et finalement écrire une application qui chaque fois que t’ouvre une photo que tu veux être sur ne matchera jamais quoi que soit dans la DB la resauve immédiatement en rajoutant du bruit (connement une marge de 4% tout autour faite de bruit arbitraire, mais on peut faire plus malin avec la photo elle meme), te garantissant ainsi de pouvoir matter et sauvegarder ce que tu veux avec 100% la garantie de ne pas te faire prendre par cet algo en bois, ca me prendrait… allez 3 heures mais c’est parce que il me faudrait apprendre de l’objective-C. Et si t’as un site qui hoste du contenu illicite, ca peut meme se faire cote serveur a la volée, chaque download d’image étant garantie complètement unique et avec un hash qui matche rien du tout grace a un peu d’entropie bien placée de maniere encore une fois plus que triviale.Et c’est pas comme si ils pouvaient planquer l’algo si ils veulent le faire tourner cote client pour éviter d’uploader toutes les images du monde chez eux.
Bref… de la merde. Ce truc ne vas choper que les idiots peu actifs ou les innocents, et ouvrir la porte a plein d’abus pour tout le monde sauf les vrais criminels.
Je trouve que tu juges le truc à l’emporte pièce surtout à la lecture de l’article juste au-dessus de ton post.
Anyway, faut revenir au débat de base : ne rien faire ne va pas être possible bcp plus longtemps et les solutions qui seront imposées par nos « têtes pensantes » seront au niveau du reste = nulles à chier.
Au moins ils tentent un truc, à mon avis pour tenter de (re) proposer les backups chiffrés sans se faire emmerder avec des prétextes en carton comme l’autre fois… C’est pas le cas de bcp de monde…
Parceque je ne parle pas des NeuralHash là. Je suis d’accord que n’importe qui peut se les procurer en les calculant directement depuis du contenu CSAM.
Par contre, le hash côté serveur sur le visual derivative personne ne le connaît.
Sauf que ton contenu n’est pas dans la base CSAM et là encore ne trigger normalement pas le visual derivative et ne déclenche pas une review humaine.
Mais c’est quoi l’alternative? Parceque ne rien faire comme Amazon sur son contenu S3 ou Glacier ne va probablement pas pouvoir être tenable très longtemps encore.
J’espère sincerement que tu as raison sur les intentions d’Apple ! L’avenir le dira.
Bien sur que si il y est, voir premier point. Faire un conflit sur une image qui non seulement apparaît identique grace a un conflit de hash, mais aussi suffisamment identique visuellement, j’ai pas besoin d’autre chose pour avoir une grosse liste de hash presents dans la base CSAM et vérifiés qui peut nuire. Bref, c’est détournable et encore une fois trivialement contournable pour ceux qui ont vraiment un truc a cacher.
J’ai lu l’article, y a rien qui tient. J’aime bien que c’est moi qui soit disant fait des jugement a l’emporte piece alors que la tech tient pas la route malgré les pirouettes du doc. Et le doc qui n’adresse pas le truc fondamental: on a aucune preuve et aucun moyen de verifier qu’ils ne cherchent que de la pédopornographie. Mais le pire, c’est le postulat foireux de chez le marchand de postulat foireux, qu’on essaye de fourguer discretos, comme un lettre a la poste: « ouai mais ne rien faire ca va pas être possible! Au moins eux ils essayent un truc. ».
Alors oui mais non.
Genre sans ce truc qui est prouvable inutile, trivial a contourner et dangereux pour tout le monde qui est pas un pédo avec deux sous du jugeote, on arrivera plus jamais a stopper les pédophiles. On a fait mieux comme argument quand 1/ ne pas utiliser ce truc dangereux ce nest en aucun cas « ne rien faire » 2/ on arrive déjà a faire.
Je releve le commentaire minable sur S3 et glacier juste pour dire que S3 implémente la crypto avec des clef clients. Ils peuvent donc pas regarder meme si ils voulaient. Pourquoi? Parce que c’est une demande réglementaire des industries protegees comme les données médicales ou financière, réglementation imposée par… le législateur 
ha ben merde alors… faudrait savoir! Ca parait donc tenable très longtemps. Surtout que imagine: les dossier médicaux de millions d’enfants en clair pour tout le reste de leur vie sur internet dans des pays a l’assurance médicale privée et a but lucratif on y pense? On peut jouer au meme jeu de l’autre cote… (ou plus concrètement et efficacement: les transactions bancaires des sénateurs en question…).
Et le link d’une lettre signee par Hawley, Cornyn et Graham, merci. Je prend. Car faut vraiment avoir aucun contexte et pas savoir qui c’est (chanceux). Avec un minimum de context politique US des derniers mois on peut avoir connaissance des guignols en questions et de leur désir inassouvible de servir la soupe aux attaques répétées de Trump contre tout ce qui critique Trump en ligne. Et son but avoué de détruire/affaiblir la Section 230 a base d’excuses du genre « OUAI MAIS LES PEDOS » ca fait justement a 300% mon argument sur le danger terrifiant de la chose et de son exploitation par des regimes politiques peu scrupuleux. Promis, Trump il en avait rien a cogner de la pédopornographie, il va chez les amis pour ca et il fait ses propres photos qui sont pas dans la basse CSAM. Par contre les gens qui le critiquent, ca l’énerve rapidement. Comme Winny et Xi Jinping. Mais comme depuis la nuit des temps l’argument qui arrête tous les arguments pour faire avaler n’importe quoi quand il s’agit de truc invasif c’est « MAIS C’EST LA SEULE SOLUTION POUR SAUVER LES NENFANTS! FAITES QQCH! ». Bah non, non seulement on peut et on doit faire beaucoup contre les pedos mais on peut le faire sans des outils ultra invasifs avec un potentiel d’abus astronomique. A d’autres donc.
Leurs intentions n’ont aucune importance. « On refusera de rajouter des trucs qui soit pas du pr0n de gamins » dit la FAQ. Mais ils disent aussi : « we comply with every laws and regulations of the countries in which we operate ». Ha bah et quand les bonnes intentions et les lois des pays répressifs, ou des démocraties qui partent en couilles, sont en conflit ils font quoi? Ils suivent les lois. Les bonnes intentions servent a rien.
Vouais. J’hésite a faire un thread plus général mais on l’a déjà vu avant, les discussions techniques liés au terro/pedo polarisent a mort les gens, et encore plus les geeks.
Je comprends la position d’Apple et l’explication de @Cafeine dans le dernier torrefaction était très intéressante car on a une idée de l’intention d’Apple: Permettre une sécurité globale des données avec une vérification localisée.
Mais (le fameux mais):
Parce que les instances dirigeantes rognent a mort sur les budgets sécurité (police/gendarmes/whatev’), ils demandent a la technique d’arrêter les criminels.
Oui, je schématise a mort en faisant des raccourcis. Still.
Et le problème, c’est que la technique, c’est con comme la lune. Il ne peut pas y avoir de mitigation. Il n’y aura pas d’humain pour dire « ah oui la, on s’est trompé, on est tombé sur la personne qui avait plein de photos sur son compte et tous les matchs sont des collisions de hash » (et je suis certain qu’avec suffisamment de photos, on peut collisionner fastoche). Ou alors l’humain arrivera un peu tard et la personne sera déjà catalogué pedo (ou autre). Et on peut imaginer plein d’autres trucs plus ou moins débiles.
Sans aller dans le fameux « c’était mieux avant », la notion d’enquête était beaucoup plus approfondie au 20eme siècle quand justement, il n’y avait pas ces outils techniques. Alors oui, ça prenait plus de temps, plus d’argent, et probablement que certains criminels passaient a travers. D’ailleurs, je me demande si les banques avec les coffres a double clé (qu’on voit souvent dans les films US), il y avait une backdoor pour la justice.
Mais le 21eme siècle a vu arriver la numérisation de nos habitudes et cette numérisation s’accompagne de besoin de stockage: En local ou sur le nuage. Et les flux de stockages décentralisés sont visibles plus ou moins facilement par nos gouvernements (et probablement certains criminels), et l’idée de pouvoir surveiller la population - mais surtout les méchants criminels bien sur hein, pas les gentils - beaucoup plus facilement s’est répandue de manière globale. Sauf qu’on est pas sur une techno de type téléphonie, ou on mets sur écoute une personne: Sur internet, soit on écoute personne, soit on écoute tout le monde, et on fait le tri a posteriori.
Et de tout ça découle toutes les avances de chiffrement: La généralisation de l’HTTPS notamment (même si pour moi, c’est plus utile en tant qu’identifiant qu’en tant que chiffrement - c’est un chouette effet de bord disons) et de plusieurs solutions techniques de chiffrement: Internet est pas prévu pour sécuriser ses communications, donc chaque protocole a rajouté, bon an mal an, sa solution.
Le chiffrement est donc inévitable et utiliser des moyens émotionnels pour s’en plaindre est une putain de solution de facilité. La proposition d’Apple n’est pas une backdoor en tant que telle, c’est en ça qu’elle peut paraitre « moins pire », mais ca reste une solution de contournement plus ou moins discutable car, encore une fois, on laisse la technique juger. Et surtout, on considère toute personne comme coupable présumé. Même si ça parait débile (car technique donc contournable), je trouverais déjà plus logique d’activer l’algo via un juge sur l’appareil d’une personne suspectée de pedo/terro. Un peu comme la mise sous écoute du 21eme siècle. Même si je suis pas sur que ca soit vraiment pertinent.
Perso, je vois pas de solution pour concilier vie privée et travail policier dans un monde numérique chiffré. Car la moindre tentative technique de contourner la protection de la vie privée peut mener a des dérives plus ou moins pétées.
Il est pas minable, il est vrai. 8 reports NCMEC dans l’année alors que c’est le plus gros cloud qui existe c’est clairement une position qui ne sera pas tenable très longtemps étant donné les autres signataires de la lettre qui sont démocrates.
Mais si tu veux utiliser l’adjectif « minable » c’est ce que j’ai pensé de la réponse du représentant d’Amazon à l’event « Digital Child Dignity » au Vatican en 2019: « on est pas un digital player, on fait que du retail nous » … un peu comme dire que S3 et Glacier ne sont là que pour des données médicales et financières…
Pourtant, dans le 2eme point de la réponse d’Amazon linkée plus haut, le représentant met en avant Amazon Rekognition pour essayer de retrouver sur des photos et vidéos des enfants disparus.
Et Thorn, une assoc sponsorisée par AWS, avec son outil Safer a détecté 100k images CSAM sur Flickr. AWS est tellement fier de cette coopération qu’ils le mettent en case study.
Du coup je suis perdu, elle marche la tech ou pas ?
Alors tout le principe c’est qu’il y a justement une review humaine dans le cas d’Apple. Le champ pour savoir si ca a été fait est même présent quand on fait un report NCMEC car c’est ce qui autorise ensuite le NCMEC et les autorités à regarder ces images sans mandat (US vs Ackerman)
Pour en revenir à ce point je demande à voir. Parceque avoir juste la base de hash ne permet pas de faire une image qui y ressemble. Tu peux générer des collisions oui, mais avec des images différentes (les exemples qu’on voit fleurir avec des images altérées de chiens et de chats qui ont au final le même hash).
Le seul moyen de trigger le truc c’est d’avoir le vrai contenu CSAM et de produire une image qui génère le même hash ET le même « blurred thumbnail ». Mais du coup c’est probablement aussi du CSAM.
Un article sur des universitaires : " We built a system like Apple’s to flag child sexual abuse material — and concluded the tech was dangerous"
Extrait du compte twitter d’un dev et expert en sécurité, il est en autre le premier à avoir porté nativement une distribution linux sur M1 :
Sans même parler de technique, si le truc était fiable à 100% et insensible aux attaques (ce qu’il, visiblement, n’est pas), le principe même est scandaleux et dangereux et sera, avec une probabilité proche de 1, utilisé pour tout autre chose. L’idée est, comme d’habitude, de créer un précédent acceptable (« Vous vous rendez compte, c’est pour protéger les petits n’enfants ! Comment pouvez-vous être contre !? ») avant de l’élargir.
Le mec qui mélange tout exprès. Les services pro, particuliers, retail, stockage, analyse sur les devices, cloud services. Tu crois que si tu rends la soupe assez confuse ça rend les arguments valables?
Au passage la lettre du mec de Amazon retail au Vatican concernant la protection des enfants met en exergue le fait qu’ils ne sont pas QUE un acteur numérique mais aussi ont une offre physique de retailer donc le contraire de ce dont tu l’accuses en élargissant le champ de responsabilité au lieu de le rétrécir. Mais encore faut il lire et comprendre. Cela dit j’admire le culot de faire dire tout et son contraire en postant un link. No shame.
Bon pour rester sur le sujet, parce que les conférence au Vatican d’un mec de Amazon retail je vois pas le rapport avec le bordel a part faire du whataboutism de ouf guedin qui ne changerait rien au sujet de départ même si ils étaient pas complètement à côté de la plaque.
1/ j’ai jamais dit que il y avait que des données financières ou médicales sur S3. Mais ça tu sais donc je vois même pas pourquoi je me fatigue avec une réponse d’une telle mauvaise foi. J’ai dit que c’était chiffré/chiffrable avec des clefs client et que même si ils voulaient regarder, ils pourraient pas. Par obligation légale. Du même législateur. Pourquoi je me répète… c’était écrit noir sur blanc et tu sais lire donc on va assumer que t’as juste choisi de faire semblant de pas comprendre.
Ha oui et ça change rien qu’il y ait un ou deux démocrates pour signer. Si tu veux faire croire qu’il y a un consensus bipartisan pour attaquer section 230, ou en réaction après un événement particulier qui est mort aussi vite qu’il est arrivé et n’est là que pour servir la soupe à trump dans ses attaques des réseaux sociaux, va falloir mieux faire.
Aussi au cas où tu n’aurais pas remarqué le Mr Prince à qui est adressée la lettre c’est le CEO de cloudflare, un service de CDN et pas un service de stockage. D’où les questions. Encore une fois on mélange tout et n’importe quoi pour noyer le poisson. Si tu sais pas pourquoi S3 et Glacier ça a rien à voir avec un CDN, y a Wikipedia.
2/ j’ai jamais dit que tous les algorithmes de détection et de computer vision marchait pas. Mais ça tu sais donc je vois pas pourquoi je me fatigue avec une réponse d’une telle mauvaise foi. D’ailleurs j’en serais embêté très fort étant donné que c’est littéralement mon travail. Non, j’ai dit que l’usage qui en était fait dans la techno mise en place par Apple marchait mal et était dangereuse. Le même message que des centaines d’employés d’Apple eux même mettent en avant quand ils interpellent leur direction sur le sujet.
Ce qui est top c’est que tu mets en avants des utilisations de certains algorithmes qui quand ils sont bien utilisés arrivent aux buts recherchés pour détecter la pedopornographie sans invasion de la vie privée! Comme quoi c’est possible tu vois. Merci de faire mon argumentaire à ma place. Si t’es toujours perdu, relis la case study peut être? Mais en vrai je te fais pas l’insulte de croire que t’es si ignare techniquement.
Et oui. Le tour de passe passe pour bypasser le 4eme amendement c’est de faire faire le sale boulot par des boîtes privées et leur demander de tout rapporter. Si le 4eme amendement existe c’est pas avec une note dans la marge “sauf pour le kiddie porn”. Ca c’est Jack Bauer et dans la vraie vie ça marche pas comme ça. Mais pour le coup on a difficilement fait plus transparent pour défoncer un droit fondamental en se cachant derrière le droit des affaires…
Non. Voir explication plus haut. Tu lis les trucs qui sont écrits en fait ou tu fais exprès? Parce que à la 4eme preuve que en fait ou t’as pas lu ou t’as fait exprès de mal comprendre on va finir par se poser des questions.
T’as aussi lu que c’est contournable côté serveur par ceux qui hostent de la pedopornographie sans même se fouler trop de neurones aussi? Ou tu veux faire une autre quote d’un petit bout de phrase pour partir sur un truc qui a rien à voir encore?
Et au final autant si c’est une opération ciblée les criminels savent pas qu’il faut faire l’effort de se protéger sur un vecteur inattendu autant quand c’est sur 50% des téléphone de la planète, ils vont vite se protéger. Merci la pub inutile qui les rend plus difficile à choper au passage… champion le truc.
Et bon, j’aime bien les débats mais 1/ quand on me prend pas pour un demeuré en mélangeant tout exprès 2/ avec un minimum de bonne foi. Le Gish gallop c’est bon j’en ai assez.
Je ne suis pas compétent pour juger le fond donc je n’en dirai rien.
Sauf que j’aimerais vraiment comprendre le fond du problème et ce genre de message n’aide pas un béotien total à y comprendre quoi que ce soit.
Tu es assez brillant pour répondre à Skully avec pédagogie histoire que les cafards d’en mon genre puisse en profiter non ? Tu n’es pas obligé d’être agressif …
Ecoute quand on essaye pas d’argumenter mais qu’on préfère tout mélanger et déverser de la mauvaise foi par brouettes, si si.
Je suis plus que disponible pour détailler mes réponses si quoi que ce soit est pas clair pour quelqu’un qui a des honnêtes objections ou questions.
Ok si tu veux, mais j’entrevois un fond intéressant et tu n’arrives pas à en faire profiter les autres, c’est dommage.
Au final moi je n’y ai toujours rien compris, et je vais devoir aller me renseigner ailleurs alors que quelqu’un dont c’est le travail pourrait me donner les idées plus claires.
“J’ai pas compris” ça va pas m’aider à savoir par où commencer … qu’est ce qui est pas clair ?
C’est vrai, je reviens plus tard avec mes questions 
En l’occurrence le soucis c’est que la techno employée n’est pas “dans le cloud” mais dans le téléphone lui même. Ils font des tour de magies à base de hash pour dire “on regarde pas vraiment vos photos, juste un résumé!” mais ils regardent toutes les photos avant qu’elles ne touchent un seul serveur ou une seule infrastructure cloud ou autre appartenant à un tiers.
C’est bien le cœur du problème. Ton téléphone est controlé par un tiers et toutes tes photos passent à la moulinette à détecter du contenu pedo.
D’abord on râle. Des fois ça marche. Il y a aussi l’opportunité de démontrer les failles de la technique et de leur faire repenser leur approche. Je ne pense pas un seconde que les gens de chez apple aient de mauvaises intentions et je suis persuadés qu’ils croient à ce qu’ils disent quand ils affirment que c’est uniquement pour lutter contre les pedos. C’est naïf et une fois la porte ouverte elle sera très très difficile à refermer.
Parceque la même lettre a été adressée à 26 boites de Cloud… Jeff m’a pas donné celle qu’il a reçu du coup j’ai linké une de celle qui est publique.
En vrai t’aime pas vraiment les débats car déjà dans ton tout premier message, à part des arguments d’autorité pour prendre les gens de haut (« moi je sais faire ça », « ton argument est minable », etc…) y’a pas grand chose. Du coup j’aurais pas du essayer de débattre sur ces points, my bad.
J’aurai aussi pas du parler de S3 dans le message initial car tu trigger très vite du coup en mélangeant le côté éthique et technique. J’ai déjà écris plus haut que j’étais, comme toi, sceptique aussi sur les demandes d’usage détournés qui en seront faites.
Si je reviens sur les faits:
- 8 reports NCMEC pour Amazon
- Je dis que c’est très peu pour un géant comme ça.
- Tu réponds que c’est normal, parceque c’est chiffré côté client car le législateur le prévoit
- Je te dis que ca va pas être tenable très longtemps vu la conjoncture et ce qui est mis en place par d’autres
- On est pas d’accord, soit…
Maintenant, si on en revient sur la technique je n’ai toujours pas vu d’exemple de contenu CSAM qui trigger le NeuralHash et le visual derivative en même temps.
C’est ce point que je voudrais voir explorer.
Uniquement ce qui est uploadé sur iCloud d’après les docs.
Son postulat ici est faux.
Si c’était aussi simple, pourquoi se faire chier à envoyer des photos avec des collisions alors que je pourrais envoyer du vrai CSAM.
Si les photos sont juste dans un mail, rien ne va se passer.
Si tu les sauvegarde sur ton téléphone, rien ne va se passer.
Si tu les sauvegardes sur iCloud et que le colliding se passe mais que le visual derivative est faux, rien ne va se passer.
Si les 2 matchent, un humain va regarder si c’est du CSAM avant de faire un report à l’NCMEC
En cas du subpoena, ils ne peuvent techniquement que regarder les 30 photos qui ont trigger le seuil. Les autres sont toujours cryptées.
Lol… si tu compte utiliser Google Drive ca fait des années que Google scan ce qui est uploadé.