Certes mais comme dit précédemment, avec cette techno dispo tu peux être sûr que certains pays vont obliger Apple à traquer du contenu non pedo mais qui ne leur plaît juste pas.
Je pense que c’est ce point qui préoccupe beaucoup de monde (détails techniques mis à part).
Mais même sans cette techno c’est déjà possible. Aujourd’hui Apple a les clés pour les sauvegardes iCloud. On l’a vu pour le cas San Bernardino où Apple a pu sortir le backup sans souci à partir du moment où les autorités l’ont demandé.
Là on parle de tout crypter et donc d’ajouter de la privacy pour tout le monde avec un mécanisme permettant d’extraire du contenu spécifique (CSAM en l’occurrence).
Comme je l’ai déjà exprimé plusieurs fois, les craintes sont bien entendu justifiées mais perso je préfère débattre pour le moment sur la tech et ses failles potentielles.
J’ai comme l’impression que pas mal de gens pensent que le sujet du débat en cours c’est
« C’était full chiffré côté téléphone et maintenant Apple veut ouvrir la porte et scanner les photos ! »
Et ça change pas mal de chose.
Mais effectivement, c’est pas ça la question. Aujourd’hui c’est Apple qui a la clé, et ils proposent un deal « on chiffre avec la clé sur le tél … mais on checke que les photos que vous envoyez dans le cloud sont pas pedo »
Pourtant, je sors d’écouter le dernier Torréfaction où c’est abordé, mais cette partie là je l’avais manifestement mal comprise.
Après, rien ne vous oblige à utiliser icloud pour sauver vos photos. Vous pouvez même les envoyer sur Amazon drive via l’application.
Après, j’ai moi aussi la crainte que le mécanisme soit détourné plus tard, d’abord pour le terrorisme, puis pour d’autres délis… La question n’est même pas « est ce qu’on a confiance en Apple ». Apple n’estp as une personne. La question est « est ce qu’on a confiance dans les futurs dirigeants d’Apple et dans les futurs gouvernements »…
Mais bon, j’imagine que c’est un compromis acceptable en l’état, surtout si on garanti que seules les photos envoyées sur iCloud sont scannées. Ca laisse libre de pas les envoyer sur iCloud …
Les deux trucs qui me rassurent:
C’est faux. Les backup iCloud ne sont pas cryptés pour Apple (aka ils ont la clef). C’est encore une fois une grosse partie du problème. Ils regardent ce qu’ils veulent. La seule raison qu’ils font le hash côté client c’est pour économiser des sous. Et pas faire style “on ouvre vos backups à la volée” mais ils en ont 100% la capacité technique. D’ailleurs cette décision entérine le fait que jamais ils n’offriront de crypto avec clef client. Ça rendrait tout le truc caduc.
Je sais pas où vous avez vu le deal « on vous laisse chiffrer côté client mais on hash ». Il y’a zéro deal de la sorte. C’est « on économise du compute en utilisant votre téléphone » et on continue de faire des backups avec une clef qu’on connaît. Ils veulent toujours avoir accès à vos iMessages, e-mails et tout le reste qui est dans le backup…
Et pas que eux. Vous aussi. Sur iCloud.com, rien ne marcherait pour accéder à ses données sans entrer une longue clef de decryption a chaque fois et décrypter côté client et il faudrait qu’ils revoient comment sont stockées et servies les données. A cette échelle bonne chance mais en tant que produit consumer Apple veut cette facilité d’utilisation qui requiert que ce soit eux qui aient les clefs. Ils pourraient faire le hash côté serveur, d’ailleurs ils le font pour le hash secondaire de vérification et la validation manuelle. Si ils restaient 100% serveur comme ils peuvent personne dirait rien, on sait qu’ils ont les clefs et j’ai vu absolument rien qui indique qu’ils comptent changer ca. (On peut faire plus court à base de pass phrase et autre mais ça reste bien plus compliqué que de se log avec son mdp Apple et hop, voilà mes photos).
J’aurai du écrire au futur la phrase en effet. Pour moi les 2 étaient liés: neuralhash et cryptage de backup non déchiffrable par Apple. Parceque du coup pourquoi faire un algo de type Threshold Secret Sharing pour ouvrir 30 images alors que t’aurais la capacité d’accéder à tout?
Mais du coup je comprends encore moins les levés de bouclier puisque dans ce cas là rien ne change par rapport à l’existant. N’importe quel gouvernement peut déjà demander la clé du coffre aujourd’hui.
Parce que “on le fait que juste avant le backup” et “on le fait que pour les images de pedos” ne reposent sur rien d’autre qu’une confiance aveugle dans 1/ la bonne volonté d’Apple 2/ la bonne volonté de tous les gouvernements du monde 3/ Apple est prêt à sortir d’un pays entier comme la Chine ou les USA plutôt que de se plier à des lois qui le force a abuser de sa position.
A la limite je suis prêt à avaler le premier au départ. Le second est comique. Le troisième ridicule.
Et ce qui change c’est que maintenant non seulement ils peuvent analyser ce qui est dans leur cloud mais aussi sur mon téléphone sans que je leur ait rien donné. Tout ça pour économiser des sous de CPU.
Si c’est le deal qu’ils introduisent la crypto avec clef client d’abord. Je suis prêt à parier $100 que jamais ils chiffrent tout le backup avec une clef client. Si ils le font je mangerai mon chapeau. Ça casserait iCloud.
Commençons par un vrai chiffrement sur et après qu’ils mettent des outils en place pour lutter contre les pedos. Ca serait un message bien plus solide. Mais meme : “on chiffre tout côté client sauf les trucs qui correspondent au hash des trucs pedos et y a zéro feedback sur ce qui est chiffré avec ta clef ou pas et si c’est pas chiffré avec ta clef on va regarder”, c’est tout autant problématique.
En l’état non seulement ils disent “on débarque avec notre scan qui analyse le contenu sur ton téléphone, aka notre téléphone désormais” mais ils ont rien changé à “on chiffre tout avec notre clef et on peut regarder ce qu’on veut quand on veut une fois que c’est chez nous”.
Car la vraie raison est financière. Pour économiser des sous sur le compute, le stockage et le transfert réseau/bande passante. Car accéder à “tout” pour tout le monde ça coûte une blinde énorme. Je te l’écrit l’outil qui scanne tous les backups côté serveur, il va te coûter plusieurs dizaines de millions par an (edit: j’avais oublié que les backups sont mis à jour tous les jours ou presque pour quasi tous les clients… change dizaines en plein de dizaines). C’est quand même ultra plus facile de scanner tout ce qui va dans iCloud à la source avec un ordi qui t’appartient pas et une électricité que tu payes pas, avant compression, packaging, encryption que de devoir prendre chaque backup les envoyer sur une machine, décrypter le bordel, trouver les images, scanner les images avec un algo qui coûte cher et faire ça pour des petabytes de données. Quasi gratuit vs une blinde. Du coup ils font ça mais que quand ils ont un flag sur le contenu grâce au scan client. Ils font leur petit hash indépendant et vérification visuelle à ce moment là sur une fraction infime des backups.
C’est d’ailleurs aussi pour ça que c’est fait au moment du backup: quand ton tel est en veille et sur le chargeur et est prêt à cramer du CPU et de l’énergie sans déranger personne.
Faut bien voir que Apple a zéro envie de dépenser une fortune pour scanner tout ce qu’ils reçoivent pour un truc qui ne produit pas de $$$. Si c’était vraiment “pour les enfants” et vu leur compte en banque ils le feraient (et c’est à AWS entre autres qu’ils feraient un chèque donc bon…) mais leur générosité a des limites… et la limite c’est de te fourguer un mouchard.
Alors que quelques messages juste avant:
Y’a pas une petite contradiction dans le propos là ? 
Sinon en plus de l’explication de Glop sur le fait que c’est sans doute pour des raisons de coûts qu’ils ne peuvent/veulent pas tout scanner côté serveur, je pense que du point de vue des abus potentiels il y a une grosse différence entre pouvoir décrypter sur demande (légalement motivée) les données de personnes précises, et scanner les photos de tout le monde et remonter « ce qui matche ».
Deja répondu. C’est d’ailleurs le point sur lequel on n’est pas d’accord avec GloP. Pour moi ce scan à l’upload prépare le cryptage du backup. On verra ce qu’il en est.
Sauf que leur système est pourri.
(cf la conclusion).
Toi t’as tout lu en diag… Il parle de l’existant et ensuite du projet en question…
La mauvaise foi ça te connaît, et calme toi sur le ton des réponses my dude. On est ici pour piger le système, pas donner des leçons. Si le truc était si simple, je crois qu’on serait déjà tous au courant. Ensuite tu balances des trucs factuellement faux. La moulinette est déclenchée que sur l’upload iCloud par exemple. C’est le genre de raccourci qui nique bien tout le reste de l’argumentaire que tu pourrais avoir, et qui serait plus agréable à lire et pertinent sans les 80% de condescendance et d’agressivité dans tes messages. En plus ça serait plus rapide à taper pour toi. Win win…
Je doute très largement de ce point, en plus tu parles de backup, les docs parlent d’action à l’upload d’une tof vers iCloud (si j’ai raté une info sur le sujet, je prends avec plaisir un link pour potasser ça). La plupart des trucs que j’ai lu pointent vers une nouvelle tentative de chiffrage d’iCloud, qui avait été bloquée à l’époque justement avec l’argument « on peut rien vérifier SAY TROP DANGEREUX » par les instances de ton beau pays d’adoption (et ça devait bien arranger tous les autres).
Factuellement, tout le move d’Apple autour de la défense de la vie privée va dans ce sens, ils se mettent même des bâtons dans les roues sur plein de points pour s’assurer que c’est fait « au mieux ». Je les vois mal se tirer une balle dans le pied sur le sujet.
Encore une fois, comme je le dis dans Torré, personne ne dit que « c’est génial, faut le faire, vous n’avez rien pigé ». On cherche à comprendre comment ça marche, pourquoi le faire et ce qui va se passer à terme si personne fait rien côté tech. Dans le sens : prendre les devants avant une décision de merde de nos gouvs. Ce qui sur le papier n’est pas totalement stupide… Rejeter le truc en bloc en se disant que ce qui est fait actuellement est suffisant est, à mon sens, une erreur.
J’ai vraiment dû tout lire en diagonale, parce j’ai l’impression que les critiques tiennent plus du « c’est pire que l’existant car ça va permettre des abus plus facilement sans rien régler au problème ciblé » plutôt que « ce qu’on a actuellement est suffisant ».
Vu la remarque de ta part à Skully que j’ai commenté sur mon précédent post, je te laisse deviner mon avis. Et again, comme je le dis dans Torré, la plupart des critiques n’ont rien pigé au système, on dirait les mêmes qui t’expliquent pourquoi les vaccins sont dangereux avec pas la moindre idée du premier truc de base en biolo.
J’ai jamais dit que le truc était pas fait au moment de l’upload iCloud, je sais que c’est la ou ils ont implémenté le truc dans cette version pour justement utiliser le CPU sans niquer ta batterie et faire des trucs taxant en processing en scred sans trop nuire au client. Ca change pas ce que j’ai dit ou je rate un truc fondamental, encore une fois c’est pas à Apple a qui je fais ps confiance c’est à tous les pays dans lesquels ils opèrent et leur principes ne s’étendent pas à ne pas écouter l’exécutif de tous ces pays. Y compris les US et leur attitude de merde sur le sujet. La réalité c’est que avec ce système ils ne peuvent jamais implémenter de crypto avec clef côté client.
Je pense avoir bien pigé comment ça marche et ce qui est proposé personnellement ainsi que les contraintes techniques qui les amènent à l’implémentation proposée.
Et bien sûr on peut faire plus et mieux sur le sujet. C’est pas fondamentalement une épidémie soudaine de pedos qui a envahit internet du jour au lendemain non plus…
C’est tout ce que je souhaite mais je pense qu’on va se bouffer encore un levée de bouclier globale si c’est fait sans process dans ce genre. Bon après, nous on trouvera toujours des solutions (et les nuisibles aussi) mais le débat va être pénible, comme il l’est déjà depuis un moment…
Ca serait bien qu’on fasse plus pour defoncer les producteurs de contenu et les touristes sexuels dans les pays de connivence plutôt que les incels collectionneurs de photos accessoirement. Y a sûrement un overlap mais pas toujours. Pas que on puisse pas faire les deux mais y a plus urgent que de fouiller les backups iCloud. Y a tellement de voyages Europe/Thaïlande organisés avec ce but quasiment sans se cacher et on a des politiques Français qui peuvent t’expliquer comment rencontrer des jeunes garçons au Maghreb sans se faire ennuyer. Bref… des trucs efficaces beaucoup plus directement sans ces technos y en a aussi mais ça demande un vrai travail de police et ceux qui se font choper sont de tous les milieux sociaux y compris les plus hauts alors que les incels qui traînent sur le dark web ca restreint les dommages collatéraux de suite.
Sans rentrer dans les débats techniques, que je ne maitrise pas je voudrais réagir à cette phrase
On peut toujours trouver pire. Après tout, pourquoi se focaliser sur les « pedocriminels » quand il y a tant de meurtriers qui se promènent dans la nature et puis bon ce gars là n’a tué qu’une personne, on pourrait peut-être se focaliser sur les tueurs en série… C’est sans fin. Le boulot des services régaliens c’est de s’attaquer à toutes les formes de criminalités, même les simples incivilités. On ne peut pas abandonner un champs criminel sous prétexte qu’il est « moins grave ».
D’autre part, il y a de nombreuses études qui démontrent le lien entre consommation de contenus CSAM et passage à l’acte. Au bout d’un temps, pour une partie des consommateurs, le simple fantasme ne suffit plus.
Mine de rien, s’attaquer au sentiment d’impunité des consommateurs, ca permet de limiter les comportements. Si M. X se dit qu’il a 0.9% de chance de se faire gauler, il est plus enclin à aller faire un tour sur le darkweb pour satisfaire ses bas instincts que si il a 30% de chance de se faire gauler.
Quand à s’attaquer aux producteurs de contenus, mine de rien, taper sur leurs clients, c’est aussi une façon de les entraver. Parce que il ne faut pas se leurrer, une bonne partie de la production / du partage des CSAM est faite dans un but de commercialisation. Si tu attaques la clientèle et que tu arrives à la faire baisser, par peur du gendarme, mine de rien il y aura moins de production et donc moins d’enfants victimes. On est dans la pleine application de la loi de l’offre et de la demande de l’économie classique.
Les bases de données de contenus CSAM, que ce soit en France ou internationales, ont d’abord été créées dans le but d’identifier les contenus : la série de photos / la vidéo est-elle connue? La victime identifier, l’auteur identifié… Les enjeux ne sont pas les même quand on est face à une vidéo datant de plusieurs années, et dont l’auteur est derriére les barreaux que face à un nouveau contenu « tout frais » et dont le diffuseur est peut-être l’auteur.
Par la suite ces même bases ont été utilisées pour faire de la recherches ciblées sur des supports numériques saisies. Mine devine, avec les contraintes de temps de la garde à vue, il est impossible d’examiner intégralement des teras de données « à la main ».
Quand à la possibilité de dérives par des états totalitaires, je pense que de toute façon, que ce projet voit le jour ou pas, ils sont déjà en train de tordre le bras des GAFAM pour obtenir un regard intrusif sur l’activité de leurs citoyens et que, l’argent n’ayant pas d’odeur, pour des marchés importants (Chine, Russie…) il est tentant pour les GAFAM d’oublier leur mantra de coolitude et de bienveillance californien et de céder au coté obscur.
Ca tombe bien car absolument personne a dit ça et sûrement pas moi si on sort pas une phrase hors de son contexte.
Et je sais pas où on pourrait croire qu’il y a un sentiment d’impunité des consommateurs de pedoporn. Y a des arrestations de centaines de personnes partout dans le monde régulièrement qui font la une des journaux. Mais encore une fois la techno présentée est trivialement défaite et l’annonce de sa présence sur tous les téléphones va encourager les distributeurs à corriger le problème à la source au lieu de laisser les consommateurs le faire. Et paf tous les hash marchent plus. Super. On a détruit un outil entier en tapant trop large sur son application.
D’autant plus que ça encourage l’achat à la source au lieu de la copie pirate. La copie pirate elle a le même hash que le mec d’à coté et il faut rajouter son entropie soi même. La version achetée je te la fait avec 100% garanti un hash différent. Achète.
Bref ces solutions purement technologiques déployées en masse quand elles sont mal comprises sont souvent au final pire que de ne pas les utiliser en masse. Le but même de “mais il faut bien faire qqch”… oui mais pas ça. Et surtout pas rendre la situation pire pour les enquêteurs à vouloir choper dix mecs par millions de mouchards installés qui un an après devient zéro quand le jeu du chat et de la souris passe au niveau supérieur et détruit ou affaiblit toute une technique investigative au passage.
Parce que je vous l’écrit en une demi journée le serveur web qui sert des jpg garantie avec un hash différent pour chaque image servie. Ou une app qui scanne ton disque dur ou iPhone et change juste assez à toutes tes photos pour en altérer le hash pré-backup (bien sur Apple publierait pas sur son AppStore mais on va rire quand le sideloading va devenir obligatoire). Et hop je le met sur GitHub. Une fois ça en place on en fait quoi de la super technique de mouchard pré backup sur tous les téléphones du monde? On en fait quoi des techniques d’investigation sur le terrain qui identifie des images dans des teras de données vite vite avant la fin de la garde à vue? On est baisé. Ha bah ouai on l’utilise pour les gens et les utilisation qui sont pas tellement parano que ils vont pas systématiquement utiliser mon outil pour se protéger…
Revenons au débat de base. Bon papier (abo needed) qui résume les différentes actions d’Apple autour de la vie privée :
" Vie privée et sécurité : Apple monte d’un cran"
https://www.nextinpact.com/article/47346/vie-privee-et-securite-apple-monte-dun-cran
(pas d’embed, on a un prob avec l’upgrade du serveur et docker, la dreamteam est dessus).
J’ai du rater quelque chose mais s’il est facile de changer le neuralhash d’une image (comme cité plus haut, en ajoutant une bordure random autour de l’image) tout le principe du truc tombe à l’eau non ?
Oui si Apple ne change rien, mais il y a fort à parier qu’Apple sortira une rustine, genre un algo supplémentaire qui tournera sur ton appareil pour détecter les manipulations connues (genre ajouter une bordure de bruit autour des images) et corriger ça avant de calculer le neural hash.
Bon après ça sera une course sans fin avec toute une bande de petits malins qui trouveront toujours de nouvelles méthodes - et vu que ces manipulations tourneront toujours côté client pour des raisons de coûts, je pense qu’il sera assez simple de détecter quand Apple ajoutera un nouveau correctif.
Après le sytème permettra quand même de chopper les pedos très neuneus - c’est toujours ça de pris, mais perso ce sont les abus possible que cela permettra plus facilement qui me posent problème. L’article partagé par Caf quelques posts au-dessus indique que la base de hashs suspects est spécifique au pays de l’utilisateur, donc si la loi locale oblige Apple à ajouter d’autres hashs plus politiques à leur base locale je ne sais pas trop comment ils pourront refuser.