Mise à jour : Apple a mentionné une deuxième inspection du serveur, et une société professionnelle de vision par ordinateur a décrit une possibilité de ce que cela pourrait être - décrit dans "Comment la deuxième inspection pourrait fonctionner" ci-dessous.
Après que les développeurs en aient inversé certaines parties, la première version du système Apple CSAM a été effectivement trompée pour marquer une image innocente.Cependant, Apple a déclaré avoir des garanties supplémentaires pour éviter que cela ne se produise dans la vie réelle.
Le dernier développement s'est produit après la publication de l'algorithme NeuralHash sur le site Web des développeurs open source GitHub, tout le monde peut l'expérimenter…
Tous les systèmes CSAM fonctionnent en important une base de données de matériel d'abus sexuel d'enfants connu d'organisations telles que le National Center for Missing and Exploited Children (NCMEC).La base de données est fournie sous la forme de hachages ou d'empreintes numériques à partir d'images.
Bien que la plupart des géants de la technologie numérisent les photos téléchargées dans le cloud, Apple utilise l'algorithme NeuralHash sur l'iPhone du client pour générer une valeur de hachage de la photo stockée, puis la compare avec la copie téléchargée de la valeur de hachage CSAM.
Hier, un développeur a affirmé avoir procédé à l'ingénierie inverse de l'algorithme d'Apple et a publié le code sur GitHub - cette affirmation a été effectivement confirmée par Apple.
Quelques heures après la sortie de GitHib, les chercheurs ont utilisé avec succès l'algorithme pour créer un faux positif intentionnel - deux images complètement différentes qui ont généré la même valeur de hachage.C'est ce qu'on appelle une collision.
Pour de tels systèmes, il y a toujours un risque de collisions, car le hachage est bien sûr une représentation très simplifiée de l'image, mais il est surprenant que quelqu'un puisse générer l'image aussi rapidement.
La collision délibérée ici n'est qu'une preuve de concept.Les développeurs n'ont pas accès à la base de données de hachage CSAM, ce qui nécessiterait la création de faux positifs dans le système en temps réel, mais cela prouve que les attaques par collision sont en principe relativement faciles.
Apple a effectivement confirmé que l'algorithme est la base de son propre système, mais a indiqué à la carte mère qu'il ne s'agissait pas de la version finale.La société a également déclaré qu'elle n'avait jamais eu l'intention de la garder confidentielle.
Apple a déclaré à Motherboard dans un e-mail que la version analysée par l'utilisateur sur GitHub est une version générique, et non la version finale utilisée pour la détection iCloud Photo CSAM.Apple a déclaré avoir également divulgué l'algorithme.
"L'algorithme NeuralHash [...] fait partie du code du système d'exploitation signé [et] les chercheurs en sécurité peuvent vérifier que son comportement est conforme à la description", écrit un document Apple.
La société a poursuivi en disant qu'il y avait deux étapes supplémentaires : exécuter un système de correspondance secondaire (secret) sur son propre serveur et un examen manuel.
Apple a également déclaré qu'une fois que les utilisateurs ont franchi le seuil de 30 correspondances, un deuxième algorithme non public exécuté sur les serveurs d'Apple vérifiera les résultats.
"Ce hachage indépendant a été choisi pour rejeter la possibilité que le NeuralHash erroné corresponde à la base de données CSAM cryptée sur l'appareil en raison d'interférences contradictoires d'images non CSAM et dépasse le seuil de correspondance."
Brad Dwyer de Roboflow a trouvé un moyen de distinguer facilement les deux images publiées comme preuve de concept pour une attaque par collision.
Je suis curieux de savoir à quoi ressemblent ces images dans CLIP d'un extracteur de caractéristiques neurales similaire mais différent OpenAI.CLIP fonctionne de manière similaire à NeuralHash ;il prend une image et utilise un réseau de neurones pour générer un ensemble de vecteurs de caractéristiques qui correspondent au contenu de l'image.
Mais le réseau d'OpenAI est différent.C'est un modèle général qui peut mapper entre les images et le texte.Cela signifie que nous pouvons l'utiliser pour extraire des informations d'image compréhensibles par l'homme.
J'ai exécuté les deux images de collision ci-dessus via CLIP pour voir si elles étaient également trompées.La réponse courte est non.Cela signifie qu'Apple devrait être en mesure d'appliquer un deuxième réseau d'extraction de fonctionnalités (tel que CLIP) aux images CSAM détectées pour déterminer si elles sont réelles ou fausses.Il est beaucoup plus difficile de générer des images qui trompent deux réseaux en même temps.
Enfin, comme mentionné précédemment, les images sont examinées manuellement pour confirmer qu'elles sont CSAM.
Un chercheur en sécurité a déclaré que le seul risque réel est que quiconque voulant ennuyer Apple puisse fournir de faux positifs aux examinateurs humains.
"Apple a en fait conçu ce système, de sorte que la fonction de hachage n'a pas besoin d'être gardée secrète, car la seule chose que vous pouvez faire avec" non-CSAM en tant que CSAM "est d'ennuyer l'équipe de réponse d'Apple avec des images indésirables jusqu'à ce qu'ils implémentent des filtres pour éliminer analyse Ces ordures dans le pipeline sont de faux positifs », a déclaré Nicholas Weaver, chercheur principal à l'Institute of International Computer Science de l'Université de Californie à Berkeley, à Motherboard lors d'un chat en ligne.
La vie privée est une question de plus en plus préoccupante dans le monde d'aujourd'hui.Suivez tous les rapports liés à la confidentialité, à la sécurité, etc. dans nos directives.
Ben Lovejoy est un rédacteur technique britannique et rédacteur européen pour 9to5Mac.Il est connu pour ses chroniques et ses articles de journal, explorant son expérience avec les produits Apple au fil du temps pour obtenir des critiques plus complètes.Il écrit aussi des romans, il y a deux thrillers techniques, quelques courts métrages de science-fiction et une comédie romantique !
Heure de publication : 20 août 2021