Sous macOS, 2 chercheurs nommés Dario Pasquini et Michał Bazyli ont trouvé une variable mystérieuse nommée photosPersonPosteriorProbabilityGivenSaturdayNight qui fait partie des 144 entrées de deux modèles CoreML livrés avec macOS (EntityTagging_Family et EntityTagging_FamilyAndFriends). Ces classificateurs XGBoost indique pour chaque personne la probabilité qu'elle soit de votre famille ou de votre cercle d'amis.

Sur ces 144 variables, 20 portent sur l'identité (même nom, même adresse, membre du Partage familial), 40 sur vos échanges et 84 sur les photos où vous apparaissez ensemble... Le reste étant décliné ensuite par jour, par moment de la journée et par lieu. Et vos échanges avec ces personnes sont transcrits en tant que métadonnées : qui, quand, par quel canal.

Ces scores atterrissent ensuite dans une base à part, entityTagging.db. Dans le dossier ~/Library/IntelligencePlatform, on trouve aussi deux daemons, knowledgeconstructiond et intelligenceplatformd, qui remplissent à eux seuls +50 bases SQLite bien bien stockées en clair .

Dans le graphe lui-même, graph.db, entrent ensuite vos contacts, les visages extraits de l'app Photos, le Calendrier, le Partage familial avec l'âge de chacun des membres, le contact d'urgence de la fiche médicale de Santé, ainsi que les événements et contacts que les suggestions de Siri repèrent dans Mail et Messages. À côté, il y a aussi d'autres petites tables qui conservent un journal des communications (qui, quand, quelle app, dans quel sens, mais sans le contenu) et tous vos déplacements.

Voilà... ça fait beaucoup de données privées collectées par nos appareils Apple qu'on peut maintenant explorer tranquillement grâce à cette méthode d'Alexis Brigoni et un outil que je vous propose d'installer :

Regarder votre propre graphe avec iKnow

Les auteurs du papier de recherche ont publié iKnow , dispo sous licence Apache 2.0 qui est un petit serveur en Python 3, sans dépendance, qui n'écoute que sur 127.0.0.1 et ouvre en lecture seule le graphe, mais aussi Messages, Photos, Calendrier et Contacts.

Pour que ça fonctionne, il faudra que votre terminal ait un accès complet au disque donc pensez bien à l'activer dans les Réglages Système, Confidentialité et sécurité, Accès complet au disque. Ajoutez Terminal (ou iTerm, ou votre éditeur), puis quittez-le complètement et relancez-le, puisque la permission n'est prise en compte qu'au lancement.

Terminal coché dans Accès complet au disque

Relancez ensuite Terminal vous-même et tapez les lignes de commande suivantes :

git clone https://github.com/8rank/iKnow.git
cd iKnow
python3 server.py

Au lancement, le serveur marque ok ou DENY à côté de chaque base. Il affiche ensuite un lien du type http://127.0.0.1:8765/?token=… avec un jeton neuf à chaque lancement. Ouvrez ce lien.

Le serveur démarré : ok partout, sauf Contacts, faute de compte sur cette machine de test

Comme j'étais sur une VM, il n'y avait pas de compte iCloud ni Google configuré, donc il ne m'a pas sorti directement mes contacts, etc. Par contre, j'ai fini par l'installer directement sur ma machine de tous les jours. Là, j'ai bien récupéré les datas.

La page d'accueil d'iKnow, rendue avec des données inventées : aucun nom n'y est réel

Dans la barre latérale d'iKnow, notez qu'il y a un switch qui permet de masquer visuellement les données perso, ce qui m'a permis de faire sereinement mes captures d'écran.

Sur mon ordi, le graphe a été créé initialement le 19 septembre 2024 et compte actuellement 35 953 faits, sur 3 876 entités dont 3 038 personnes et 712 logiciels. La table des scores de parenté indique l'existence de 3 052 personnes et l'outil y compte aussi 214 relations précises sur 27 personnes.

Mon graphe c'est 35 953 faits sur 3 876 entités, dont 78 % de personnes

La table des scores de parenté, avec les noms remplacés par des substituts

La page Who else reads it est peut-être la plus parlante puisque chez moi, 31 vues dérivées sont abonnées à mon graphe personnel. Cela veut dire que d'autres appareils chez moi accèdent à ce graph.

Qui d'autre lit le graphe sur mon Mac : 31 vues abonnées, 9 autres appareils

Apple en sait donc beaucoup plus sur notre identité et nos liens inter-humains que ce qu'on pourrait penser, et iKnow nous permet d'en prendre conscience en nous permettant d'aller fouiller dans tous ces graphs présents sur nos iPhones et nos Mac.

Certes, l'application est un peu complexe parce qu'il y a beaucoup de données, et ce serait rigolo, je trouve, d'en faire quelque chose de beaucoup plus accessible qui finalement listerait un peu qui sont nos VRAIS amis et qui n'est pas notre VRAIE famille puisqu'Apple, apparemment, sait mieux que nous avec qui nous tissons des liens plus ou moins forts.

source

Comments

En France, même si ça les défrise, un policier ou un gendarme en service ne peut pas s'opposer à ce qu'on l'enregistre (vidéo, photo et son), tant qu'on n'est pas dans un lieu privé. C'est la Défenseure des droits qui l'a rappelé dans un avis de 2020, en s'appuyant sur une circulaire de 2008 du ministère de l'Intérieur, excluant aussi qu'on vous interpelle ou qu'on vous retire votre matériel pour ça .

J'irais même plus loin en disant que filmer est même un devoir, tant ça peut vite déraper d'un côté comme de l'autre...

Bref, filmer est donc un droit acquis, mais publier l'enregistrement c'est autre chose... Le Conseil constitutionnel ayant censuré en 2021 le délit de provocation à l'identification des policiers prévu par la loi Sécurité globale, parce que le texte était trop imprécis, il ne nous reste que l' article 223-1-1 du Code pénal , qui punit de 3 ans de prison et 45 000 euros d'amende le fait de diffuser des informations permettant d'identifier quelqu'un dans le but de l'exposer à un risque direct d'atteinte. Et ça monte à 5 ans et 75 000 euros si la personne est dépositaire de l'autorité publique.

En langage clair et en théorie, cela veut dire que publier le visage d'un policier ne suffit pas à faire un délit... C'est l'intention d'exposer qui doit être prise en compte, et la LDH le rappelle, il n'y a aucune obligation légale qui impose de flouter les agents.

Reste que flouter est LE choix de la prudence, parce qu'une vidéo est là pour documenter des faits et pas pour afficher des personnes. Et surtout ça vous évite tout procès d'intention. La Défenseure des droits juge d'ailleurs que publier des images d'interventions de police est légitime et nécessaire dans une société démocratique, donc même s'il y floutage de visage, ça ne retire rien au document : les gestes, les mots et le contexte restent à l'image.

Mais attention, le floutage ne vous protège pas non plus de tout puisque si vous n'êtes ni journaliste ni en train de constituer une preuve en justice, diffuser des images de violences peut vous exposer à 5 ans de prison, au titre de l'article 222-33-3, d'après ce qu'explique la LDH.

Après, en ce qui concerne le visage des manifestants, c'est également très bien de les flouter puisque le fichier TAJ des antécédents judiciaires peut être interrogé par reconnaissance faciale, et le Sénat a dénombré 498 871 consultations de ce type en 2021 rien pour la seule police nationale. Donc j'imagine pas en 2026...

Reste le côté "pratique" de la chose, parce que flouter une vidéo à la main, image par image, c'est pas si simple quand on ne maitrise pas les outils de montage vidéo. Mais il y a une application web libre nommée Masque du collectif onestla.tech qui vous permet d'uploader des photos, en lot (avec ZIP à la sortie), ou une vidéo, et celui-ci masquera tous les visages. Tout se passe uniquement dans votre navigateur (rien n'est envoyé sur des serveurs tiers) et une fois chargée l'appli peut même fonctionner offline sur votre téléphone par exemple.

Chaque masque peut ainsi être revu avant l'export, et pour un visage raté, il suffit de glisser le doigt ou la souris dessus pour l'ajouter. Le fichier qui sort ensuite a été totalement nettoyé de ses métadonnées (ni EXIF, ni GPS, ni date de création) et porte un nom aléatoire. Comparé au floutage ou à la mosaïque, notez que le style "Solid" qui met un calque noir ou Emoji sur les visages sont les plus safe pour protéger l'anonymat des personnes.

Après, oui, la détection automatique peut manquer des visages, et les vêtements, les tatouages, les banderoles ou encore les lieux permettent évidemment d'identifier encore des gens donc là faudra se relever un peu plus les manches pour sécuriser à fond la vidéo Et pour le son, si vous en avez besoin, Masque propose une option "Supprimer le son" en précisant que les voix peuvent également permettre d'identifier des personnes, donc pensez-y avant de publier si le son n'a pas d'utilité. Sinon, trouvez un outil pour modifier les voix afin qu'on puisse quand même savoir ce qui est dit mais sans reconnaitre la voix des personnes.

Voilà, ce projet est tout jeune mais je l'ai trouvé bien utile. Et si vous filmez pour documenter, gardez bien évidemment l'original dans un endroit safe que vous maîtrisez, sachant que votre téléphone l'a peut-être déjà envoyé dans un cloud.

Ah et si Masque ne vous convient pas, il y a aussi deface , que j'avais déjà présenté et dont Masque reprend le modèle de détection.

C'est un outil en ligne de commande qui tourne sous Linux, Windows et macOS, python3 -m pip install deface puis deface video.mp4, qui détecte les visages image par image et les floute ou les cache sous des boîtes noires. Pas d'interface graphique prévue cependant et l'audio est viré par défaut.

Et pour les photos uniquement, tout le monde l'ignore mais Signal a un outil de floutage dans son éditeur d'images depuis 2020, sur Android et iOS, avec un traitement à 100% local. Sa détection, elle non plus, ne trouve pas tous les visages à coup sûr, d'où le pinceau pour flouter à la main ce qu'elle a raté mais c'est aussi très pratique. Ah et j'avais aussi parlé de cet outil gratuit pour anonymiser les photos de manifs si vous voulez en essayer encore un autre.

Bref, filmez partout et tout le temps mais pensez bien à flouter avant de publier quoi que ce soit et surtout à garder l'original au chaud pour aider les victimes plus tard.

Source : le dépôt de Masque