Reda Taleb 
Sur le site web d’OpenAI, l’expression « IA sécurisée et bénéfique » accueille le visiteur avant de basculer sur l’écran de ChatGPT. Manifestement, nous sommes davantage dans le vœu pieux que dans la garantie factuelle. Il y a quelques jours, des chercheurs de Google ont révélé une « astuce » pour pousser ChatGPT à divulguer des informations confidentielles sur ses utilisateurs. Explications…
Les mots « poem » et « company » provoquent un dysfonctionnement
L’adoption massive de ChatGPT au cours de l’année écoulée repose sur la collecte de plus de 300 milliards de fragments de données provenant de différentes sources en ligne : articles de presse, publications scientifiques, sites web d’entreprises, journaux, livres, réseaux sociaux, etc.
Bien qu’OpenAI ait pris des mesures en faveur de la confidentialité des données suite aux nombreuses polémiques qui ont rythmé l’année, les fuites se poursuivent à un rythme alarmant. Dans une étude empirique, des chercheurs de Google ont découvert qu’ils pouvaient utiliser des mots-clés pour inciter ChatGPT à puiser dans sa base de données et à divulguer des données sensibles issues de son corpus de training.
« Pour moins de 200 dollars de tokens sur l’API, nous avons pu extraire plus de 10 000 textes uniques utilisés pour la formation du modèle de GPT », ont-ils expliqué sur arXiv. « Il suffit d’augmenter le budget pour les tokens pour extraire davantage de données sensibles ».
Ils ont pu obtenir des noms, des numéros de téléphone et des adresses postales d’individus et d’entreprises en alimentant ChatGPT avec « des commandes absurdes » qui semblent provoquer un dysfonctionnement. Par exemple, les chercheurs demandaient à ChatGPT de répéter indéfiniment le mot « poem », en anglais. Manifestement, ce mot force le modèle à « revenir à son objectif initial de modélisation de la langue » et à puiser dans des détails restreints de ses données de formation.
De même, en demandant la répétition infinie du mot « Company », ils ont pu récupérer l’adresse email et le numéro de téléphone d’un cabinet d’avocats américain.
ChatGPT semble révéler des données sensibles « à la demande »
Craignant des divulgations de données non autorisées, certaines entreprises ont imposé des restrictions sur l’utilisation des modèles de langage à grande échelle par leurs employés. Apple a par exemple bloqué l’accès à certains outils d’IA en interne, notamment ChatGPT Copilot, l’assistant IA de GitHub.
Rappelons qu’au printemps dernier, des données confidentielles sur les serveurs de Samsung ont été divulguées au grand public. Il s’agissait notamment de codes source de sites web du géant sud-coréen et de retranscriptions de réunions internes. La fuite est survenue quelques jours après la levée de l’interdiction de l’IA en interne par Samsung.
En réponse aux préoccupations croissantes concernant les violations de données, OpenAI a ajouté une fonctionnalité qui désactive l’historique de conversation. Mais ces données sont tout de même conservées pendant 30 jours avant d’être définitivement supprimées.
Dans un billet de blog, les chercheurs de Google ont déclaré : « OpenAI revendique 100 millions de d’utilisateurs de ChatGPT par semaine. C’est donc plus d’un milliard d’heures-personnes qui ont interagi avec le modèle. Sauf erreur de notre part, c’est la première fois que la tendance de ChatGPT à divulguer des informations sensibles à la demande est révélée ».
