Les poids des modèles d'IA représentent des investissements majeurs en données, en algorithmes et en ressources informatiques. Par exemple, l'entraînement de modèles avancés comme GPT-4 a nécessité des années de calculs sur des milliers de GPU et des centaines de millions de dollars. La compromission de ces poids permettrait à un attaquant de disposer d'un accès direct à l'élément central du travail d'une organisation en IA, avec la capacité presque illimitée de les exploiter à des fins malveillantes.
Un récent rapport de Rand Corporation identifie 38 vecteurs d'attaque distincts, répartis en neuf catégories, soulignant la diversité des menaces auxquelles les modèles d'IA sont exposés. Ces vecteurs vont de techniques de piratage classiques, comme l'exploitation de vulnérabilités non corrigées et le phishing, à des méthodes plus sophistiquées comme les attaques spécifiques à l'IA, y compris l'extraction de modèles et la compromission de la chaîne d'approvisionnement de l'IA.
Des attaquants aux capacités diverses
Le rapport classe les attaquants en cinq catégories, allant des amateurs aux institutions les plus capables au monde. Par exemple, des attaques comme l'accès physique non autorisé aux systèmes sensibles ou l'intrusion par des portes dérobées nécessitent des ressources considérables, souvent accessibles uniquement aux États ou aux grandes organisations criminelles.
On trouve ainsi des cas où des États ont réussi à compromettre des systèmes critiques. En 2011, les agences de renseignement américaines ont mené 231 opérations cyber offensives. Elles avaient prévu de placer des millions d'implants pour l'espionnage et le sabotage. De plus, des budgets énormes sont alloués à ces opérations : en 2020, le département de la Défense des États-Unis a alloué 3,7 milliards de dollars (3,4 milliards d'euros) aux opérations cyber, avec un supplément de 2,6 milliards de dollars (2,4 milliards d'euros) pour la formation.
Un plan d'action à adopter
Pour contrer ces menaces, le rapport de la Rand propose plusieurs recommandations clés pour les organisations de pointe en IA :
- Développer un plan de sécurité global axé sur la prévention de l'accès non autorisé et du vol des poids des modèles.
- Centraliser les copies des poids dans un nombre limité de systèmes contrôlés et surveillés.
- Réduire le nombre de personnes autorisées à accéder aux poids.
- Renforcer les interfaces d'accès aux modèles pour éviter l'exfiltration des poids.
- Implémenter des programmes de menace interne pour détecter et prévenir les actions malveillantes de la part des employés.
- Investir dans la défense en profondeur, avec plusieurs couches de contrôles de sécurité pour fournir une redondance en cas de défaillance de certains contrôles.
- Engager des équipes de simulation d'attaques avancées, capables de simuler raisonnablement les menaces pertinentes.
- Incorporer l'informatique confidentielle pour sécuriser les poids pendant leur utilisation et réduire la surface d'attaque.
Une sécurité future plus stricte
Pour sécuriser les modèles futurs contre les acteurs les plus capables, des stratégies plus strictes seront nécessaires. Cela inclut, par exemple, des limitations physiques de bande passante entre les dispositifs ou réseaux contenant les poids et le monde extérieur, ainsi que le développement de matériel sécurisant les poids, tout en fournissant une interface pour l'inférence, similaire aux modules de sécurité matériels dans le domaine cryptographique.
Le rapport de la Rand Corporation met en évidence la nécessité d'une compréhension et d'une coopération accrues entre les développeurs d'IA et les décideurs politiques pour sécuriser efficacement les modèles d'IA contre une diversité croissante de menaces. Pour les organisations souhaitant protéger leurs modèles de pointe, l'adoption de ces mesures de sécurité est cruciale pour prévenir les risques de vol et de mauvaise utilisation des poids des modèles d'IA.
Une inquiétude mondiale
La Rand Corporation n'est pas la seule à alerter sur les risques de cybersécurité qui pèsent sur les modèles d'IA. Ces derniers mois, l'Anssi française, l'Institut britannique pour la sécurité de l'IA et la NSA américaines ont ainsi multiplié recommandations et directives (lire Qant du 17 mai).
Aux États-Unis, le centre de sécurité sur l'IA créé par la NSA américaine en septembre dernier, l'AISC, a imposé aux fournisseurs de défense de veiller particulièrement sur les systèmes d'IA qu'ils déploient. Selon ses directives, les fournisseurs doivent notamment sécuriser les API et contrôler l'accès aux modèles, mais aussi surveiller le comportement de ces derniers et protéger les poids en en rendant difficile toute modification (lire Qant du 17 avril).
D’open source à open weight
La question des poids des modèles et de leur sécurité est bien française, grâce à des créateurs de modèles de fondation comme Mistral (lire Qant du 11 décembre 2023, Poolside, ou plus récemment H (lire Qant du 22 mai). En France ou ailleurs, les enjeux de sécurité des modèles posent la question du choix de l'open source, qui est par exemple celui de Mistral. Les modèles open source offrent en effet un accès complet au code et à la structure du modèle. Ils sont à distinguer des modèles "open weight", qui rendent publics les poids du modèle entraîné. Ils permettent aux utilisateurs de télécharger ces poids et de les utiliser directement dans leurs propres environnements. On peut citer parmi les principaux modèles open weight Flanmingo de DeepMind, Lamda ou encore le franco-américain Bloom.
Au-delà des fabricants de modèles de fondation, les enjeux de l'open source et de l'open weight touchent ainsi les entreprises et les États qui, comme la France, font le choix de l'open source pour développer des applications, et ce pour des questions de souveraineté.
Pour en savoir plus :