Branle-bas de combat pour la sécurité de l’IA

“Surveiller la cybersécurité de l’IA” (Qant, M. de R. avec Midjourney)

Face aux risques pesant sur les nouveaux systèmes de GenAI, l’Anssi française, l’Institut britannique pour la sécurité de l’IA et la NSA américaine multiplient recommandations et directives.

L'intelligence artificielle facilite l'accès à la cybercriminalité.” La directrice de la Cybersecurity and Infrastructure Security Agency (CISA) américaine, Jen Easterly, vient de résumer le problème en une phrase. En effet, l'IA permet à des personnes de moins en moins expérimentées de mener des attaques sophistiquées comme le phishing ou le clonage. Son gouvernement prend la menace au sérieux et l’inquiétude gagne l’Europe.

Aux États-Unis, le centre de sécurité sur l'IA créé par la NSA américaine en septembre dernier, l'AISC, a imposé aux fournisseurs de défense de veiller particulièrement sur les systèmes d'IA qu'ils déploient. Selon ses directives, les fournisseurs doivent notamment sécuriser les API et contrôler l'accès aux modèles, mais aussi surveiller le comportement de ces derniers et protéger les poids des modèles, en en rendant difficile toute modification (lire Qant du 17 avril).

Outre-Manche, la dynamique a été lancée par le sommet de Bletchley Park qui a accouché de la création d'un Institut britannique de Sécurité de l'IA (lire Qant du 6 novembre). Cette semaine, ce dernier a lancé Inspect, une bibliothèque logicielle de tests de sécurité pour l'intelligence artificielle (lire Qant du 14 mai). Ce nouvel outil, premier du genre soutenu par un État, permettra aux start-ups, aux chercheurs, aux développeurs et aux gouvernements d'évaluer les capacités

Côté français, l'Agence nationale de la sécurité des systèmes d'information (Anssi) vient de publier un guide constitué d'une trentaine de recommandations. L'objectif de ces dernières : minimiser le risque de cyberattaque sur un système alimenté par IA générative.

Surveiller l’entraînement, le déploiement, et la production

Le document vise à fournir des directives sur la mise en œuvre sécurisée de solutions d'intelligence artificielle générative, en particulier les LLM, au sein d'entités publiques et privées. L'agence explique que l'essor des technologies de l'IA générative, en particulier des LLM, a permis de nouvelles opportunités dans le domaine du traitement de données massives. Ces modèles peuvent générer des réponses en langage naturel à partir de vastes ensembles de données d'entraînement, et offrir ainsi des gains de productivité significatifs. Toutefois, leur intégration dans les systèmes d'information présente des risques pour la confidentialité et l'intégrité des données.

L'Anssi explique que la mise en œuvre d'un système d'IA générative se divise en trois phases principales : l'entraînement, le déploiement et la production. Chacune de ces phases nécessite des mesures de sécurité spécifiques adaptées aux menaces potentielles. Concernant la phase d'entraînement, l'agence préconise d'utiliser uniquement des données légitimement accessibles par les utilisateurs, de protéger l'intégrité des données d'entraînement par des vérifications systématiques, et d'éviter le ré-entraînement en production pour minimiser les risques d'attaques adverses et d'empoisonnement.

Pour la phase de déploiement des outils de GenAI, l'agence recommande d'opérer le déploiement depuis un système d'administration sécurisé et de prévoir des audits de sécurité et des tests de robustesse avant le déploiement en production. Enfin, il est nécessaire pendant la phase de production de mettre en place des filtres pour prévenir les fuites de données sensibles, de contrôler les interactions avec d'autres applications, et de journaliser les actions avec une granularité adéquate pour une traçabilité complète.

Intégration d’un système d’IA dans un SI existant (Source : Anssi)

Intégration d’un système d’IA dans un SI existant (Source : Anssi)

Une menace toujours plus diversifiée

Dans son guide, l'Anssi analyse les diverses cibles au sein des systèmes d'IA générative et les attaques potentielles : par manipulation (envoi de requêtes malveillantes pour perturber le système), par infection (altération des données d'entraînement pour insérer des portes dérobées, c'est-à-dire des accès non documentés au logiciel) ou encore par exfiltration ( le vol de données d'entraînement ou de paramètres du modèle).

Scénarios d’attaque sur un système d’IA générative dans un SI (Source : Anssi)

Scénarios d’attaque sur un système d’IA générative dans un SI (Source : Anssi)

Pour se prémunir contre ces menaces, l'Anssi explique qu'il est essentiel de sécuriser les données à chaque phase du cycle de vie du système d'IA. Cela inclut le chiffrement des données, le cloisonnement des environnements et la gestion rigoureuse des accès à privilèges.

Certaines recommandations ciblent des usages particuliers de l'IA générative, comme la génération de code source ou les services exposés au grand public. Pour le premier, l'Anssi préconise de proscrire l'exécution automatique de code généré par IA et contrôler systématiquement sa qualité. Concernant les services publics, elle recommande d'entraîner les modèles uniquement sur des données publiques et sécuriser rigoureusement les interactions avec les utilisateurs.

Pour en savoir plus :

L’essentiel