1,7 million de dollars. C’est le prix que paiera Daniel Kokotajlo, un ancien employé d'OpenAI, si la société fait jouer les clauses anti-dénigrement qui lui permettent de récupérer les actions qui lui ont été attribuées. En cause : la lettre ouverte qu’il vient de signer avec 11 de ses anciens collègues – seuls ceux qui sont déjà partis, toutefois, ont accepté que leurs noms soient publiés.
Plus sereins, deux employés de Google Deepmind les ont rejoints, ainsi que le père du deep learning Geoffrey Hinton. Lawrence Lessig, l’un des créateurs du droit du numérique, assurera leur défense comme il avait défendu, contre Meta, la donneuse d’alerte Frances Haugen.
L’AGI pour 2027 … ou avant
En cause : les risques existentiels que pose l’IA. Daniel Kokotajlo estime qu’il y a une chance sur deux pour que l’intelligence artificielle générale arrive avant 2027 et, ensuite, deux chances sur trois qu’elle cause des dommages irrémédiables à l’humanité. Or, les entreprises qui créent ces modèles ont des "incitations financières fortes" à limiter la surveillance et accélérer le développement.
Les entreprises d'IA détiennent des informations sur les risques liés à la technologie sur laquelle elles travaillent, mais en l'absence d'obligation de divulgation aux gouvernements, les véritables capacités de leurs systèmes restent secrètes. Le décret exécutif de l’an dernier (lire Qant du 31 octobre 2023) fixe en effet un seuil de 100 exaflops pour la déclaration du modèle en entraînement aux autorités, ce qui est souvent considéré comme trop élevé.
Les insiders, dernier rempart
En l’absence d’un organisme de régulation, comparable à la SEC pour la finance, arguent les signataires, seuls les employés d’une société peuvent alerter le public si celle-ci fait passer les profits devant la prudence et lance des modèles qui pourront aggraver les inégalités, augmenter la désinformation voire causer des pertes humaines importantes. "Les protections ordinaires des lanceurs d'alerte sont insuffisantes car elles se concentrent sur des activités illégales, tandis que nombreux des risques que nous signalons ne sont pas encore réglementés", écrivent les signataires.
La lettre appelle les entreprises d'IA à s'engager sur divers principes pour permettre une plus grande transparence et des protections pour les lanceurs d'alerte. Parmi ceux-ci, un engagement à ne pas conclure ou appliquer des accords interdisant la critique des risques et la mise en place d'un processus anonyme pour que les employés puissent manifester leurs préoccupations, mais aussi l’engagement à ne pas mener de représailles contre les lanceurs d’alerte dans l’IA.
Du rififi chez OpenAI
Chez OpenAI, la vague soulevée par le licenciement et la réintégration de Sam Altman en novembre (lire Qant du 22 novembre 2023) n’en finit pas de retomber. Le départ du co-fondateur d'OpenAI Ilya Sutskever et du chercheur Jan Leike (lire Qant du 15 mai) a révélé les accords de non-dénigrement que les anciens employés devaient signer, sous peine de perdre leurs actions. Et il a contraint l’entreprise à créer un nouveau comité de sécurité (lire Qant du 29 mai).
Dans une interview à TED AI la semaine dernière, Helen Toner, ancienne membre du conseil d'administration d'OpenAI, a déclaré que l'une des raisons de la décision de l'organisation de retirer Sam Altman de son poste de CEO l'année dernière était son manque de communication franche sur la sécurité.
Avec la bénédiction d’Hinton et de Bengio
La lettre a été cosignée par des figures emblématiques de l'IA, comme Yoshua Bengio, Geoffrey Hinton et Sturat Russell. Leurs inquiétudes avaient marqué le débat l’an dernier (lire Qant du 29 mars 2023, et du 23 novembre 2023). Cela avait donné au premier sommet sur l’IA, en novembre, une forte empreinte sur la sécurité.
Après le manifeste techno-optimiste, menés par Marc Andreessen (lire Qant du 18 octobre 2023, les “e-accélérationnistes” ont pris le dessus. Le sommet de Paris sur l’IA, en février 2025, veut ainsi proposer de l’action, et non seulement de la sécurité. Et l’échéance se rapproche.
Daniel Kokotajlo n’est pas seul à soutenir que l’arrivée de l’AGI est imminente. Un autre ancien employé d’OpenAI, Leopold Aschenbrenner, se fait l’interprère de ce qui semble être le consensus au sein d’OpenAI : l’IA générale devrait arriver d’ici à 2027.
Source : Leopold Aschenbrenner (@LEOPOLDASCHand, X)
Il est facile de réfuter une extrapolation linéaire comme base de prédiction. De plus, Sam Altman a multiplié les déclarations indiquant que l’arrivée de l’AGI ne viendrait pas d’un événement ponctuel, comme le lancement d’un modèle, mais du renforcement progressif des capacités de l’IA
Cela n’ôterait rien à ses dangers. Selon un sondage de l'AI Policy Institute, 83 % des Américains croient que l'IA pourrait accidentellement entraîner un événement catastrophique. De plus, 82 % ne font pas confiance aux dirigeants technologiques pour autoréguler l'industrie.
Et visiblement, les employés de ces derniers non plus.
Pour en savoir plus :