Ilya Sutskever lance Safe Superintelligence Inc.

La création de Safe Superintelligence Inc. a été officiellement annoncée le 19 juin 2024, via une publication d'Ilya Sutskever sur X (anciennement Twitter), comme l'ont rapporté des médias tels que le New York Times, Time et CNBC. La mission unique de SSI est de développer une IA qui surpasse significativement l'intelligence humaine tout en garantissant qu'elle reste sûre et bénéfique. De manière unique, SSI a l'intention de se concentrer uniquement sur cet objectif – créer une superintelligence sûre – protégeant son travail des pressions commerciales à court terme, des frais généraux de gestion ou des cycles de produits qui affectent de nombreux laboratoires d'IA actuels. L'entreprise vise à relever les défis techniques fondamentaux de la construction d'une superintelligence sûre, distinguant peut-être sa focalisation sur la sécurité des concepts adjacents tels que la confiance et la sécurité opérationnelles, ou même les paradigmes de sécurité nucléaire.

Rejoignent Ilya Sutskever en tant que cofondateurs de Safe Superintelligence Inc. :

1. Daniel Gross : Ancien responsable de l'IA chez Apple, où il a travaillé sur les initiatives d'IA et de recherche de l'entreprise jusqu'en 2017, et investisseur/entrepreneur reconnu.
2. Daniel Levy : Ancien membre du personnel technique et chercheur chez OpenAI qui a précédemment collaboré avec Sutskever.

Sutskever occupera le poste de scientifique en chef de SSI, chargé de superviser les avancées révolutionnaires. L'entreprise a établi des bureaux à Palo Alto, en Californie, et à Tel Aviv, en Israël.

Le départ de Sutskever d'OpenAI en mai 2024 a fait suite à son implication dans une tentative d'évincer le PDG Sam Altman en novembre 2023. Après la réintégration d'Altman, Sutskever a exprimé des regrets pour ses actions et a soutenu la décision du conseil d'administration, bien qu'il ait par la suite perdu son siège au conseil et que son rôle ait diminué. Avant de partir, Sutskever a codirigé l'équipe "Superalignment" d'OpenAI aux côtés de Jan Leike, un groupe spécifiquement axé sur les défis de sécurité à long terme de l'IA hautement performante. Leike a démissionné peu de temps avant Sutskever, déclarant publiquement ses préoccupations quant au fait que la culture et les processus de sécurité avaient "reculé derrière les produits brillants" chez OpenAI.

Le lancement de SSI intervient dans un contexte de préoccupations croissantes au sein de la communauté de l'IA concernant les implications de sécurité et éthiques des systèmes d'IA avancés. La nouvelle entreprise de Sutskever souligne l'importance cruciale de la sécurité dans le développement de l'IA, visant à aborder directement les obstacles techniques à la création d'une superintelligence vérifiablement sûre. Cette forte concentration sur la sécurité est particulièrement pertinente compte tenu des récents départs très médiatisés d'OpenAI, comme celui de Jan Leike, qui ont mis en évidence les tensions entre l'avancement rapide des capacités et l'atténuation des risques à long terme.