Microsoft développe MAI-1, un modèle d'IA massif de 500 milliards de paramètres
Microsoft développe un nouveau modèle linguistique colossal, MAI-1, envisagé comme un rival potentiel aux outils similaires de Google et OpenAI. Avec environ 500 milliards de paramètres, MAI-1 vise à améliorer les capacités d'intelligence artificielle de Microsoft, en particulier pour son moteur de recherche Bing et ses services cloud Azure.
Microsoft construit un nouveau modèle linguistique important, MAI-1, dont la taille d'environ 500 milliards de paramètres le place parmi les plus grands modèles de l'industrie. Il est destiné à concurrencer d'autres modèles majeurs tels que GPT-4 d'OpenAI et Gemini Ultra de Google.
Les paramètres déterminent la capacité d'un modèle à comprendre et à générer du langage. Un modèle avec plus de paramètres peut mieux saisir les nuances du langage, mais cela le rend également plus lent et plus gourmand en calcul. Les paramètres définissent également la capacité du modèle à apprendre le langage et influencent sa précision et sa capacité à généraliser à travers différentes tâches linguistiques. Un modèle avec des paramètres bien réglés peut mieux se généraliser à de nouvelles données qu'un modèle entraîné uniquement sur un seul ensemble de données.
Le développement de MAI-1 est dirigé par Mustafa Suleyman, une figure éminente du développement de l'IA qui a rejoint Microsoft après avoir travaillé chez Google et avoir été PDG d'Inflection AI. Le modèle est construit à l'aide de clusters de serveurs équipés d'importantes ressources GPU, utilisant probablement la technologie Nvidia. Les données d'entraînement de MAI-1 comprendraient du texte généré par GPT-4, ainsi que d'autres contenus web, lui fournissant une base de données robuste et diversifiée.
Le développement de MAI-1 démontre l'engagement de Microsoft à faire progresser ses capacités en IA de manière indépendante, distincte de ses collaborations avec des acteurs externes comme OpenAI. Le modèle devrait être intégré aux services cloud de Microsoft et pourrait potentiellement améliorer des applications telles que Bing et Azure.
Malgré son échelle, la complexité de MAI-1 signifie qu'il est conçu pour fonctionner dans les centres de données de Microsoft, le rendant inadapté au fonctionnement sur des appareils grand public. Les applications exactes et les capacités complètes du modèle sont encore à l'étude, avec une révélation potentielle probable lors de la prochaine conférence Microsoft Build pour les développeurs.