Microsoft desarrolla MAI-1, un modelo de IA masivo de 500.000 millones de parámetros
Microsoft está desarrollando un nuevo y enorme modelo de lenguaje, MAI-1, concebido para competir con herramientas similares de Google y OpenAI. Con aproximadamente 500.000 millones de parámetros, MAI-1 busca mejorar las capacidades de inteligencia artificial de Microsoft, en particular para su buscador Bing y los servicios en la nube de Azure.
Microsoft está construyendo un nuevo modelo de lenguaje significativo, MAI-1, cuyo tamaño de aproximadamente 500.000 millones de parámetros lo sitúa entre los modelos más grandes de la industria. Su objetivo es competir con otros modelos importantes como GPT-4 de OpenAI y Gemini Ultra de Google.
Los parámetros determinan la capacidad de un modelo para comprender y generar lenguaje. Un modelo con más parámetros puede captar mejor los matices del lenguaje, pero esto también lo hace más lento y computacionalmente más intensivo. Los parámetros también definen la capacidad del modelo para el aprendizaje del lenguaje e influyen en su precisión y capacidad para generalizar a través de diferentes tareas lingüísticas. Un modelo con parámetros bien ajustados puede generalizar mejor a nuevos datos que uno entrenado únicamente con un solo conjunto de datos.
El desarrollo de MAI-1 está liderado por Mustafa Suleyman, una figura destacada en el desarrollo de la IA que se unió a Microsoft tras su experiencia en Google y su cargo como CEO de Inflection AI. El modelo se está construyendo utilizando clústeres de servidores equipados con importantes recursos de GPU, probablemente utilizando tecnología Nvidia. Los datos de entrenamiento de MAI-1 incluyen, según se informa, texto generado por GPT-4, así como otros contenidos web, lo que le proporciona una base de datos robusta y diversa.
El desarrollo de MAI-1 demuestra el compromiso de Microsoft de avanzar en sus capacidades de IA de forma independiente, al margen de sus colaboraciones con actores externos como OpenAI. Se espera que el modelo se integre en los servicios en la nube de Microsoft y podría mejorar potencialmente aplicaciones como Bing y Azure.
A pesar de su escala, la complejidad de MAI-1 implica que está diseñado para ejecutarse en los centros de datos de Microsoft, lo que lo hace inadecuado para funcionar en dispositivos de consumo. Las aplicaciones exactas del modelo y sus capacidades completas aún se están considerando, con una posible revelación probablemente en la próxima conferencia de desarrolladores Build de Microsoft.