Microsoft разрабатывает огромную AI-модель MAI-1 с 500 миллиардами параметров
Microsoft разрабатывает новую огромную языковую модель MAI-1, которая рассматривается как потенциальный конкурент аналогичным инструментам от Google и OpenAI. MAI-1, насчитывающая около 500 миллиардов параметров, направлена на расширение возможностей Microsoft в области искусственного интеллекта, особенно для поисковой системы Bing и облачных сервисов Azure.
Microsoft создает значительную новую языковую модель MAI-1, размер которой, составляющий примерно 500 миллиардов параметров, ставит ее в ряд крупнейших моделей в отрасли. Она предназначена для конкуренции с другими крупными моделями, такими как GPT-4 от OpenAI и Gemini Ultra от Google.
Параметры определяют способность модели понимать и генерировать язык. Модель с большим количеством параметров может лучше улавливать нюансы языка, но это также делает ее медленнее и требует больших вычислительных ресурсов. Параметры также определяют способность модели к изучению языка и влияют на ее точность и способность к обобщению в различных лингвистических задачах. Модель с хорошо настроенными параметрами может лучше обобщать новые данные, чем модель, обученная исключительно на одном наборе данных.
Разработку MAI-1 возглавляет Мустафа Сулейман, видная фигура в разработке AI, который присоединился к Microsoft после работы в Google и должности генерального директора Inflection AI. Модель строится с использованием серверных кластеров, оснащенных значительными ресурсами GPU, вероятно, с использованием технологии Nvidia. Данные для обучения MAI-1, по сообщениям, включают тексты, сгенерированные GPT-4, а также другой веб-контент, что обеспечивает ей надежную и разнообразную базу данных.
Разработка MAI-1 демонстрирует стремление Microsoft к самостоятельному развитию своих возможностей в области AI, отдельно от сотрудничества с внешними игроками, такими как OpenAI. Ожидается, что модель будет интегрирована в облачные сервисы Microsoft и потенциально сможет улучшить такие приложения, как Bing и Azure.
Несмотря на свой масштаб, сложность MAI-1 означает, что она предназначена для работы в центрах обработки данных Microsoft, что делает ее непригодной для работы на потребительских устройствах. Точные области применения модели и ее полные возможности все еще рассматриваются, и потенциальная презентация, вероятно, состоится на предстоящей конференции разработчиков Microsoft Build.