Grok-1: Часть языковой модели стала Open Source

Grok-1 — это мощная модель Mixture-of-Experts (MoE) с 314 миллиардами параметров, разработанная xAI с нуля. Архитектура MoE означает, что модель использует специализированные подсети («экспертов») и динамически направляет входные токены к наиболее релевантным экспертам, что обеспечивает большую эффективность обучения и вывода по сравнению с монолитными моделями аналогичного размера. Открытая публикация включала веса базовой модели и архитектуру сети под разрешительной лицензией Apache 2.0, которая разрешает коммерческое использование и модификацию с указанием авторства.

Однако, выпуск заметно не включал данные обучения или конкретный код тонкой настройки, использованный для создания чат-бота Grok, доступного на платформе X (ранее Twitter). Это означает, что Grok-1 с открытым исходным кодом представляет собой необработанную, предварительно обученную контрольную точку базовой модели (от октября 2023 года) и не воспроизводит напрямую поведение или возможности доступа к информации в реальном времени тонко настроенного чат-бота, интегрированного с X. Сами файлы модели являются значительными и распространяются через magnet-ссылку, ведущую к торрент-загрузке объемом около 300 ГБ.

Этот выпуск был значительным, поскольку сделал одну из крупнейших языковых моделей на тот момент доступной для общественности, что позволило исследователям изучить ее архитектуру и веса. Тем не менее, отсутствие деталей тонкой настройки и данных обучения ограничило ее непосредственную «из коробки» пригодность для создания прямых конкурентов отточенным чат-ботам, что заставило некоторых усомниться в практическом влиянии за пределами исследований.

Этот шаг соответствовал более широкой критике Маском компаний, таких как OpenAI (которую он соосновал, но позже покинул), обвиняя их в отказе от первоначальных принципов открытого исходного кода в погоне за прибылью.

Чат-бот Grok и его рыночный контекст

Чат-бот Grok, изначально работавший на модели Grok-1, был запущен для платных подписчиков на X в ноябре 2023 года. Он был разработан для ответов на вопросы «с долей остроумия и бунтарским духом», используя доступ к информации в реальном времени с платформы X. Он позиционировал себя как альтернативу другим AI чат-ботам, таким как ChatGPT от OpenAI, предлагая отличительную индивидуальность и доступ к самым свежим данным. Бенчмарки, опубликованные xAI, показали, что Grok-1 демонстрирует конкурентоспособную производительность в различных задачах, включая результат 62,9% в математическом бенчмарке GSM8k.

Стратегическое значение открытой публикации Grok-1

Открывая исходный код базовой модели Grok-1, xAI стремилась предоставить широкий доступ к базовой технологии, в отличие от ограниченного доступа, предлагаемого многими другими ведущими моделями AI. Выпуск приобрел известность на фоне растущей напряженности и судебных споров между Маском и OpenAI, подчеркивая продолжающуюся критику Маском компаний AI, которые ставят прибыль выше безопасности и прозрачности.

Обновление (апрель 2025 г.):

Хотя открытие исходного кода Grok-1 в марте 2024 года было заметным событием, последующие события прояснили подход xAI. С момента выпуска Grok-1:

• Grok-1.5 (анонсирован в марте 2024 г.) и Grok-1.5V (Vision, анонсирован в апреле 2024 г.) представили улучшенные возможности и мультимодальность, но не были открыты. Они были предоставлены ранним тестировщикам и премиум-пользователям на X.
• Grok-2 (анонсирован в августе 2024 г.), отличающийся дальнейшими улучшениями и генерацией изображений, также не был открыт, несмотря на некоторые более ранние спекуляции или заявления, предполагающие, что предыдущие версии могут быть открыты по мере появления новых.
• Grok-3 (анонсирован в феврале 2025 г.), последняя итерация, остается проприетарной и в основном доступна через уровни подписки X.

Таким образом, на данный момент только исходные веса и архитектура базовой модели Grok-1 были выпущены под лицензией open source. Более продвинутые и тонко настроенные модели xAI остаются закрытыми и являются частью их коммерческого предложения через платформу X, что умеряет первоначальные ожидания, установленные выпуском Grok-1, относительно полностью открытого пути разработки для их флагманских моделей.