Google Gemini: Понимание мощного мультимодального ИИ от Google

Сразу после анонса флагманская модель Gemini Ultra показала передовые результаты в ряде академических тестов. Особенно выделяется результат в 90.0% в MMLU (Massive Multitask Language Understanding) – это один из первых случаев, когда модель заявила о превосходстве над экспертами-людьми в этом тесте.

MMLU – это всесторонний тест для оценки знаний и навыков решения задач ИИ-моделей в 57 различных областях, от математики и физики до истории, права, медицины и этики. Высокий балл в MMLU говорит о широте понимания и развитых способностях к рассуждению, критически важных для решения сложных лингвистических задач в реальном мире.

Семейство моделей Gemini представлено в трех вариантах размера, каждый из которых оптимизирован под конкретные задачи:

• Gemini Ultra: Самая большая и мощная модель, предназначенная для очень сложных задач, требующих глубокого анализа и креативности. Доступ предоставляется через подписку Gemini Advanced.
• Gemini Pro: Универсальная модель, сочетающая высокую производительность и масштабируемость, подходит для широкого спектра задач. Используется в стандартном чат-боте Gemini и доступна разработчикам через API.
• Gemini Nano: Самая энергоэффективная модель, оптимизированная для работы прямо на устройствах пользователей, таких как смартфоны (например, для функций Google Pixel и Gboard), обеспечивая возможности ИИ даже в офлайн-режиме.

Все модели Gemini построены на архитектуре "трансформер-декодер", как и другие передовые большие языковые модели, и используют богатый опыт Google в этой сфере. Они обладают окном контекста в 32 768 токенов, что позволяет обрабатывать большие объемы данных. Ключевое отличие – нативная мультимодальность: модели изначально обучались на разных типах данных, что обеспечивает более глубокое и целостное понимание информации, чем у моделей, где мультимодальность добавляется позже.

Первая версия Gemini показала впечатляющие возможности в понимании и создании качественного кода на популярных языках программирования. Gemini Ultra отлично проявила себя в ряде тестов по кодированию. Более того, AlphaCode 2, специализированная система на основе Gemini, продемонстрировала выдающиеся результаты в соревновательном программировании, решая сложные задачи, выходящие за рамки обычного кодирования.

Gemini 1.0 обучалась в больших масштабах на базе инфраструктуры Google, оптимизированной для ИИ, с использованием фирменных тензорных процессоров (TPU). TPU – это специализированные аппаратные ускорители, разработанные Google для задач машинного обучения. Они обеспечивают значительное повышение эффективности как при обучении крупных моделей, таких как Gemini, так и при их использовании для инференса (генерации ответов).

Выпуск Google Gemini 1.0 обострил конкуренцию на рынке, особенно бросив вызов позициям Microsoft, активно инвестирующей в модели GPT от OpenAI. Gemini предложила уникальные функции, такие как нативная мультимодальность и разные размеры моделей, но на старте столкнулась с трудностями, включая критику демонстрационных видео и сообщения о проблемах с чат-функциями и защитными механизмами в некоторых языках и контекстах (например, генерация изображений). Это могло повлиять на первоначальное восприятие и скорость распространения.

Рынок генеративных ИИ-инструментов для производственной среды все еще формируется, и конкуренция высока. Microsoft имеет сильное преимущество благодаря развитой экосистеме для разработчиков, глубокой интеграции ИИ через GitHub Copilot в Visual Studio Code и облачной платформе Azure. У Google нет столь же мощной платформы или IDE для разработчиков. Даже если Gemini окажется лучше в помощи с кодированием, интегрированный подход Microsoft может предложить более удобный рабочий процесс, что создает серьезные трудности для Google в завоевании рынка.

Источник:

• https://deepmind.google
• https://arxiv.org/pdf/2009.03300