OpenELM от Apple: модели, работающие на устройствах, а не в облаке

Проблема ИИ на устройстве

Запуск сложных больших языковых моделей (LLM) непосредственно на потребительских устройствах представляет собой значительные технические трудности. Современные LLM часто содержат миллиарды, а иногда и триллионы параметров – переменных, которые модель изучает в процессе обучения. Обработка этих моделей требует огромной вычислительной мощности (сложные матричные умножения) и больших объемов памяти (ОЗУ) только для загрузки весов модели. Облачные серверы имеют доступ к мощным графическим процессорам и практически неограниченным ресурсам, но мобильные устройства работают в условиях строгих ограничений:

• Ограниченный объем ОЗУ: Смартфоны имеют значительно меньше памяти, чем серверы.
• Ограниченная вычислительная мощность: Хотя мобильные процессоры, графические процессоры и нейронные процессоры (NPU, такие как Neural Engine от Apple) являются мощными, они не соответствуют выделенному серверному оборудованию.
• Время автономной работы: Интенсивные вычисления быстро разряжают аккумулятор.
• Тепловые ограничения: Устройства могут перегреваться при продолжительных высоких вычислительных нагрузках.

Из-за этих ограничений запуск по-настоящему "интеллектуальной" LLM, способной к сложным рассуждениям и генерации, непосредственно на телефоне крайне затруднителен. Это требует компромиссов в размере и возможностях модели. Именно поэтому разработка эффективных моделей, таких как OpenELM, которые оптимизированы для производительности в условиях ограниченных ресурсов, имеет решающее значение для будущего ИИ на устройствах.

Обзор OpenELM: Эффективность – ключ к успеху

В моделях OpenELM используется стратегия послойного масштабирования, которая эффективно распределяет параметры внутри каждого слоя архитектуры Transformer, чтобы максимизировать точность при заданном вычислительном бюджете. Например, в рамках бюджета примерно в один миллиард параметров, Apple сообщает, что OpenELM достиг улучшения точности на 2,36% по сравнению с предыдущей моделью OLMo, что крайне важно, при этом требуя всего половину токенов предварительного обучения (данных). Эта эффективность имеет первостепенное значение: достижение лучших результатов с меньшими ресурсами делает эти модели более пригодными для запуска непосредственно на потребительском оборудовании, без чрезмерного разряда аккумулятора или замедления работы устройства. Apple выпустила OpenELM в нескольких размерах (270M, 450M, 1.1B и 3B параметров), что позволяет разработчикам выбрать оптимальный вариант для возможностей целевого устройства.

Функции и возможности

Проект OpenELM включает в себя несколько ключевых элементов, которые отличают его:

• Доступность открытого исходного кода: В заметном для компании шаге в области ИИ, Apple делает OpenELM доступным в Hugging Face Hub. Это позволяет разработчикам и исследователям не только использовать модели, но и изучать, развивать и вносить вклад в их разработку. Эта стратегия может помочь Apple ускорить прогресс и привлечь таланты в конкурентной среде ИИ.
• Комплексная структура обучения: В отличие от многих выпусков моделей, которые предоставляют только веса моделей и код вывода, Apple включает полную структуру для обучения и оценки на общедоступных наборах данных. Это включает в себя журналы обучения, несколько контрольных точек и конфигурации предварительного обучения, что значительно повышает прозрачность и воспроизводимость.
• Улучшенная конфиденциальность и скорость: Благодаря локальному запуску на устройстве OpenELM устраняет необходимость отправлять потенциально конфиденциальные пользовательские данные на облачные серверы для обработки, что напрямую решает проблемы конфиденциальности – основной принцип бренда Apple. Кроме того, локальная обработка снижает сетевую задержку, что приводит к более быстрой и отзывчивой работе функций на основе ИИ.

Интеграция с iOS и будущие перспективы

Ожидается, что Apple интегрирует OpenELM в предстоящий выпуск iOS 18, который, как ожидается, представит ряд новых функций ИИ. Эта интеграция, вероятно, будет поддерживать различные функции ИИ на устройстве. Однако важно установить реалистичные ожидания: эти эффективные модели, особенно меньшие варианты, вероятно, не будут соответствовать широким возможностям рассуждения гигантских облачных моделей, таких как GPT-4. Вместо этого они лучше подходят для конкретных, локализованных задач, таких как интеллектуальное обобщение текста, улучшенный предиктивный ввод текста, автономные улучшения Siri, анализ контента на устройстве (например, фотографий или заметок) и создание контекстных ответов.

Возможно, Apple примет гибридный подход, используя OpenELM для задач, которые больше всего выигрывают от скорости и конфиденциальности на устройстве, и потенциально полагаясь на облачные модели (возможно, даже от партнеров) для более сложных запросов. В целом, выпуск моделей OpenELM знаменует собой значительный шаг в развитии ИИ на устройствах. Подчеркивая эффективность, конфиденциальность и принимая подход с открытым исходным кодом, Apple позиционирует себя для того, чтобы играть более заметную роль в следующем поколении ИИ, интегрированного непосредственно в мобильные и потребительские устройства, используя свою тесно интегрированную экосистему аппаратного и программного обеспечения.