Meta представляет Code Llama 70B: вызов GPT-4 от OpenAI на арене AI-кодирования

Meta недавно представила свою новейшую свободно доступную AI-модель для генерации кода и инструмент программирования, Code Llama 70B, позиционируя его как конкурента GPT-4 от OpenAI в области AI-ассистированного кодирования. Будучи последним дополнением к набору инструментов AI-программирования Meta, Code Llama 70B построен на основе языковой модели Llama 2 и может похвастаться 70 миллиардами параметров, превосходя своих предшественников как по размеру, так и по возможностям.

Эта новая версия приносит значительные улучшения в генерации более длинных последовательностей кода и расширении возможностей отладки. Она позволяет разработчикам выполнять более сложные запросы, обрабатывая большие объемы контекста в рамках подсказок, тем самым повышая точность генерации кода.

Способность Code Llama 70B обрабатывать больше контекста означает, что разработчики могут предоставлять более подробные инструкции или более крупные фрагменты кода в рамках одной подсказки во время программирования, что потенциально приводит к большей точности генерируемого кода.

Code Llama 70B демонстрирует выдающуюся производительность, достигнув 53% точности на бенчмарке HumanEval. Этот показатель превосходит GPT-3.5 (48,1%) и значительно сокращает разрыв с 67% точностью, заявленной для GPT-4 на том же бенчмарке.

Бенчмарк HumanEval представляет собой созданный вручную набор данных, содержащий 164 задачи по программированию. Каждая задача включает в себя сигнатуру функции, строку документации, тело и несколько модульных тестов, в среднем 7,7 тестов на задачу. Бенчмарк разработан для оценки функциональной корректности сгенерированного кода, фокусируясь на том, может ли модель эффективно и точно решать задачи программирования, а не просто на текстовом сходстве. Это представляет собой значительный шаг на пути к расширению возможностей человека и инновационному и эффективному решению проблем путем оценки AI-моделей на основе их способностей к решению задач. Бенчмарк HumanEval стал ценным инструментом для оценки производительности больших языковых моделей в задачах генерации кода.

Согласно статистике и тестам производительности, GPT-4 обычно демонстрирует более высокую общую производительность в задачах кодирования по сравнению с моделями Code Llama. GPT-4 также более универсален, чем семейство Llama, способен справляться с более широким спектром задач, таких как генерация креативных текстовых форматов, перевод языков, ответы на вопросы и даже обработка изображений (мультимодальность), для чего Code Llama 70B не был разработан.

Однако модели Code Llama показали превосходство в конкретных задачах, таких как завершение и генерация кода, и, что крайне важно, Code Llama 70B свободно доступен как для исследовательского, так и для коммерческого использования в соответствии с условиями лицензии Meta. Эта открытость может способствовать более быстрому распространению среди разработчиков и позволяет вносить улучшения, основанные на сообществе.

Таким образом, хотя GPT-4 может лидировать в общей производительности кодирования и универсальности, Code Llama 70B от Meta представляет собой значительный шаг вперед в гонке AI-кодирования, предлагая передовые возможности генерации кода в качестве конкурентоспособной и открыто доступной альтернативы.

Ключевые различия между Code Llama 70B и GPT-4

• 1. Производительность и универсальность:
  • GPT-4 обычно демонстрирует более высокую производительность в бенчмарках кодирования и является более универсальным, способным справляться с более широким спектром задач, включая генерацию креативного текста, перевод, ответы на вопросы и обработку изображений.
  • Code Llama 70B узкоспециализирован и оптимизирован для генерации кода, завершения и отладки, достигая высоких показателей в этих конкретных областях.
• 2. Размер модели и параметры:
  • Code Llama 70B имеет 70 миллиардов параметров, что значительно больше и мощнее, чем предыдущие версии Code Llama.
  • GPT-4 — это очень большая мультимодальная модель, способная обрабатывать длинные текстовые вводы (сообщается о более чем 25 000 слов) и принимать изображения в качестве ввода. Его точное количество параметров не разглашается публично, но, предположительно, значительно превышает 70B.
• 3. Стоимость и доступность:
  • Code Llama 70B свободно доступен как для исследовательского, так и для коммерческого использования на определенных условиях лицензии, предоставляемой Meta. Открытость позволяет проводить тонкую настройку и потенциально снизить эксплуатационные расходы.
  • GPT-4 — это проприетарная модель, доступная в основном через платные API (например, API OpenAI или Microsoft Azure), что влечет за собой расходы на использование, которые могут быть выше по сравнению с потенциальным самостоятельным хостингом или использованием оптимизированных версий Code Llama.