Le LLM Grok-1 Devient Partiellement Open Source

Grok-1 est un modèle conséquent de 314 milliards de paramètres de type "Mixture of Experts" (MoE), développé de toutes pièces par xAI. L'architecture MoE implique que le modèle utilise des sous-réseaux spécialisés (« experts ») et achemine dynamiquement les tokens d'entrée vers les experts les plus pertinents, permettant ainsi une efficacité accrue lors de l'entraînement et de l'inférence, comparé aux modèles monolithiques de taille comparable. La publication en open source comprenait les poids du modèle de base et l'architecture réseau sous la licence permissive Apache 2.0, qui autorise l'utilisation commerciale et la modification avec attribution.

Cependant, il est important de noter que cette publication n'incluait pas les données d'entraînement ni le code de fine-tuning spécifique utilisé pour créer le chatbot Grok accessible sur la plateforme X (anciennement Twitter). En conséquence, Grok-1 en open source représente le checkpoint brut du modèle de base pré-entraîné (datant d'octobre 2023) et ne reproduit pas directement le comportement ni les capacités d'accès à l'information en temps réel du chatbot fine-tuné intégré à X. Les fichiers du modèle sont conséquents, distribués via un lien magnet qui dirige vers un téléchargement torrent d'environ 300 Go.

Cette publication était significative car elle mettait à disposition du public l'un des plus grands modèles de langage de l'époque, offrant aux chercheurs la possibilité d'étudier son architecture et ses poids. Néanmoins, l'absence de détails sur le fine-tuning et de données d'entraînement a limité son utilisabilité immédiate "prête à l'emploi" pour la création de concurrents directs aux chatbots sophistiqués, amenant certains à questionner l'impact pratique au-delà du domaine de la recherche.

Cette initiative s'inscrivait dans le cadre de la critique plus large de Musk envers des entreprises telles qu'OpenAI (qu'il a cofondée avant de la quitter), les accusant d'abandonner leurs principes open source initiaux au profit de la recherche du profit.

Le Chatbot Grok et son Contexte Marché

Le chatbot Grok, initialement propulsé par le modèle Grok-1, a été lancé pour les abonnés payants de X en novembre 2023. Il a été conçu pour répondre aux questions avec "un brin d'humour et un esprit rebelle", en exploitant l'accès en temps réel aux informations de la plateforme X. Il s'est positionné comme une alternative à d'autres chatbots IA tels que ChatGPT d'OpenAI, proposant une personnalité distincte et un accès aux données en temps réel. Les benchmarks publiés par xAI ont révélé que Grok-1 atteignait des performances compétitives dans diverses tâches, notamment un score de 62,9 % au benchmark mathématique GSM8k.

Signification Stratégique de la Publication Open Source de Grok-1

En ouvrant le code source du modèle de base Grok-1, xAI ambitionnait de fournir un accès large à la technologie sous-jacente, contrastant avec l'accès restreint proposé par de nombreux autres modèles d'IA de pointe. Cette publication a pris de l'importance dans un contexte de tensions croissantes et de litiges juridiques entre Musk et OpenAI, mettant en lumière la critique persistante de Musk envers les entreprises d'IA qui privilégient le profit au détriment de la sécurité et de la transparence.

Mise à jour (Avril 2025) :

Bien que la publication en open source de Grok-1 en mars 2024 ait constitué un événement marquant, les développements ultérieurs ont précisé l'approche de xAI. Depuis la publication de Grok-1 :

• Grok-1.5 (annoncé en mars 2024) et Grok-1.5V (Vision, annoncé en avril 2024) ont introduit des capacités améliorées et la multimodalité, mais n'ont pas été publiés en open source. Ils ont été rendus disponibles pour les premiers testeurs et les utilisateurs premium sur X.
• Grok-2 (annoncé en août 2024), qui offre des améliorations supplémentaires et la génération d'images, n'a également pas été publié en open source, malgré certaines spéculations ou déclarations antérieures laissant entendre que les versions précédentes pourraient être ouvertes avec l'arrivée de nouvelles versions.
• Grok-3 (annoncé en février 2025), la dernière version, demeure propriétaire et est principalement accessible via les niveaux d'abonnement X.

Par conséquent, à ce jour, seuls les poids et l'architecture du modèle de base Grok-1 original ont été publiés sous licence open source. Les modèles plus avancés et fine-tunés de xAI demeurent propriétaires et font partie de leur offre commerciale via la plateforme X, modérant ainsi les attentes initiales suscitées par la publication de Grok-1 quant à une trajectoire de développement entièrement ouverte pour leurs modèles phares.