Grok-1 LLM Részben Nyílt Forráskódúvá Válik

A Grok-1 egy jelentős, 314 milliárd paraméteres Mixture-of-Experts (MoE) modell, amelyet az xAI fejlesztett ki a nulláról. A MoE architektúra azt jelenti, hogy a modell speciális alhálózatokat ("szakértőket") használ, és dinamikusan irányítja a bemeneti tokeneket a legrelevánsabb szakértőkhöz, ami nagyobb hatékonyságot tesz lehetővé a képzésben és az következtetésben a hasonló méretű monolitikus modellekhez képest. A nyílt forráskódú kiadás tartalmazta az alapmodell súlyait és a hálózati architektúrát az engedékeny Apache 2.0 licenc alatt, amely lehetővé teszi a kereskedelmi felhasználást és a módosítást, feltüntetve a forrást.

Azonban a kiadás figyelemre méltó módon nem tartalmazta a képzési adatokat vagy a Grok chatbot X platformon (korábban Twitter) elérhetővé tételéhez használt specifikus finomhangolási kódot. Ez azt jelenti, hogy a nyílt forráskódú Grok-1 a nyers, előre képzett alapmodell ellenőrzőpontját (2023 októberéből) képviseli, és nem közvetlenül másolja le az X-be integrált, finomhangolt chatbot viselkedését vagy valós idejű információhozzáférési képességeit. Maguk a modellfájlok jelentősek, egy magnet linken keresztül terjesztik őket, ami egy körülbelül 300 GB-os torrent letöltéshez vezet.

Ez a kiadás azért volt jelentős, mert a kor egyik legnagyobb nyelvi modelljét tette elérhetővé a nyilvánosság számára, lehetővé téve a kutatóknak az architektúra és a súlyok tanulmányozását. Azonban a finomhangolási részletek és a képzési adatok hiánya korlátozta az azonnali, "dobozból kivéve" használhatóságát a csiszolt chatbotok közvetlen versenytársainak létrehozásához, ami miatt néhányan megkérdőjelezték a kutatáson túli gyakorlati hatását.

Ez a lépés beleillett Musk szélesebb körű kritikájába az olyan vállalatokkal szemben, mint az OpenAI (amelyet társalapított, de később elhagyott), azzal vádolva őket, hogy a kezdeti nyílt forráskódú elveket feladták a profit hajszolása érdekében.

A Grok Chatbot és piaci környezete

A Grok chatbot, amelyet kezdetben a Grok-1 modell működtetett, 2023 novemberében indult el fizető előfizetők számára az X-en. Úgy tervezték, hogy "egy kis szellemességgel és lázadó hajlammal" válaszoljon a kérdésekre, kihasználva az X platform valós idejű információhozzáférését. Alternatívaként pozícionálta magát más MI chatbotok, például az OpenAI ChatGPT-je mellett, különleges személyiséget és naprakész adathozzáférést kínálva. Az xAI által közzétett benchmarkok azt mutatták, hogy a Grok-1 versenyképes teljesítményt ért el különböző feladatokban, beleértve a 62,9%-os pontszámot a GSM8k matematikai benchmarkon.

A Grok-1 nyílt kiadásának stratégiai jelentősége

A Grok-1 alapmodell nyílt forráskódúvá tételével az xAI célja az volt, hogy széles hozzáférést biztosítson a mögöttes technológiához, ellentétben sok más vezető MI modell által kínált korlátozott hozzáféréssel. A kiadás jelentőséget kapott a Musk és az OpenAI közötti növekvő feszültségek és jogi viták közepette, kiemelve Musk folyamatos kritikáját azokkal az MI vállalatokkal szemben, amelyek a profitot a biztonság és az átláthatóság elé helyezik.

Frissítés (2025. április):

Bár a Grok-1 2024 márciusi nyílt forráskódúvá tétele figyelemre méltó esemény volt, a későbbi fejlemények tisztázták az xAI megközelítését. A Grok-1 kiadása óta:

• Grok-1.5 (bejelentve 2024 márciusában) és Grok-1.5V (Vision, bejelentve 2024 áprilisában) továbbfejlesztett képességeket és multimodalitást vezettek be, de nem lettek nyílt forráskódúvá téve. Korai tesztelők és prémium felhasználók számára tették elérhetővé őket az X-en.
• A Grok-2 (bejelentve 2024 augusztusában), amely további fejlesztéseket és kép generálást tartalmazott, szintén nem lett nyílt forráskódúvá téve, a korábbi spekulációk vagy kijelentések ellenére, amelyek arra utaltak, hogy a korábbi verziók megnyílhatnak az újak érkezésével.
• A Grok-3 (bejelentve 2025 februárjában), a legújabb iteráció, védett tulajdonban marad, és elsősorban az X előfizetési szinteken keresztül érhető el.

Ezért jelenleg csak az eredeti Grok-1 alapmodell súlyai és architektúrája kerültek kiadásra nyílt forráskódú licenc alatt. Az xAI fejlettebb és finomhangolt modelljei továbbra is zártak maradnak, és az X platformon keresztül kínált kereskedelmi ajánlatuk részét képezik, mérsékelve a Grok-1 kiadás által támasztott kezdeti elvárásokat a zászlóshajó modelljeik teljes mértékben nyílt fejlesztési útvonalára vonatkozóan.