A Meta bemutatja a Code Llama 70B-t: Kihívja az OpenAI GPT-4-et az AI kódolási arénában

A Meta nemrégiben mutatta be legújabb, szabadon elérhető kódgeneráló AI modelljét és programozási eszközét, a Code Llama 70B-t, amely az OpenAI GPT-4 kihívójaként pozicionálja magát az AI-alapú kódolás területén. A Meta AI programozási eszköztárának legújabb tagjaként a Code Llama 70B a Llama 2 nyelvi modell alapjaira épül, és 70 milliárd paraméterrel büszkélkedhet, felülmúlva elődeit méretben és képességben egyaránt.

Ez az új verzió jelentős fejlesztéseket hoz a hosszabb kódszekvenciák generálásában és a hibakeresési képességek javításában. Lehetővé teszi a fejlesztők számára, hogy összetettebb lekérdezéseket hajtsanak végre azáltal, hogy nagyobb mennyiségű kontextust kezelnek a promptokon belül, ezáltal növelve a kódgenerálás pontosságát.

A Code Llama 70B azon képessége, hogy több kontextust kezeljen, azt jelenti, hogy a fejlesztők részletesebb utasításokat vagy nagyobb kódrészleteket adhatnak meg egyetlen prompton belül a programozás során, ami potenciálisan nagyobb pontossághoz vezethet a generált kódban.

A Code Llama 70B kiemelkedő teljesítményt nyújt, 53%-os pontosságot érve el a HumanEval benchmarkon. Ez az eredmény felülmúlja a GPT-3.5 (48,1%) teljesítményét, és jelentősen csökkenti a különbséget a GPT-4 azonos benchmarkon elért 67%-os pontosságához képest.

A HumanEval benchmark egy kézzel készített adathalmaz, amely 164 programozási feladatot tartalmaz. Minden feladat tartalmaz egy függvény szignatúrát, dokumentációs sztringet, törzset és több egységtesztet, átlagosan 7,7 tesztet feladatonként. A benchmark célja a generált kód funkcionális helyességének értékelése, arra összpontosítva, hogy a modell hatékonyan és pontosan meg tudja-e oldani a programozási kihívásokat, nem csupán a szöveges hasonlóságot vizsgálva. Ez jelentős lépést jelent az emberi képességek bővítése és a problémák innovatív és hatékony megoldása felé azáltal, hogy az AI modelleket problémamegoldó képességeik alapján értékelik. A HumanEval benchmark értékes eszközzé vált a nagyméretű nyelvi modellek teljesítményének felmérésére a kódgenerálási feladatokban.

A statisztikák és a teljesítménytesztek szerint a GPT-4 általában magasabb összességében vett teljesítményt mutat a kódolási feladatokban a Code Llama modellekhez képest. A GPT-4 emellett sokoldalúbb is, mint a Llama család, képes szélesebb körű feladatok kezelésére, mint például kreatív szövegformátumok generálása, nyelvek fordítása, kérdések megválaszolása, és még képi bemenetek feldolgozása (multimodalitás), amelyre a Code Llama 70B-t nem tervezték.

Azonban a Code Llama modellek kiválóan teljesítettek olyan specifikus feladatokban, mint a kódkiegészítés és -generálás, és ami kulcsfontosságú, a Code Llama 70B szabadon elérhető mind kutatási, mind kereskedelmi célokra a Meta licencfeltételei szerint. Ez a nyitottság elősegítheti a gyorsabb elterjedést a fejlesztők körében, és lehetővé teszi a közösség által vezérelt fejlesztéseket.

Így, bár a GPT-4 vezethet az általános kódolási teljesítmény és sokoldalúság terén, a Meta Code Llama 70B jelentős előrelépést jelent az AI kódolási versenyben, fejlett kódgenerálási képességeket kínálva versenyképes és nyíltan hozzáférhető alternatívaként.

Főbb különbségek a Code Llama 70B és a GPT-4 között

• 1. Teljesítmény és sokoldalúság:
  • A GPT-4 általában magasabb teljesítményt mutat a kódolási benchmarkokban, és sokoldalúbb, képes szélesebb körű feladatok kezelésére, beleértve a kreatív szöveggenerálást, fordítást, kérdések megválaszolását és képi bemenetek feldolgozását.
  • A Code Llama 70B kifejezetten a kódgenerálásra, kiegészítésre és hibakeresésre specializálódott és optimalizált, erős teljesítményt nyújtva ezeken a specifikus területeken.
• 2. Modellméret és paraméterek:
  • A Code Llama 70B 70 milliárd paraméterrel rendelkezik, ami jelentősen nagyobb és képességesebb, mint a korábbi Code Llama verziók.
  • A GPT-4 egy nagyon nagy multimodal modell, amely képes kezelni a hosszú szöveges bemeneteket (jelentések szerint több mint 25 000 szót) és képeket is fogad bemenetként. Pontos paraméterszáma nem nyilvános, de feltételezhetően jelentősen nagyobb, mint 70 milliárd.
• 3. Költség és hozzáférhetőség:
  • A Code Llama 70B szabadon elérhető mind kutatási, mind kereskedelmi célokra a Meta által biztosított specifikus licencfeltételek szerint. A nyíltság lehetővé teszi a finomhangolást és potenciálisan alacsonyabb működési költségeket.
  • A GPT-4 egy szabadalmaztatott modell, amely elsősorban fizetős API-kon keresztül érhető el (mint például az OpenAI API vagy a Microsoft Azure), használati költségekkel járva, amelyek magasabbak lehetnek, mint a Code Llama önálló hosztolása vagy optimalizált verzióinak használata.