Grok 4.5 एजेंट परीक्षण में शीर्ष पर, मस्क के ओपस-क्लास दावे का समर्थन

एलोन मस्क ने ग्रोक 4.5 को एक ओपस-क्लास मॉडल कहा जो तेजी से चलता है और कम लागत में आता है। एक स्वतंत्र, एजेंटिक बेंचमार्क अब उस दावे के लिए वास्तविक समर्थन प्रदान करता है।

आर्टिफिशियल एनालिसिस के ऑटोमेशनबेंच-AA पर, ग्रोक 4.5 ने 51.4% स्कोर के साथ पहले स्थान पर रैंक किया जबकि प्रति कार्य $0.34 की लागत आई। इसने क्लॉड फेबल 5 (48.6%) और क्लॉड ओपस 4.8 (48.5%) दोनों को पीछे छोड़ दिया।

एलोन मस्क के दावे पर एक स्वतंत्र जांच

स्पेसएक्सएआई ने इस सप्ताह ग्रोक 4.5 को सार्वजनिक किया, जो इसके 1.5 ट्रिलियन-पैरामीटर V9 आधार पर आधारित है। मस्क का प्रचार प्रारंभिक आंतरिक मूल्यांकन पर आधारित था।

ऑटोमेशनबेंच-AA इसे बदलता है। आर्टिफिशियल एनालिसिस बेंचमार्क को स्वतंत्र रूप से चलाता है और संदूषण को रोकने के लिए अपने कार्य सेट को निजी रखता है।

परीक्षा 40 अनुकरण किए गए ऐप्स, जिसमें जीमेल, स्लैक, सेल्सफोर्स और हबस्पॉट शामिल हैं, के बीच 657 कार्यों में फैली हुई है। यह उस हिस्से को स्कोर करता है जो एक एजेंट बिना गार्डरेल तोड़े पूरा करता है।

ग्रोक 4.5: सस्ता, तेज, और ज्यादातर अनुपालन में

ग्रोक 4.5 का प्रति कार्य $0.34 फेबल 5 के $1.35 और ओपस 4.8 के $1.46 से काफी नीचे था। जेमिनी 3.5 फ्लैश $0.49 पर सबसे करीब आया।

मॉडल ने प्रति कार्य लगभग 8,000 आउटपुट टोकन का उपयोग किया, जो ओपस 4.8 के कुल का लगभग एक चौथाई है। यह दक्षता अधिकांश लागत अंतर को चलाती है, जो मस्क द्वारा लॉन्च के समय उपयोग की गई रूपरेखा से मेल खाती है।

“प्रति कार्य 0.44M का कुल टोकन उपयोग लीडरबोर्ड पर सबसे कम में से एक है। कम लागत इस दक्षता और कम टोकन मूल्य निर्धारण द्वारा संचालित होती है,” आर्टिफिशियल एनालिसिस ने कहा।

इसके अलावा, Grok 4.5 ने कार्य उद्देश्यों का 79.9% पूरा किया और कार्यों का 21.9% पूरी तरह से पास किया। वित्त में, सबसे कठिन क्षेत्र में, इसने 71% के साथ नेतृत्व किया, जबकि Fable 5 का 64% और Opus 4.8 का 62% था।

हालांकि, मॉडल ने अपने निकटतम प्रतिद्वंद्वियों की तुलना में अधिक नियम तोड़े। इसने प्रति कार्य 0.63 गार्डरेल उल्लंघनों को लॉग किया, जो Opus 4.8 के 0.55 और Gemini 3.5 Flash के 0.46 से अधिक है।

यह अंतर उन कंपनियों के लिए महत्वपूर्ण है जो एजेंटों को लाइव वित्तीय प्रणालियों में तैनात करती हैं, जहां एकल उल्लंघन वास्तविक लागतें उत्पन्न कर सकता है।

स्रोत: BeInCrypto