जैसा कि सोशल मीडिया प्लेटफॉर्म और स्टॉक मार्केट्स नई एआई कंपनी दीपसेक की लोकप्रियता से भड़क रहे हैं, बर्नस्टीन की एक रिपोर्ट में कहा गया है कि डीपसेक शानदार दिखता है, लेकिन चमत्कार नहीं है और 5 मिलियन अमरीकी डालर में नहीं बनाया गया है।
रिपोर्ट ने दीपसेक के मॉडलों के आसपास चर्चा को संबोधित किया, विशेष रूप से यह विचार कि कंपनी ने केवल 5 मिलियन अमरीकी डालर के लिए Openai के लिए तुलनीय कुछ बनाया। रिपोर्ट के अनुसार, यह दावा भ्रामक है और पूरी तस्वीर को प्रतिबिंबित नहीं करता है।
यह कहा गया है कि “हम मानते हैं कि दीपसेक ने” यूएसडी 5 एम के लिए ओपनईआई का निर्माण नहीं किया “; मॉडल शानदार दिखते हैं, लेकिन हमें नहीं लगता कि वे चमत्कार हैं; और सप्ताहांत में ट्विटर-वर्स घबराहट के परिणामस्वरूप ओवरब्लाउड लगता है”।
बर्नस्टीन की रिपोर्ट में कहा गया है कि दीपसेक ने एआई मॉडल के दो मुख्य परिवारों को विकसित किया है: ‘दीपसेक-वी 3’ और ‘डीपसेक आर 1’। V3 मॉडल एक बड़ा भाषा मॉडल है जो मिश्रण-के-विशेषज्ञों (MOE) वास्तुकला का उपयोग करता है।
यह दृष्टिकोण एक साथ काम करने के लिए कई छोटे मॉडलों को जोड़ता है, जिसके परिणामस्वरूप अन्य बड़े मॉडलों की तुलना में काफी कम कंप्यूटिंग संसाधनों का उपयोग करते हुए उच्च प्रदर्शन होता है। V3 मॉडल में कुल मिलाकर 671 बिलियन पैरामीटर हैं, किसी भी समय 37 बिलियन सक्रिय हैं।
इसमें मल्टी-हेड लेटेंट ध्यान (MHLA) जैसी नवीन तकनीकों को भी शामिल किया गया है, जो FP8 कम्प्यूटेशन का उपयोग करके मेमोरी उपयोग, और मिश्रित-सटीक प्रशिक्षण को कम करता है, जो दक्षता में सुधार करता है।
V3 मॉडल को प्रशिक्षित करने के लिए, दीपसेक ने लगभग दो महीनों के लिए 2,048 NVIDIA H800 GPU के क्लस्टर का उपयोग किया, जो पूर्व-प्रशिक्षण के लिए लगभग 2.7 मिलियन GPU घंटे और प्रशिक्षण के बाद 2.8 मिलियन GPU घंटे शामिल थे।
जबकि कुछ ने इस प्रशिक्षण की लागत का अनुमान लगाया है, जो कि लगभग 5 मिलियन अमरीकी डालर यूएसडी 2 प्रति जीपीयू घंटे की किराये की दर के आधार पर है, रिपोर्ट बताती है कि यह आंकड़ा व्यापक अनुसंधान, प्रयोग और अन्य लागतों को विकसित करने में शामिल नहीं है। नमूना।
दूसरा मॉडल, ‘डीपसेक आर 1’, वी 3 फाउंडेशन पर बनाता है, लेकिन तर्क क्षमताओं में काफी सुधार करने के लिए सुदृढीकरण लर्निंग (आरएल) और अन्य तकनीकों का उपयोग करता है। R1 मॉडल विशेष रूप से प्रभावशाली रहा है, तर्क कार्यों में Openai के मॉडल के खिलाफ प्रतिस्पर्धी रूप से प्रदर्शन कर रहा है।
हालांकि, रिपोर्ट में कहा गया है कि आर 1 को विकसित करने के लिए आवश्यक अतिरिक्त संसाधनों की संभावना पर्याप्त थी, हालांकि कंपनी के शोध पत्र में मात्रा निर्धारित नहीं की गई थी।
प्रचार के बावजूद, रिपोर्ट ने जोर दिया कि दीपसेक के मॉडल वास्तव में प्रभावशाली हैं। उदाहरण के लिए, V3 मॉडल, कम्प्यूटिंग संसाधनों के केवल एक अंश का उपयोग करते हुए भाषा, कोडिंग और गणित बेंचमार्क पर अन्य बड़े मॉडलों की तुलना में बेहतर प्रदर्शन करता है।
उदाहरण के लिए, पूर्व-प्रशिक्षण V3 को लगभग 2.7 मिलियन GPU घंटे की आवश्यकता होती है, जो कुछ अन्य प्रमुख मॉडलों को प्रशिक्षित करने के लिए आवश्यक गणना संसाधनों का सिर्फ 9 प्रतिशत है।
अंत में, रिपोर्ट में कहा गया है कि जब दीपसेक की उपलब्धियां उल्लेखनीय हैं, तो 5 मिलियन अमरीकी डालर के लिए एक ओपनईएआई प्रतियोगी के निर्माण के बारे में घबराहट और अतिरंजित दावे ओवरब्लाउन हैं।
(हेडलाइन को छोड़कर, इस कहानी को NDTV कर्मचारियों द्वारा संपादित नहीं किया गया है और एक सिंडिकेटेड फ़ीड से प्रकाशित किया गया है।)
