[चीन, शेन्झेन, 14 जुलै, 2023] आज, Huawei ने मोठ्या प्रमाणात मॉडेल्सच्या युगासाठी त्यांचे नवीन AI स्टोरेज सोल्यूशन अनावरण केले, मूलभूत मॉडेल प्रशिक्षण, उद्योग-विशिष्ट मॉडेल प्रशिक्षण आणि खंडित परिस्थितींमध्ये अनुमान यासाठी इष्टतम स्टोरेज सोल्यूशन प्रदान केले, अशा प्रकारे नवीन AI क्षमता सोडत आहे.
मोठ्या प्रमाणात मॉडेल ऍप्लिकेशन्सच्या विकास आणि अंमलबजावणीमध्ये, एंटरप्राइझना चार प्रमुख आव्हानांचा सामना करावा लागतो:
प्रथम, डेटा तयार करण्यासाठी लागणारा वेळ मोठा आहे, डेटा स्रोत विखुरलेले आहेत आणि एकत्रीकरण मंद आहे, शेकडो टेराबाइट डेटाची पूर्वप्रक्रिया करण्यासाठी सुमारे 10 दिवस लागतात. दुसरे म्हणजे, मोठ्या मजकूर आणि प्रतिमा डेटासेटसह मल्टी-मॉडल मोठ्या मॉडेलसाठी, मोठ्या लहान फाइल्ससाठी वर्तमान लोडिंग गती 100MB/s पेक्षा कमी आहे, परिणामी प्रशिक्षण सेट लोडिंगसाठी कमी कार्यक्षमता आहे. तिसरे म्हणजे, अस्थिर प्रशिक्षण प्लॅटफॉर्मसह मोठ्या मॉडेल्ससाठी वारंवार पॅरामीटर ऍडजस्टमेंट केल्यामुळे प्रशिक्षणात अंदाजे दर 2 दिवसांनी व्यत्यय येतो, ज्यामुळे पुनर्प्राप्तीसाठी एक दिवसाचा कालावधी लागतो आणि प्रशिक्षण पुन्हा सुरू करण्यासाठी चेकपॉईंट यंत्रणा आवश्यक असते. शेवटी, मोठ्या मॉडेल्ससाठी उच्च अंमलबजावणी थ्रेशोल्ड, जटिल सिस्टम सेटअप, संसाधन शेड्यूलिंग आव्हाने आणि GPU संसाधन वापर अनेकदा 40% पेक्षा कमी आहे.
Huawei मोठ्या आकाराच्या मॉडेल्सच्या युगात AI विकासाच्या ट्रेंडशी जुळवून घेत आहे, विविध उद्योगांसाठी आणि परिस्थितींसाठी तयार केलेले उपाय ऑफर करत आहे. हे OceanStor A310 डीप लर्निंग डेटा लेक स्टोरेज आणि FusionCube A3000 ट्रेनिंग/इन्फरेन्स सुपर-कन्व्हर्ज्ड अप्लायन्स सादर करते. OceanStor A310 डीप लर्निंग डेटा लेक स्टोरेज हे दोन्ही मूलभूत आणि उद्योग-स्तरीय मोठ्या मॉडेल डेटा लेक परिदृश्यांना लक्ष्य करते, डेटा एकत्रीकरणापासून सर्वसमावेशक AI डेटा व्यवस्थापन, मॉडेल प्रशिक्षणापर्यंत प्रीप्रोसेसिंग, आणि अनुमान अनुप्रयोग. OceanStor A310, एकाच 5U रॅकमध्ये, उद्योग-अग्रणी 400GB/s बँडविड्थ आणि 12 दशलक्ष IOPS पर्यंत, 4096 नोड्सपर्यंत रेखीय स्केलेबिलिटीसह, अखंड क्रॉस-प्रोटोकॉल संप्रेषण सक्षम करते. ग्लोबल फाइल सिस्टम (GFS) संपूर्ण प्रदेशांमध्ये बुद्धिमान डेटा विणणे, डेटा एकत्रीकरण प्रक्रिया सुलभ करते. नियर-स्टोरेज कंप्युटिंगमध्ये डेटा प्रीप्रोसेसिंग, डेटाची हालचाल कमी करणे आणि प्री-प्रोसेसिंग कार्यक्षमतेत 30% सुधारणा होते.
FusionCube A3000 Training/Inference Super-Converged Appliance, उद्योग-स्तरीय मोठ्या मॉडेल प्रशिक्षण/अनुमान परिस्थितीसाठी डिझाइन केलेले, अब्जावधी पॅरामीटर्ससह मॉडेल्सचा समावेश असलेल्या अनुप्रयोगांची पूर्तता करते. हे OceanStor A300 उच्च-कार्यक्षमता स्टोरेज नोड्स, प्रशिक्षण/अनुमान नोड्स, स्विचिंग उपकरणे, AI प्लॅटफॉर्म सॉफ्टवेअर आणि व्यवस्थापन आणि ऑपरेशन सॉफ्टवेअर समाकलित करते, मोठ्या मॉडेल भागीदारांना एक-स्टॉप वितरणासाठी प्लग-अँड-प्ले तैनातीचा अनुभव प्रदान करते. वापरण्यासाठी सज्ज, ते 2 तासांच्या आत तैनात केले जाऊ शकते. विविध मॉडेल स्केल आवश्यकतांशी जुळण्यासाठी प्रशिक्षण/अनुमान आणि स्टोरेज नोड्स दोन्ही स्वतंत्रपणे आणि क्षैतिजरित्या विस्तारित केले जाऊ शकतात. दरम्यान, FusionCube A3000 उच्च-कार्यक्षमता असलेल्या कंटेनरचा वापर करून GPUs सामायिक करण्यासाठी एकाधिक मॉडेल प्रशिक्षण आणि अनुमान कार्ये सक्षम करते, संसाधन वापर 40% वरून 70% पर्यंत वाढवते. FusionCube A3000 दोन लवचिक बिझनेस मॉडेल्सना सपोर्ट करते: Huawei Ascend वन-स्टॉप सोल्यूशन आणि ओपन कंप्युटिंग, नेटवर्किंग आणि AI प्लॅटफॉर्म सॉफ्टवेअरसह थर्ड-पार्टी पार्टनर वन-स्टॉप सोल्यूशन.
Huawei च्या डेटा स्टोरेज प्रोडक्ट लाइनचे अध्यक्ष, Zhou Yuefeng, म्हणाले, “मोठ्या प्रमाणात मॉडेल्सच्या युगात, डेटा AI बुद्धिमत्तेची उंची निर्धारित करतो. डेटाचा वाहक म्हणून, डेटा स्टोरेज ही AI मोठ्या प्रमाणातील मॉडेल्ससाठी मुख्य पायाभूत सुविधा बनते. Huawei डेटा स्टोरेज नवनवीन शोध सुरू ठेवेल, AI मोठ्या मॉडेल्सच्या युगासाठी वैविध्यपूर्ण समाधाने आणि उत्पादने प्रदान करेल, भागीदारांसोबत सहकार्य करून AI सशक्तीकरण उद्योगांच्या विस्तृत श्रेणीमध्ये चालेल.”
पोस्ट वेळ: ऑगस्ट-०१-२०२३
