[ચીન, શેનઝેન, 14 જુલાઈ, 2023] આજે, Huawei એ તેના નવા AI સ્ટોરેજ સોલ્યુશનનું અનાવરણ કર્યું છે જે મોટા પાયાના મોડલ્સના યુગ માટે, મૂળભૂત મોડલ તાલીમ, ઉદ્યોગ-વિશિષ્ટ મોડલ તાલીમ અને વિભાજિત પરિસ્થિતિઓમાં અનુમાન માટે શ્રેષ્ઠ સ્ટોરેજ સોલ્યુશન્સ પ્રદાન કરે છે, આમ નવી AI ક્ષમતાઓ બહાર પાડવી.
મોટા પાયે મોડેલ એપ્લિકેશનના વિકાસ અને અમલીકરણમાં, સાહસોને ચાર મુખ્ય પડકારોનો સામનો કરવો પડે છે:
સૌપ્રથમ, ડેટાની તૈયારી માટે જરૂરી સમય લાંબો છે, ડેટા સ્ત્રોતો વેરવિખેર છે અને એકત્રીકરણ ધીમું છે, સેંકડો ટેરાબાઈટ ડેટાની પ્રીપ્રોસેસિંગમાં લગભગ 10 દિવસનો સમય લાગે છે. બીજું, જંગી ટેક્સ્ટ અને ઇમેજ ડેટાસેટ્સ સાથેના મલ્ટિ-મોડલ મોટા મોડલ્સ માટે, મોટી નાની ફાઇલો માટે વર્તમાન લોડિંગ ઝડપ 100MB/s કરતાં ઓછી છે, પરિણામે તાલીમ સેટ લોડિંગ માટે ઓછી કાર્યક્ષમતા છે. ત્રીજે સ્થાને, અસ્થિર તાલીમ પ્લેટફોર્મ્સ સાથે મોટા મોડલ માટે વારંવાર પેરામીટર એડજસ્ટમેન્ટ, લગભગ દર 2 દિવસે તાલીમમાં વિક્ષેપોનું કારણ બને છે, જેનાથી પુનઃપ્રાપ્તિ એક દિવસનો સમય લેતાં, તાલીમ ફરી શરૂ કરવા માટે ચેકપોઇન્ટ મિકેનિઝમની જરૂર પડે છે. છેલ્લે, મોટા મૉડલ માટે ઉચ્ચ અમલીકરણ થ્રેશોલ્ડ, જટિલ સિસ્ટમ સેટઅપ, સંસાધન શેડ્યુલિંગ પડકારો અને GPU સંસાધન ઉપયોગ ઘણીવાર 40% થી નીચે.
Huawei મોટા પાયે મોડલ્સના યુગમાં AI વિકાસના વલણ સાથે સંરેખિત થઈ રહ્યું છે, જે વિવિધ ઉદ્યોગો અને દૃશ્યો માટે તૈયાર કરાયેલા ઉકેલો ઓફર કરે છે. તે OceanStor A310 ડીપ લર્નિંગ ડેટા લેક સ્ટોરેજ અને FusionCube A3000 ટ્રેનિંગ/ઇન્ફરન્સ સુપર-કન્વર્જ્ડ એપ્લાયન્સ રજૂ કરે છે. OceanStor A310 ડીપ લર્નિંગ ડેટા લેક સ્ટોરેજ બેઝિક અને ઈન્ડસ્ટ્રી-લેવલના મોટા મોડલ ડેટા લેક સિનારીયોને લક્ષ્યાંકિત કરે છે, ડેટા એકત્રીકરણથી વ્યાપક AI ડેટા મેનેજમેન્ટ, મોડલ ટ્રેનિંગ માટે પ્રીપ્રોસેસિંગ અને અનુમાન એપ્લિકેશન્સ હાંસલ કરે છે. OceanStor A310, સિંગલ 5U રેકમાં, 4096 નોડ્સ સુધી રેખીય માપનીયતા સાથે, ઉદ્યોગ-અગ્રણી 400GB/s બેન્ડવિડ્થ અને 12 મિલિયન IOPS સુધી સપોર્ટ કરે છે, જે સીમલેસ ક્રોસ-પ્રોટોકોલ સંચારને સક્ષમ કરે છે. ગ્લોબલ ફાઇલ સિસ્ટમ (GFS) સમગ્ર પ્રદેશોમાં બુદ્ધિશાળી ડેટા વણાટની સુવિધા આપે છે, ડેટા એકત્રીકરણ પ્રક્રિયાઓને સુવ્યવસ્થિત કરે છે. નિઅર-સ્ટોરેજ કમ્પ્યુટિંગ નજીકના-ડેટા પ્રીપ્રોસેસિંગને અનુભવે છે, ડેટા મૂવમેન્ટ ઘટાડે છે અને પ્રીપ્રોસેસિંગ કાર્યક્ષમતામાં 30% વધારો કરે છે.
FusionCube A3000 ટ્રેનિંગ/ઇન્ફરન્સ સુપર-કન્વર્જ્ડ એપ્લાયન્સ, જે ઉદ્યોગ-સ્તરના મોટા મોડલ તાલીમ/અનુમાન દૃશ્યો માટે ડિઝાઇન કરવામાં આવ્યું છે, તે અબજો પરિમાણો સાથેના મોડલ્સને સંડોવતા એપ્લિકેશનને પૂરી કરે છે. તે OceanStor A300 હાઇ-પર્ફોર્મન્સ સ્ટોરેજ નોડ્સ, ટ્રેનિંગ/ઇન્ફરન્સ નોડ્સ, સ્વિચિંગ ઇક્વિપમેન્ટ, AI પ્લેટફોર્મ સૉફ્ટવેર અને મેનેજમેન્ટ અને ઑપરેશન સૉફ્ટવેરને એકીકૃત કરે છે, જે એક-સ્ટોપ ડિલિવરી માટે પ્લગ-એન્ડ-પ્લે ડિપ્લોયમેન્ટ અનુભવ સાથે મોટા મોડલ ભાગીદારોને પ્રદાન કરે છે. ઉપયોગ કરવા માટે તૈયાર છે, તે 2 કલાકની અંદર તૈનાત કરી શકાય છે. વિવિધ મોડલ સ્કેલની આવશ્યકતાઓને મેચ કરવા માટે તાલીમ/અનુમાન અને સંગ્રહ ગાંઠો બંને સ્વતંત્ર રીતે અને આડી રીતે વિસ્તૃત કરી શકાય છે. દરમિયાન, FusionCube A3000 GPU ને શેર કરવા માટે બહુવિધ મોડેલ તાલીમ અને અનુમાન કાર્યોને સક્ષમ કરવા માટે ઉચ્ચ-પ્રદર્શન કન્ટેનરનો ઉપયોગ કરે છે, સંસાધનનો ઉપયોગ 40% થી વધારીને 70% સુધી કરે છે. FusionCube A3000 બે લવચીક બિઝનેસ મોડલ્સને સપોર્ટ કરે છે: Huawei Ascend વન-સ્ટોપ સોલ્યુશન અને ઓપન કમ્પ્યુટિંગ, નેટવર્કિંગ અને AI પ્લેટફોર્મ સોફ્ટવેર સાથે તૃતીય-પક્ષ ભાગીદાર વન-સ્ટોપ સોલ્યુશન.
ડેટા સ્ટોરેજ પ્રોડક્ટ લાઇનના હ્યુઆવેઇના પ્રેસિડેન્ટ ઝોઉ યુફેંગે જણાવ્યું હતું કે, “મોટા પાયાના મોડલના યુગમાં ડેટા AI ઇન્ટેલિજન્સની ઊંચાઈ નક્કી કરે છે. ડેટાના વાહક તરીકે, ડેટા સ્ટોરેજ એ એઆઈ મોટા પાયાના મોડલ્સ માટે મુખ્ય પાયાનું ઈન્ફ્રાસ્ટ્રક્ચર બની જાય છે. Huawei ડેટા સ્ટોરેજ નવીનતા લાવવાનું ચાલુ રાખશે, AI મોટા મોડલ્સના યુગ માટે વૈવિધ્યસભર સોલ્યુશન્સ અને પ્રોડક્ટ્સ પ્રદાન કરશે, પાર્ટનર્સ સાથે સહયોગ કરીને એઆઈ સશક્તિકરણને વિશાળ શ્રેણીમાં ઉદ્યોગોમાં આગળ ધપાવશે.”
પોસ્ટ સમય: ઓગસ્ટ-01-2023
