[Lachin, Shenzhen, 14 jiyè 2023] Jodi a, Huawei te revele nouvo solisyon depo AI li yo pou epòk modèl gwo echèl, bay solisyon depo optimal pou fòmasyon modèl debaz, fòmasyon modèl endistri espesifik, ak enferans nan senaryo segmenté, kidonk. debouche nouvo kapasite AI.
Nan devlopman ak aplikasyon aplikasyon pou modèl gwo echèl, antrepriz fè fas a kat gwo defi:
Premyèman, tan ki nesesè pou preparasyon done yo long, sous done yo gaye, ak agrégasyon dousman, li pran apeprè 10 jou pou pre-pwosesis dè santèn de teraocte done. Dezyèmman, pou modèl gwo milti-modal ak seri done tèks ak imaj masiv, vitès chaj aktyèl la pou ti fichye masiv se mwens pase 100MB / s, sa ki lakòz efikasite ki ba pou chaje seri fòmasyon. Twazyèmman, ajisteman paramèt souvan pou gwo modèl, ansanm ak platfòm fòmasyon enstab, lakòz entèripsyon fòmasyon apeprè chak 2 jou, sa ki fè nesesite mekanis nan Checkpoint rekòmanse fòmasyon, ak rekiperasyon pran plis pase yon jou. Anfen, papòt segondè aplikasyon pou gwo modèl, konfigirasyon sistèm konplèks, defi orè resous, ak itilizasyon resous GPU souvan pi ba pase 40%.
Huawei ap aliman ak tandans devlopman AI nan epòk modèl gwo echèl, ofri solisyon ki adapte pou diferan endistri ak senaryo. Li prezante OceanStor A310 Deep Learning Data Lake Storage ak FusionCube A3000 Fòmasyon/Enferans Super-Konvèje Aparèy la. OceanStor A310 Deep Learning Data Lake Storage vize tou de debaz ak nivo endistri gwo modèl senaryo lak done, reyalize jesyon done konplè AI soti nan agrégation done, pre-pwosesis nan fòmasyon modèl, ak aplikasyon pou enferans. OceanStor A310, nan yon sèl etajè 5U, sipòte endistri 400GB/s lajè ak jiska 12 milyon IOPS, ak évolutivité lineyè jiska 4096 nœuds, ki pèmèt kominikasyon san pwoblèm kwa-pwotokòl. Sistèm Fichye Global (GFS) fasilite done entèlijan resi atravè rejyon yo, rasyonalize pwosesis agregasyon done yo. Enfòmatik tou pre-depo reyalize pre-pwosesis done, diminye mouvman done, ak amelyore efikasite preprocessing pa 30%.
Aparèy Super-Konvèje FusionCube A3000 Fòmasyon/Enferans, ki fèt pou senaryo fòmasyon/enferans gwo modèl nan nivo endistri, satisfè aplikasyon ki enplike modèl ak dè milya de paramèt. Li entegre OceanStor A300 nœuds depo segondè-pèfòmans, nœuds fòmasyon/enferans, ekipman pou chanje, lojisyèl platfòm AI, ak lojisyèl jesyon ak operasyon, bay gwo patnè modèl yon eksperyans deplwaman plug-and-play pou yon livrezon yon sèl-stop. Pare pou itilize, li ka deplwaye nan 2 èdtan. Tou de fòmasyon / enferans ak depo nœuds yo ka poukont yo ak orizontal elaji pou matche ak divès kondisyon echèl modèl. Pandan se tan, FusionCube A3000 itilize resipyan pèfòmans segondè pou pèmèt plizyè fòmasyon modèl ak travay enferans yo pataje GPU, ogmante itilizasyon resous soti nan 40% a plis pase 70%. FusionCube A3000 sipòte de modèl biznis fleksib: Huawei Ascend One-Stop Solution ak patnè twazyèm pati a yon sèl-stop solisyon ak òdinatè ouvè, rezo, ak lojisyèl platfòm AI.
Zhou Yuefeng, Prezidan Huawei nan Liy Pwodwi Depo Done, deklare, “Nan epòk modèl gwo echèl, done yo detèmine wotè entèlijans AI. Kòm konpayi transpòtè done, depo done vin tounen enfrastrikti fondamantal kle pou modèl gwo echèl AI. Huawei Data Storage pral kontinye inove, bay solisyon divèsifye ak pwodwi pou epòk gwo modèl AI, kolabore ak patnè pou mennen AI otonòm atravè yon pakèt endistri.”
Tan pòs: Out-01-2023
