欧美亚洲美日更新在线_国产av无码图_91精品无码中文字幕在线_久久人妻中文字幕乱码_亚洲无码视频一二三区在线

中國聯通完成“AI大模型300公里跨域分布式協(xié)同訓練”技術驗證

光纖在線編輯部  2025-01-07 15:04:24  文章來源:本站消息  版權所有,未經許可嚴禁轉載.

導讀:充分驗證了跨DC協(xié)同訓練技術的商用可行性,為AI大模型訓練模式提供了全新的解決方案。

1/07/2025,光纖在線訊,據中國聯通公眾號2024年12月21日消息:近日,在中國聯通集團建設發(fā)展部,智算發(fā)展專班指導下,中國聯通研究院與上海分公司聯合產業(yè)合作伙伴,在中國聯通臨港智算中心成功完成AI大模型300公里分布式協(xié)同訓練技術驗證。通過智算、網絡多項創(chuàng)新技術的綜合運用,實現了300公里跨域分布式訓練等效算力達到單集群的95%以上,跨域帶寬收斂比大于16:1。充分驗證了跨DC協(xié)同訓練技術的商用可行性,為AI大模型訓練模式提供了全新的解決方案。

       跨智算中心分布式協(xié)同訓練存在兩大需求:一是大模型訓練對算力的需求激增,但單體智算中心存在電力、空間等容量上限,超大規(guī)模的模型訓練需要多DC資源協(xié)同;二是多租戶場景下產生了算力資源碎片化問題,亟需進行多DC的空閑資源整合和利用。在此背景下,跨DC分布式協(xié)同訓練興起,長距無損的聯算網絡技術成為剛需。

       中國聯通深耕長距無損網絡關鍵技術,針對跨DC長距RDMA傳輸場景,創(chuàng)新長距擁塞控制和精準流控協(xié)議,在智算網關實現近端擁塞的快速識別和反饋;同時通過優(yōu)化智算模型并行策略,適配廣域帶寬超大收斂比的解決方案,壓縮超大規(guī)模智算中心互聯場景中對拉遠帶寬的巨額需求。積極開展智算網絡標準化工作,在ITU-T立項下一代網絡廣域無損管控功能要求Y.WALNC,在IETF推進廣域無損需求和技術框架研究,在CCSA牽頭立項智算網關、長距擁塞控制技術要求等行業(yè)標準,聯合產業(yè)伙伴共同構建長距無損網絡技術生態(tài)。

      
本次AI大模型300km跨DC分布式協(xié)同訓練試點測試包含兩大亮點:
       第一、創(chuàng)新運用了新一代智算網關設備、精準流控技術和并行方式優(yōu)化技術,實現廣域收斂比不低于16:1。在跨300km協(xié)同訓練場景下,針對不同廣域收斂比對大模型訓練效率的驗證,通過現網實測數據結果分析,針對廣域收斂比為4:1、8:1、16:1的場景,可實現百億大模型300km分布式訓練性能均達到單智算中心訓練性能的95%以上,使其具備真正意義上的商用可行性。

       第二、采用單波800G實現300km的傳輸,并驗證其超高可靠的能力。本次跨DC拉遠通過業(yè)界領先的800G光傳送解決方案實現超大帶寬和300km距離的傳輸,并進行了多項可靠性功能測試,驗證結果表明智算互聯需要抗多次故障帶寬不下降能力。

      
       中國聯通研究院副院長,首席科學家唐雄燕介紹,中國聯通建設了一張先進的算力智聯網AINet,通過“IP+光”融合打造新質運力,以網強算,具備高通量、高性能、高智能的特點。AI大模型跨域分布式訓練是AINet的典型應用場景,本次測試驗證為后續(xù)網絡建設提供了強有力的技術支持。

       上海聯通科技創(chuàng)新部總經理吳昊表示,上海聯通將依托臨港智算中心優(yōu)勢,充分發(fā)揮“算網一體”的高品質人工智能新型基礎設施資源稟賦,進一步深化超長距離存算運協(xié)同、無損網絡流量管控等重點方向科技創(chuàng)新的能力打造,面向智算集群生產經營重點需求,持續(xù)推動算力與網絡的深度融合與高質量發(fā)展。

       展望未來,中國聯通將攜手產業(yè)合作伙伴,發(fā)揮行業(yè)引領作用,借助AINet算力智聯網,打通計算、網絡、安全多領域合作通道,推動關鍵技術的深度融合與創(chuàng)新發(fā)展,實現計算和網絡的一體化協(xié)同運作,賦能產業(yè)的高質量發(fā)展。
光纖在線

光纖在線公眾號

更多猛料!歡迎掃描左方二維碼關注光纖在線官方微信

相關產品

微信掃描二維碼
使用“掃一掃”即可將網頁分享至朋友圈。