1/26/2022,光纖在線訊,Meta 今天發(fā)布了其AI 研究超級(jí)計(jì)算機(jī)—RSC 。RSC使用了NVIDIA的系統(tǒng),網(wǎng)絡(luò)和AI 軟件,可實(shí)現(xiàn)數(shù)千塊 GPU 的優(yōu)化。RSC使用了 760 個(gè) NVIDIA DGX A100 系統(tǒng),通過 NVIDIA Quantum 200Gb/s InfiniBand 網(wǎng)絡(luò)相連,可提供 1895 petaflops(每秒千萬億次浮點(diǎn)運(yùn)算) 的 TF32 性能。一旦今年晚些時(shí)候完成部署后, RSC 有望成為安裝 NVIDIA DGX A100 系統(tǒng)的最大客戶。Meta 平臺(tái)對 NVIDIA 大加贊賞,之所以選擇NVIDIA的技術(shù),是因?yàn)樗麄冋J(rèn)為這是迄今為止最強(qiáng)大的研究系統(tǒng)。
1月25日發(fā)布的AI 研究超級(jí)群集 (AI Research SuperCluster 簡稱RSC) 已經(jīng)在訓(xùn)練新模型在推動(dòng) AI 發(fā)展。
Meta在一篇博客中說道:“我們希望 RSC 能夠幫助我們構(gòu)建全新的 AI 系統(tǒng),例如它可以為大規(guī)模群體(其中每個(gè)人講不同的語言)提供實(shí)時(shí)語音翻譯支持,以便他們可以在參與研究項(xiàng)目時(shí)開展無縫協(xié)作,也可以一起暢玩 AR 游戲!
訓(xùn)練 AI 的大型模型
RSC 將在今年晚些時(shí)候完全構(gòu)建完畢,然后,Meta 計(jì)劃將其用于訓(xùn)練包含超過萬億參數(shù)的 AI 模型。這可以推動(dòng)自然語言處理等領(lǐng)域的發(fā)展,助力處理實(shí)時(shí)識(shí)別不良內(nèi)容等工作。
除了大規(guī)模性能之外,Meta 還能以極高的可靠性、安全性、隱私性和靈活性,處理“各種各樣的 AI 模型”,用作 RSC 的關(guān)鍵標(biāo)準(zhǔn)。
Meta 的RSC包含數(shù)百個(gè) NVIDIA DGX 系統(tǒng),這些系統(tǒng)由 NVIDIA Quantum InfiniBand 網(wǎng)絡(luò)相連,來加速其 AI 研究團(tuán)隊(duì)的工作。
原理揭秘
這一新型 AI 超級(jí)計(jì)算機(jī)目前使用了 760 個(gè) NVIDIA DGX A100 系統(tǒng)作為其計(jì)算節(jié)點(diǎn)。它們總共包括 6080 塊 NVIDIA A100 GPU,這些 GPU 通過 NVIDIA Quantum 200Gb/s InfiniBand 網(wǎng)絡(luò)相連,可提供 1895 petaflops(每秒千萬億次浮點(diǎn)運(yùn)算) 的 TF32 性能。
盡管新冠肺炎 (COVID-19) 帶來了挑戰(zhàn),在構(gòu)建Meta RSC 的過程中,借助 NVIDIA DGX A100 技術(shù),僅用了 18 個(gè)月,RSC就從一個(gè)紙上的想法變?yōu)橐慌_(tái)可以正常運(yùn)行的 AI 超級(jí)計(jì)算機(jī)(如以下視頻所示)。
20 倍性能提升
這是 Meta 第二次選擇 NVIDIA 技術(shù)作為研究基礎(chǔ)設(shè)施的基礎(chǔ)。2017 年,Meta 使用 22000 塊 NVIDIA V100 Tensor Core GPU 構(gòu)建了第一代 AI 研究基礎(chǔ)設(shè)施,該基礎(chǔ)設(shè)施可每天處理 35000 項(xiàng) AI 訓(xùn)練任務(wù)。
Meta 的早期基準(zhǔn)測試表明,與上一代系統(tǒng)相比,RSC 訓(xùn)練大型 NLP 模型的速度要快達(dá) 3 倍,運(yùn)行計(jì)算機(jī)視覺作業(yè)的速度要快達(dá) 20 倍。
在于今年晚些時(shí)候推出的第二階段中,RSC 將擴(kuò)展至 16000 塊 GPU,Meta 認(rèn)為這些 GPU 可提供高達(dá) 5 exaflops 的混合精度 AI 性能。Meta 打算擴(kuò)展 RSC 的存儲(chǔ)系統(tǒng),以每秒 16 TB 的速度提供高達(dá) 1 EB 的數(shù)據(jù)。
可擴(kuò)展架構(gòu)
NVIDIA AI 技術(shù)適用于各種規(guī)模的企業(yè)。
NVIDIA DGX 包含全套 NVIDIA AI 軟件,能夠輕松地從單個(gè)系統(tǒng)擴(kuò)展至基于內(nèi)部私有云或托管供應(yīng)商運(yùn)行的 DGX SuperPOD?蛻暨可以通過 NVIDIA DGX Foundry 租賃 DGX 系統(tǒng)。
關(guān)于 NVIDIA
NVIDIA(NASDAQ 股票代碼:NVDA)于 1999 年發(fā)明了 GPU。此舉極大推動(dòng)了 PC 游戲市場的發(fā)展、重新定義了現(xiàn)代計(jì)算機(jī)圖形、高性能計(jì)算和人工智能。該公司在加速計(jì)算和 AI 領(lǐng)域的開創(chuàng)性工作正在重塑價(jià)值數(shù)萬億美元的行業(yè)(例如運(yùn)輸、醫(yī)療健康和制造業(yè)),并推動(dòng)許多其他行業(yè)的發(fā)展。有關(guān)更多信息,請?jiān)L問 https://nvidianews.nvidia.com/。