1/05/2024，光纖在線訊，據(jù)逍遙科技消息：AMD 發(fā)布了下一代人工智能加速器 MI300，采用先進(jìn)的 3D 芯片集成技術(shù)，像層疊蛋糕一樣垂直堆疊超過 13 塊芯片。芯片和三維集成技術(shù)的結(jié)合實現(xiàn)了無與倫比的計算密度，并將關(guān)鍵機(jī)器學(xué)習(xí)工作負(fù)載的性能提升了 3.4 倍。MI300 融合了 AMD 最新的 CPU、GPU 和 I/O 技術(shù)，基準(zhǔn)測試表明它超越了 Nvidia 和 Intel 的競爭解決方案。

簡介
     AMD 在最近舉行的 AMD Advancing AI 大會上披露了即將推出的 MI300 AI 加速芯片的詳細(xì)規(guī)格。隨著大型語言模型和神經(jīng)網(wǎng)絡(luò)等人工智能工作負(fù)載越來越復(fù)雜，加速器需要更高的性能和更大的互連帶寬。MI300 并沒有完全依賴摩爾定律的改進(jìn)，而是利用最先進(jìn)的 3D 集成技術(shù)實現(xiàn)了性能上的重大飛躍。


圖 1. AMD Instinct MI300a

先進(jìn)的三維集成技術(shù)
     MI300 的核心是先進(jìn)的三維集成方案，采用臺積電的 SoIC 和 CoWoS 集成技術(shù)，垂直堆疊 13 個硅芯片。這使得計算 （XCD）、CPU （CCD）、I/O、內(nèi)存和結(jié)構(gòu)互連的配置密度達(dá)到最高。較小的模塊化 XCD 和 CCD 芯片采用臺積電領(lǐng)先的 N5 工藝生產(chǎn)，產(chǎn)量更高，而較大的 I/O 和互連采用 N6 工藝生產(chǎn)，成本效益更高。所有互連都采用垂直方式，高帶寬鏈路的速率達(dá)到 17 TB/s。AMD 在模塊化 CPU 和 V-Cache 產(chǎn)品方面的豐富經(jīng)驗使其能夠以較低的風(fēng)險執(zhí)行如此雄心勃勃的 3D 路線圖。


圖 2. 堆疊在 I/O 上的計算和人工智能芯片組

 
圖 3. 為了使所有芯片排列整齊，IOD 芯片必須互為鏡像，加速器（XCD）和計算（CCD）芯片必須旋轉(zhuǎn)。

與競爭對手的比較
     與競爭對手的超級芯片（如 Nvidia 的 Hopper/Grace 和 Intel 的 Ponte Vecchio）相比，MI300 采用了明顯不同的異構(gòu)計算集成方法。這些芯片依賴于單個大型芯片的橫向連接，而 AMD 則采用模塊化的 "樂高積木 "式集成，將許多較小的芯片堆疊成密集的三維配置。在可能的情況下重復(fù)使用現(xiàn)有 IP，并按最佳工藝節(jié)點拆分工作負(fù)載，使 AMD 在產(chǎn)量、經(jīng)濟(jì)性和更簡單的互連路由方面更具優(yōu)勢。

無與倫比的人工智能計算性能
     利用先進(jìn)的臺積電工藝技術(shù)和堆疊配置，MI300 的計算密度和內(nèi)存帶寬達(dá)到了前所未有的水平。最新的 CDNA3 架構(gòu)可加速 INT4 和 INT8 精度模式下的人工智能關(guān)鍵數(shù)學(xué)函數(shù)，從而實現(xiàn)大型神經(jīng)網(wǎng)絡(luò)和模型的超并行化。基準(zhǔn)測試表明，MI300 的 INT8 teraflops 性能是 Nvidia H100 的 1.7 倍。垂直整合為每個 XCD 堆棧提供了 8.3 TB/秒的驚人帶寬。這使得關(guān)鍵機(jī)器學(xué)習(xí)內(nèi)核的性能提高了 3.4 倍。

軟件和部署
     為了釋放 MI300 的潛能，AMD 正在提供一個增強的軟件棧，從低階固件到支持 oneAPI 的 ROCm 5.0 等優(yōu)化庫。美國Oak Ridge國家實驗室等主要高性能計算客戶正在將MI300集成到即將推出的Exascale級超級計算機(jī)（如Frontier和El Capitan）中，這將加速氣候、能源和健康領(lǐng)域的科學(xué)發(fā)現(xiàn)。憑借靈活的配置，云服務(wù)提供商和企業(yè)數(shù)據(jù)中心客戶也將部署 MI300 的人工智能訓(xùn)練和推理功能。

結(jié)論
     尖端的三維集成和先進(jìn)的臺積電工藝節(jié)點使 AMD 能夠利用 MI300 實現(xiàn)前所未有的人工智能加速能力，從而超越競爭對手的產(chǎn)品。13 個以上芯片的模塊化堆疊創(chuàng)造了最高密度配置，為大規(guī)模并行 XCD 計算提供了充足的帶寬。MI300 與 AMD 廣泛的芯片組和互連 IP 相結(jié)合，為人工智能計算密度、吞吐量和可擴(kuò)展性樹立了新的標(biāo)桿，美國Oak Ridge國家實驗室等客戶計劃將其用于整個科學(xué)計算領(lǐng)域。更廣泛地說，MI300延續(xù)了 AMD 在加速計算領(lǐng)域的創(chuàng)新領(lǐng)導(dǎo)者地位。

參考來源：https://spectrum.ieee.org/amd-mi300