4/11/2024，光纖在線訊，據(jù)外媒報(bào)道：Meta 透露了有關(guān)其下一代 Meta 訓(xùn)練和推理加速器 （MTIA） 的詳細(xì)信息，這是一個(gè)旨在優(yōu)化公司 AI 工作負(fù)載的定制芯片系列。與前身 MTIA v1 相比，最新版本展示了顯著的性能改進(jìn)，并在為 Meta 的廣告排名和推薦模型提供支持方面發(fā)揮了至關(guān)重要的作用。

     新的 MTIA 芯片是 Meta 對(duì) AI 基礎(chǔ)設(shè)施不斷增長的投資的一部分，旨在補(bǔ)充現(xiàn)有和未來的 AI 系統(tǒng)，以改善其產(chǎn)品和服務(wù)的用戶體驗(yàn)。隨著 AI 模型的計(jì)算需求隨著其復(fù)雜性的不斷提高，Meta 認(rèn)識(shí)到開發(fā)高效且可擴(kuò)展的解決方案以支持生成式 AI （GenAI） 產(chǎn)品、推薦系統(tǒng)和高級(jí) AI 研究的重要性。

     在引擎蓋下，新的MTIA芯片具有8x8的處理元件（PE）網(wǎng)格，可大幅提升密集計(jì)算性能（比MTIA v1提高3.5倍）和稀疏計(jì)算性能（提高7倍）。該芯片的架構(gòu)專注于實(shí)現(xiàn)計(jì)算、內(nèi)存帶寬和內(nèi)存容量的最佳平衡，以便有效地為排名和推薦模型提供服務(wù)，即使批量大小相對(duì)較小。

      
圖源：Meta官網(wǎng)
     此外，Meta 開發(fā)了一個(gè)大型機(jī)架式系統(tǒng)，可容納多達(dá) 72 個(gè)加速器，以支持下一代芯片。該系統(tǒng)旨在將芯片的時(shí)鐘頻率從 800 MHz 提高到 1.35GHz，并以 90 瓦的功率運(yùn)行，與第一代設(shè)計(jì)相比，確保具有更高的計(jì)算、內(nèi)存帶寬和內(nèi)存容量的更密集的功能。

     自 Meta 開始投資 MTIA 以來，軟件一直是其重點(diǎn)關(guān)注的領(lǐng)域。MTIA 堆棧旨在與 PyTorch 2.0 以及 TorchDynamo 和 TorchInductor 等功能完全集成。Meta 還通過創(chuàng)建 Triton-MTIA 編譯器后端來優(yōu)化軟件堆棧，該后端為 MTIA 硬件生成高性能代碼并提高開發(fā)人員的工作效率。

     早期結(jié)果表明，在評(píng)估的四個(gè)關(guān)鍵型號(hào)中，下一代MTIA芯片的性能比第一代芯片提高了3倍。在平臺(tái)層面，Meta 的設(shè)備數(shù)量增加了一倍，并配備了強(qiáng)大的 2 插槽 CPU，與第一代 MTIA 系統(tǒng)相比，實(shí)現(xiàn)了 6 倍的型號(hào)服務(wù)吞吐量和 1.5 倍的每瓦性能提升。

     目前，MTIA 已經(jīng)部署在 Meta 的數(shù)據(jù)中心，并正在積極為生產(chǎn)中的模型提供服務(wù)。事實(shí)證明，該芯片與商用 GPU 高度互補(bǔ)，可在 Meta 特定工作負(fù)載上提供性能和效率的最佳組合。作為 Meta 長期路線圖的一部分，MTIA 將繼續(xù)發(fā)展和擴(kuò)展，以支持公司雄心勃勃的 AI 目標(biāo)，包括支持 GenAI 工作負(fù)載以及對(duì)內(nèi)存帶寬、網(wǎng)絡(luò)和容量的投資。

來源：maginative