2/21/2023，光纖在線訊，ChatGPT的背后是超大規(guī)模人工智能預(yù)訓(xùn)練模型(大模型)和GPU算力。中信證券研究部日前發(fā)表研報(bào)分析ChatGPT發(fā)展對(duì)背后GPU算力的需求預(yù)測(cè)。研報(bào)的核心觀點(diǎn)：OpenAI預(yù)計(jì)人工智能科學(xué)研究要想取得突破，所需要消耗的計(jì)算資源每3~4個(gè)月就要翻一倍，資金也需要通過指數(shù)級(jí)增長(zhǎng)獲得匹配。

 具體來說，研報(bào)分析，在算力方面，GPT-3.5（ChatGPT背后的大語言模型）在微軟Azure AI超算基礎(chǔ)設(shè)施（由一萬個(gè)英偉達(dá)V100 GPU組成的高帶寬集群）上進(jìn)行訓(xùn)練，總算力消耗約 3640PF-days（即每秒一千萬億次計(jì)算，運(yùn)行3640天）。在大數(shù)據(jù)方面，GPT-2用于訓(xùn)練的數(shù)據(jù)取自于Reddit上高贊的文章，數(shù)據(jù)集共有約800萬篇文章，累計(jì)體積約40G；GPT-3模型的神經(jīng)網(wǎng)絡(luò)是在超過45TB的文本上進(jìn)行訓(xùn)練的，數(shù)據(jù)相當(dāng)于整個(gè)維基百科英文版的160倍。

 按照量子位給出的數(shù)據(jù)，將一個(gè)大型語言模型（LLM）訓(xùn)練到GPT-3級(jí)的成本高達(dá)460萬美元。采購一片英偉達(dá)頂級(jí)GPU成本為8萬元，GPU服務(wù)器成本通常超過40萬元。對(duì)于ChatGPT而言，支撐其算力基礎(chǔ)設(shè)施至少需要上萬顆英偉達(dá)GPU A100，一次模型訓(xùn)練成本超過1200萬美元。

   OpenAI公司CEO阿爾特曼在推特上回答馬斯克的問題時(shí)表示，在用戶與ChatGPT的每次交互中，OpenAI花費(fèi)的計(jì)算成本為“個(gè)位數(shù)美分”，隨著ChatGPT變得流行，每月的計(jì)算成本可能達(dá)到數(shù)百萬美元。

   ChatGPT背后所需要的GPU（Graphics Processing Unit，圖形處理器）是一種專門在個(gè)人電腦、工作站、游戲機(jī)和一些移動(dòng)設(shè)備(如平板電腦、智能手機(jī)等)上做圖像加速和通用計(jì)算工作的微處理器。GPU是英偉達(dá)公司在1999年8月發(fā)表NVIDIA GeForce 256（GeForce 256）繪圖處理芯片時(shí)首先提出的概念。相比CPU，GPU 的邏輯運(yùn)算單元小而多，控制器功能簡(jiǎn)單，緩存也較少；GPU 單個(gè)運(yùn)算單元（ALU）處理能力弱于 CPU，但是數(shù)量眾多的ALU可以同時(shí)工作，當(dāng)面對(duì)高強(qiáng)度并行計(jì)算時(shí)，其性能要優(yōu)于 CPU；GPU可以利用多個(gè)ALU來做并行計(jì)算，而CPU只能按照順序進(jìn)行串行計(jì)算，同樣運(yùn)行3000次的簡(jiǎn)單運(yùn)算，CPU需要3000個(gè)時(shí)鐘周期，而配有3000個(gè)ALU的GPU運(yùn)行只需要1個(gè)時(shí)鐘周期。

 當(dāng)前，無論是大語言模型還是GPU，國內(nèi)同行都距離ChatGPT的水平相距較遠(yuǎn)。大模型高昂的訓(xùn)練成本讓普通創(chuàng)業(yè)公司難以為繼，因此參與者基本都是科技巨頭。在國內(nèi)科技公司中，阿里巴巴達(dá)摩院在2020年推出了M6大模型，百度在2021年推出了文心大模型，騰訊在2022年推出了混元AI大模型。這些模型不僅在參數(shù)量上達(dá)到了千億級(jí)別，而且數(shù)據(jù)集規(guī)模也高達(dá)TB級(jí)別，想要完成這些大模型的訓(xùn)練，就至少需要投入超過1000PetaFlop/s-day的計(jì)算資源。通用GPU方面水平也相差國外至少5-10年。目前國內(nèi)GPGPU芯片的先進(jìn)制程多集中在7nm，例如已經(jīng)量產(chǎn)的天數(shù)智芯“天垓100”，已經(jīng)推出的壁仞B(yǎng)R100、沐曦MXN；此外，芯動(dòng)科技的“風(fēng)華一號(hào)”以及摩爾線程的MTT S2000采用12nm制程。對(duì)比已經(jīng)進(jìn)入4nm時(shí)代的英偉達(dá) H100還有較大差距。

  差距就是機(jī)會(huì)，面對(duì)以ChatGPT為代表的新一代人工智能技術(shù)發(fā)展帶來的挑戰(zhàn)，屬于我們的機(jī)會(huì)需要我們努力去爭(zhēng)取。