NVIDIA 研究團隊構建 AI 模型，為虛擬世界填充3D物體和人物

瀏覽量：

導讀：NVIDIA AI 研究副總裁 Sanja Fidler 負責領導創(chuàng)建此工具的多倫多 AI 實驗室，她表示： “GET3D 讓我們離普及 AI 驅(qū)動的 3D 內(nèi)容創(chuàng)作更近了一步。它能夠即時生成紋理化的三維圖形，這可能會為開發(fā)者帶來顛覆性的變化，有助于他們迅速填充包含各種有趣對象的虛擬世界�！�

9/29/2022，光纖在線訊，得益于 NVIDIA Research 新的 AI 模型，越來越多的公司和創(chuàng)作者創(chuàng)建的大型虛擬世界可以更輕松地填充一系列多種多樣的 3D 建筑、車輛、人物等內(nèi)容。

NVIDIA GET3D 僅使用 2D 圖像進行訓練，可生成具有高保真紋理和復雜幾何細節(jié)的三維圖形。這些 3D 對象的創(chuàng)建格式與熱門圖形軟件應用所用的格式相同，允許用戶立即將其形體導入 3D 渲染器和游戲引擎，以便進行后續(xù)編輯。

其所生成的對象可用于建筑、戶外空間或整個城市的 3D 表現(xiàn)，為游戲、機器人開發(fā)、建筑和社交媒體等行業(yè)量身打造。

GET3D 可以根據(jù)受訓練時使用的數(shù)據(jù)生成幾乎無限量的三維圖形。就像一位藝術家將一塊粘土制成精細的雕塑一樣，該模型會將數(shù)字轉(zhuǎn)換為復雜的三維圖形。

例如，借助 2D 汽車圖像的訓練數(shù)據(jù)集，它創(chuàng)建了轎車、卡車、賽車和面包車等系列集。當在動物圖像上訓練后，它會生成狐貍、犀牛、馬和熊等生物。如果輸入椅子時，模型會生成各種旋轉(zhuǎn)椅、餐椅和舒適的躺椅。

NVIDIA AI 研究副總裁 Sanja Fidler 負責領導創(chuàng)建此工具的多倫多 AI 實驗室，她表示： “GET3D 讓我們離普及 AI 驅(qū)動的 3D 內(nèi)容創(chuàng)作更近了一步。它能夠即時生成紋理化的三維圖形，這可能會為開發(fā)者帶來顛覆性的變化，有助于他們迅速填充包含各種有趣對象的虛擬世界。”

在 11 月 26 日至 12 月 4 日于新奧爾良（以及在線）舉辦的 NeurIPS AI 大會上，NVIDIA 有 20 多篇論文、專題研討會， GET3D 就是其中之一。

打造虛擬世界需要多種 AI 類型

現(xiàn)實世界充滿了多樣性：街道上的建筑各有特點，各有不同的車輛則在其間呼嘯而過，川流不息的人群更是異彩紛呈。為反映這一情景的 3D 虛擬世界進行手動建模非常耗時，因此難以填入詳細的數(shù)字環(huán)境。

以前的 3D 生成式 AI 模型，雖然比人工方法更快，但在所能生成的細節(jié)水平上也被限制了。即使是最近的反向渲染方法也只能根據(jù)從多個角度拍攝的 2D 圖像生成 3D 物體，這就需要開發(fā)者一次構建一個三維圖形。

相反，在單個 NVIDIA GPU 上運行推理時，GET3D 每秒可生成大約 20 個形體，就像處理 2D 圖像的生成式對抗網(wǎng)絡一樣，只是生成的是 3D 對象。作為學習來源的訓練數(shù)據(jù)集更大、更多樣化，輸出也會更多樣化，并且更詳細。

NVIDIA 研究人員使用合成數(shù)據(jù)訓練 GET3D，數(shù)據(jù)中包含使用不同攝像頭角度拍攝的三維圖形 2D 圖像。該團隊僅用了兩天時間，就使用 NVIDIA A100 Tensor Core GPU，對模型進行了 100 萬張圖像的訓練。

讓創(chuàng)作者能夠修改形狀、紋理、材質(zhì)

GET3D 的名稱源于其能夠生成顯式紋理 3D (Generate Explicit Textured 3D) 網(wǎng)格，這意味著它會以三角形網(wǎng)格的形式創(chuàng)建形體并使用紋理材質(zhì)覆蓋，就像 papier-maché 模型一樣。這使得用戶能夠輕松地將對象導入游戲引擎、3D 建模軟件和電影渲染器，并進行編輯。

在創(chuàng)作者將 GET3D 生成的形體導出到圖形應用后，當這些物體移動或旋轉(zhuǎn)時，就能使用逼真的照明效果。通過整合 NVIDIA Research 提供的另一種 AI 工具 StyleGAN-NADA，開發(fā)者可以使用文本提示將特定風格添加到圖像中，例如將渲染出的汽車調(diào)整為被燒毀的汽車或出租車，或?qū)⑵胀ǚ课菰O置成鬼屋。

研究人員指出，未來版本的 GET3D 可以使用攝像頭姿態(tài)預估技術，讓開發(fā)者能夠使用真實世界的數(shù)據(jù)（而不是合成數(shù)據(jù)集）來訓練模型。還可以對其進行改進以支持通用生成，這意味著開發(fā)者可以一次性訓練用于各種三維圖形的 GET3D，而不必每一次在一個對象類別上進行訓練。