Audio2Face，一款由ai驅動的應用程序，通過語音生成富有表現力的3D面部動畫。Audio2Face 簡化了 3D 角色的動畫，以匹配任何畫外音軌道，無論您是為游戲、電影、實時數字助理制作角色動畫，還是只是為了好玩。您可以將該應用程序用于交互式實時應用程序或作為傳統的面部動畫創作工具。

Audio2Face是如何工作的？

Omniverse Audio2Face 應用基于 NVIDIA Research 的原創論文。Audio2Face 預裝了“數字標記”——一個 3D 角色模型，可以用您的音軌制作動畫，因此入門很簡單。只需選擇您的音頻并將其上傳到應用程序中即可。該技術將音頻輸入輸入到預先訓練的深度神經網絡中，網絡的輸出實時驅動角色的面部動畫。用戶可以選擇編輯各種后處理參數以編輯角色的表演。然后，網絡的輸出驅動角色網格的 3D 頂點以創建面部動畫。您在此頁面上看到的結果大多是 Audio2Face 的原始輸出，幾乎沒有編輯任何后期處理參數。

Audio2Face 的實際應用：

語言

Audio2Face將能夠輕松處理任何語言。我們會定期添加越來越多的語言。查看這些英語、法語、意大利語和俄語的測試。

Misty 動畫聊天機器人

在 GTC Spring 2020 上展示的 Misty 是一個交互式天氣機器人，在運行時由 Audio2Face 驅動。我們演示了從逼真的人類網格到風格化角色網格的重定向，以用作交互式服務代理。

Omniverse 機械

Audio2Face 在 GeForce 30 系列發布會上亮相，出現在 Omniverse Machinima 演示中。眾所周知，面部動畫非常復雜且成本高昂。Audio2Face 可自動執行詳細的面部動畫，使 3D 內容創建過程民主化。

人臉

Audio2Face可以使用任何對話驅動的音軌，并最終能夠重新定位到任何3D人臉，無論是逼真的還是風格化的。觀看此測試，我們將從 Digital Mark 重新定位到 Rain。

實驗角色

生物和外星人

此功能允許您重新定位和驅動奇幻生物和外星人的面部動畫。在這里，我們有數字標記推動了外星人的性能。