Unique3D 在 30 秒內(nèi)從單視圖野生圖像生成高保真、多樣化紋理網(wǎng)格，當(dāng)然運(yùn)行速度取決于你的硬件資源情況。

Unique3D主要功能：

• 高保真度生成：Unique3D 實(shí)現(xiàn)了最先進(jìn)的生成保真度，可生成細(xì)致復(fù)雜的紋理和復(fù)雜的幾何形狀。這是通過多視圖擴(kuò)散模型來實(shí)現(xiàn)的，該模型生成正交多視圖圖像和相應(yīng)的法線貼圖。

• 效率：框架效率高，能夠在30秒內(nèi)生成高保真3D網(wǎng)格。這種效率歸功于快速前饋模型和稱為 ISOMER 的即時(shí)網(wǎng)格重建算法的集成。

• 一致性：Unique3D 通過使用多級(jí)升級(jí)流程逐步提高生成圖像的分辨率，確保生成視圖的一致性。 ISOMER 算法將顏色和幾何先驗(yàn)集成到網(wǎng)格結(jié)果中，解決了先前方法中發(fā)現(xiàn)的不一致問題。

• 通用性：該框架表現(xiàn)出很強(qiáng)的通用性，在各種不同風(fēng)格的野生2D圖像上表現(xiàn)良好。大量實(shí)驗(yàn)證明了這一點(diǎn)，這些實(shí)驗(yàn)表明 Unique3D 在保真度、幾何細(xì)節(jié)和分辨率方面優(yōu)于現(xiàn)有方法。

• 多級(jí)升級(jí)策略：Unique3D采用多級(jí)升級(jí)策略來逐步增強(qiáng)生成圖像的分辨率。這涉及微調(diào)多視圖感知 ControlNet 并使用超分辨率模型來實(shí)現(xiàn)高分辨率輸出。

• 法線貼圖預(yù)測：為了捕捉豐富的表面細(xì)節(jié)，Unique3D 使用法線擴(kuò)散模型來預(yù)測與多視圖彩色圖像相對(duì)應(yīng)的法線貼圖。這提高了幾何細(xì)節(jié)的準(zhǔn)確性，尤其是邊緣處。

• ExplicitTarget 優(yōu)化：為了解決多視圖不一致問題并細(xì)化幾何細(xì)節(jié)，Unique3D 引入了 ExplicitTarget 優(yōu)化。該方法為每個(gè)頂點(diǎn)分配唯一的優(yōu)化目標(biāo)，比傳統(tǒng)方法更穩(wěn)健地指導(dǎo)優(yōu)化方向。

Unique3D特征：

• 在 30 秒內(nèi)生成高保真紋理網(wǎng)格。

• 5 天內(nèi)僅使用 8 個(gè) RTX4090 GPU 進(jìn)行訓(xùn)練。

• 利用多視圖擴(kuò)散模型和法線擴(kuò)散模型來生成多視圖圖像和法線貼圖。

• 采用多級(jí)升級(jí)流程來提高分辨率。

• 使用 ISOMER 進(jìn)行即時(shí)且一致的網(wǎng)格重建。

Unique3D由清華大學(xué)和AVAR Inc.的研究團(tuán)隊(duì)共同開發(fā)。

Unique3D官網(wǎng)入口：

Unique3D 在線使用：https://huggingface.co/spaces/Wuvin/Unique3D

Unique3D 項(xiàng)目地址：https://wukailu.github.io/Unique3D/

Unique3D Github：https://github.com/AiuniAI/Unique3D