【新智元導讀】最近來自浙江大學 ReLER 實驗室的何紋研究人員提出 SIFU 模型，一種側視圖條件隱函數模型用于單張圖片 3D 人體重建。理重量模型通過引入人體側視圖作為先驗條件，建新即并結合擴散模型進行紋理增強，浙大重建在幾何與紋理重建測試中均達到 SOTA，提出并且在真實世界中具有多種應用場景。單圖

在 AR、高質VR、人體3D 打印、模型場景搭建以及電影制作等多個領域中，何紋高質量的理重量穿著衣服的人體 3D 模型非常重要。

傳統的建新即方法創建這些模型不僅需要大量時間，還需要能夠捕捉多視角照片的浙大重建專業設備，此外還依賴于技術熟練的提出專業人員。

與此相反，在日常生活中，我們最常見的是通過手機相機拍攝的或在各種網頁上找到的人像照片。

因此，一種能從單張圖像準確重建 3D 人體模型的方法可以顯著降低成本，并簡化獨立創作的過程。

以往的深度學習模型用于 3D 人體重建，往往需要經過三個步驟：從圖像中提取 2D 特征，將 2D 特征轉到 3D 空間，以及 3D 特征用于人體重建。

然而這些方法在 2D 特征轉換到 3D 空間的階段，往往忽略了人體先驗的引入，導致特征的提取不夠充分，最終重建結果上會出現各種缺陷。

此外，在對紋理預測的階段，以往模型僅僅依靠訓練集中學得的知識，缺少真實世界的先驗知識，也往往導致不可見區域的紋理預測較差。

對此，來自浙江大學 ReLER 實驗室的研究人員提出 SIFU 模型，依靠側視圖條件隱函數從單張圖片重建 3D 人體模型。

• 論文地址：//arxiv.org/ abs / 2312.06704

• 項目地址：//github.com/ River-Zhang / SIFU

該模型通過在 2D 特征轉換到 3D 空間引入人體側視圖作為先驗條件，增強幾何重建效果。并在紋理優化階段引入預訓練的擴散模型，來解決不可見區域紋理較差的問題。

模型結構

模型 pipeline 如下：

該模型運行可分為兩個階段，第一階段借助側隱式函數重建人體的幾何（mesh）與粗糙的紋理（coarse texture），第二階段則借助預訓練的擴散模型對紋理進行精細化。

在第一階段中，作者設計了一種獨特的 Side-view Decoupling Transformer，通過 global encoder 提取 2D 特征后，在 decoder 中引入了人體先驗模型 SMPL-X 的側視圖作為 query，從而在圖像 2D 特征中解耦出人體不同方向的 3D 特征（前后左右），最后用于重建。

該方法成功的在 2D 特征轉換到 3D 空間時結合人體先驗知識，從而使得模型有更好的重建效果。

在第二階段，作者提出一種 3D 一致性紋理優化流程（3D Consistent Texture Refinement），首先將人體不可見的區域（側面、背面）可微渲染成視角連續的圖片集，再借助在海量數據中學習到先驗知識的擴散模型，對粗糙紋理圖片進行一致性編輯，得到更精細的結果。最后通過精細化前后的圖片計算損失來優化 3D 模型的紋理貼圖。

實驗部分

更高的重建精度

在實驗部分，作者使用全面多樣化的測試集對他們的模型進行測試，包括 CAPE-NFP、CAPE-FP 和 THuman2.0，并與以往發表在各大頂會的單張圖片人體重建 SOTA 模型進行比較。經定量測試，SIFU 模型在幾何重建與紋理重建中均表現出了最好的效果。

定量評估幾何重建精度

定量評估紋理重建效果

使用互聯網中公開圖片作為輸入進行定性效果展示

更強的魯棒性

以往的模型應用訓練集以外的數據時，由于估計的人體先驗模型 SMPL / SMPL-X 不夠準確，往往導致重建結果與輸入圖片相差甚遠，難以投入實際應用。

對此，作者專門對模型的魯棒性進行了測試，通過在 ground truth 先驗模型參數中加入擾動使其位姿發生偏移，模擬真實場景中 SMPL-X 估計不準確的情況，來評估模型重建的精度。結果表明 SIFU 模型在該情況下，依然具有最好的重建精度。

評估模型面對有誤差的人體先驗模型時的魯棒性

使用真實世界中的圖片，在先驗人體模型估計不準確的情況下，SIFU 依然有較好的重建效果

更廣闊的應用場景

SIFU 模型的高精度高質量重建效果，使得其具有豐富的應用場景，包括 3D 打印、場景搭建、紋理編輯等。

3D 打印 SIFU 重建的人體模型

SIFU 借助擴散模型進行紋理編輯

SIFU 用于 3D 場景搭建

更多定性測試結果（測試輸入圖片均來自互聯網）

借助公開動作序列數據，可對 SIFU 重建的模型進行驅動

總結

本文提出側視圖條件隱式函數和 3D 一致性紋理編輯方法，彌補了以往工作在 2D 特征轉換到 3D 空間、紋理預測時對先驗知識引入的不足，極大地提高了單張圖片人體重建的精度和效果，使模型在真實世界應用中具有顯著的優勢，也為該領域未來的研究提供了新的思路。

參考資料：

• //arxiv.org/abs/2312.06704

本文來自微信公眾號：新智元 （ID：AI_era）

廣告聲明：文內含有的對外跳轉鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節省甄選時間，結果僅供參考，IT之家所有文章均包含本聲明。