LHM
LHM是阿里巴巴通義實驗室推出的一種先進的技術,可以通過單張圖像快速生成可動畫化的3D 人體模型。
LHM (Large Animatable Human Reconstruction Model)是阿里巴巴通義實驗室推出的一種創新技術,旨在通過單張圖像重建高質量的、可動畫化的3D人體模型。
LHM基於先進的多模態Transformer 架構,融合了3D 幾何特徵和2D 圖像特徵,利用注意力機制保留細緻的服裝紋理和麵部特徵,使得生成的3D 模型不僅高質量,而且能夠在幾秒鐘內完成轉換。通過引入3D 高斯點雲(Gaussian Splatting)表示, LHM還支持實時渲染和姿態控制動畫,特別適用於AR/VR 等沉浸式應用。
LHM的主要亮點在於其速度和精度。僅需輸入一張圖片, LHM就能迅速生成一個具備精細紋理、面部細節以及動態姿態控制的3D 人體模型。模型適用於多種場景,包括虛擬現實、遊戲開發、影視製作和社交媒體內容創作。
官網: LHM官網
GitHub 倉庫: LHM GitHub
arXiv 技術論文: arXiv 論文
在線體驗Demo : LHM Demo
快速重建:幾秒鐘內將單張2D 圖像轉化為可動畫化的3D 人體模型,無需複雜後期處理。
高保真細節:保留服裝紋理和麵部細節,生成真實感強的3D 模型,適用於沉浸式應用。
實時動畫:支持基於姿態控制的實時動畫,適用於VR/AR、遊戲和電影製作。
強大泛化能力:適應各種場景和姿態,表現優秀,適用範圍廣。
虛擬現實(VR)和增強現實(AR) :生成可動畫的3D 角色,增強沉浸感。
遊戲開發:快速生成高質量3D 角色模型,提升開發效率。
影視製作:快速生成角色模型,提高製作效率。
社交媒體和內容創作:生成3D 虛擬形象,用於社交平台和短視頻創作。
教育和培訓:用於虛擬教師和模擬訓練,特別是在醫療和軍事領域。