Long-LRM是一個用於3D高斯重建的模型,能夠從一系列輸入圖像中重建出大場景。該模型能在1.3秒內處理32張960x540分辨率的源圖像,並且僅在單個A100 80G GPU上運行。它結合了最新的Mamba2模塊和傳統的transformer模塊,通過高效的token合併和高斯修剪步驟,在保證質量的同時提高了效率。與傳統的前饋模型相比, Long-LRM能夠一次性重建整個場景,而不是僅重建場景的一小部分。在大規模場景數據集上,如DL3DV-140和Tanks and Temples, Long-LRM的性能可與基於優化的方法相媲美,同時效率提高了兩個數量級。
需求人群:
"目標受眾為3D建模師、遊戲開發者、虛擬現實內容創作者以及任何需要快速高效3D場景重建的專業人士。 Long-LRM的高效率和高質量的重建能力,使得這些用戶能夠在短時間內創建出逼真的3D場景,加速產品開發流程,提高工作效率。"
使用場景示例:
使用Long-LRM從一系列城市街景圖片中快速重建出3D城市模型。
在遊戲開發中,利用Long-LRM從實拍圖片中重建遊戲場景,提高場景的真實感。
虛擬現實內容創作者使用Long-LRM從多角度拍攝的圖片中重建出高精度的虛擬環境。
產品特色:
處理高達32張高分辨率輸入圖像,實現快速3D場景重建
採用Mamba2塊和transformer塊的混合架構,提高token處理能力
通過token合併和高斯修剪步驟,平衡重建質量和效率
單次前饋步驟即可重建整個場景,無需多次迭代
在大規模場景數據集上具有與優化方法相媲美的性能
提高了兩個數量級的效率,顯著減少計算資源消耗
支持廣泛的視圖覆蓋和高質量的照片級真實感重建
使用教程:
1. 準備一系列待重建場景的輸入圖像,分辨率至少為960x540。
2. 確保擁有兼容的GPU硬件,如A100 80G GPU。
3. 將輸入圖像和Long-LRM模型一同加載到計算環境中。
4. 配置模型參數,包括token合併策略和高斯修剪閾值。
5. 運行Long-LRM模型,等待模型處理輸入圖像並生成3D重建結果。
6. 查看和評估重建的3D場景,根據需要進行後處理和優化。
7. 將重建的3D場景應用於所需的領域,如3D打印、虛擬現實或遊戲開發。