站長之家（ChinaZ.com）6月11日 消息:上海交大和香港中文大學的研究團隊推出了一個名爲Bootstrap3D的新框架，它通過結合微調的3D感知多模態大模型，能夠自動生成任意數量的高質量多視角圖片數據，顯著提升3D生成模型的能力。這個框架的合成數據集已經全面開源，供研究人員和開發者免費使用。
關鍵特點:
數據構建Pipeline:自動生成多視角圖像數據和詳細描述文本，是框架的核心創新之一。
文本提示生成:使用大語言模型生成創意和多樣化的文本提示，爲圖像生成提供素材。
圖像生成:結合2D擴散模型和視頻擴散模型，根據文本提示創建單視圖圖像。
多視圖合成:將單視圖圖像擴展爲多視角圖像，確保不同視角下的一致性。
質量篩選和描述重寫:通過3D感知模型MV-LLaVA對圖像進行質量篩選和描述文本的重寫。
此外，研究團隊還提出了**訓練timestep重安排（TTR）**策略，優化去噪過程的不同階段，解決多視圖擴散模型訓練中的圖像質量和視圖一致性問題。TTR策略限制合成數據的訓練時間步，主要參與早期去噪階段，而真實數據參與所有時間步的訓練，提供高頻細節和真實感。
實驗結果證明，使用TTR策略的多視圖擴散模型在圖像-文本對齊、圖像質量和視圖一致性方面表現優異，有效提升了多視圖生成的效果。
項目地址：https://top.aibase.com/tool/bootstrap3d
（舉報）