劃重點:

? 研究人员介绍DL3DV-10K，這是一個大規模的多視圖場景數據集，旨在解決神經視圖合成（NVS）中的挑戰，爲深度學習三維視覺提供強大的數據支持。

? 研究团队使用DL3DV-10K评估了现有方法，包括NeRF变体和3D高斯斑点，提出DL3DV-140作为性能基准，揭示了这些方法在各种真实场景中的强弱之处。

? 研究表明，通过使用DL3DV-10K预训练IBRNet，可以显著提高当前先进方法的性能，并强调大规模真实场景数据集在推动学习型通用NeRF方法发展中的重要性。

神經視圖合成（NVS）在從多視圖視頻生成逼真的三維場景方面提出了複雜的挑戰，尤其是在多樣化的真實世界場景中。當前先進的NVS技術在面對照明變化、反射、透明度和整體場景複雜性的變化時，其局限性變得明顯。爲了應對這些挑戰，研究人員致力于推動NVS能力的邊界。

爲了理解NVS，普渡大學、Adobe、羅格斯大學和谷歌的研究團隊對現有方法進行了深入評估，包括NeRF變體和3D高斯斑點，使用新引入的DL3DV-140基准進行測試。該基准源自DL3DV-10K，這是一個大規模的多視圖場景數據集，作爲對NVS技術有效性的檢驗。爲了應對已識別的局限性，研究人員引入了DL3DV-10K作爲一個強大的數據集，爲神經輻射場（NeRF）的通用先驗開發提供支持。這個數據集被精心設計，涵蓋了多樣的真實場景，捕捉了環境設置、照明條件、反射表面和透明材料的變化。

DL3DV-140在各種複雜性指標上審查了NeRF變體和3D高斯斑點，提供了對它們優勢和劣勢的見解。值得注意的是，Zip-NeRF、Mip-NeRF360和3DGS在PSNR（峰值信噪比）和SSIM(結構相似性指數)方面始終優于它們的對手，其中Zip-NeRF表現出色，在性能方面顯示出卓越的表現。

研究人員仔細分析了場景複雜性的微妙差異，考慮了室內與室外設置、照明條件、反射類別和透明類別等因素。性能評估提供了對這些方法在不同情景下的表現有深入的理解。特別是，盡管使用默認批處理大小會占用更多GPU內存，Zip-NeRF表現出了強大的魯棒性和高效性。

除了對SOTA方法進行基准測試外，研究團隊還探討了DL3DV-10K在訓練通用NeRF中的潛力。通過使用數據集預訓練IBRNet，研究人員展示了數據集在提高先進方法性能方面的有效性。實驗證明，從DL3DV-10K的子集中獲得的先驗知識顯著增強了IBRNet在各種基准上的通用性。這種實驗爲大規模真實場景數據集（如DL3DV-10K）在推動學習型通用NeRF方法發展中的作用提供了有力的論據。

這項研究深入探討了神經視圖合成，解決了當前方法的局限性，並提出DL3DV-10K作爲一個重要的解決方案。全面的基准測試DL3DV-140評估了SOTA方法，並對它們在各種真實場景中的性能進行了檢驗。對DL3DV-10K在訓練通用NeRF中的潛力的探討強調了它在推動三維表示學習領域發展中的重要性。

隨著研究團隊引領創新方法，這項工作的影響超越基准測試，影響著NVS研究和應用的未來發展方向。數據集的先進和方法學創新的結合推動該領域朝著更加強大和多功能的神經視圖合成能力邁進。

論文網址:https://arxiv.org/abs/2312.16256

項目網址:https://dl3dv-10k.github.io/DL3DV-10K/

（舉報）