隨著6G時代的到來,沉浸式內容消費需求顯著增長,沉浸內容的展現將直接影響用戶體驗。其中,網格模型作為一種主流的數據形式,網格模型質量評價成為保障VR/AR、元宇宙等應用用戶體驗的關鍵。本報告系統分析了當前網格模型質量評價的發展現狀與面臨的主要挑戰,包括數據集不足、動態/AIGC內容質量評價研究難點和缺少統一標準。針對這些問題,報告進一步探討了可行的發展建議,旨在推動沉浸內容質量評價技術的進步,促進沉浸式應用生態的健康發展。
網格模型質量評價發展現狀
隨著6G時代的到來,沉浸式內容消費需求顯著增長,虛擬現實(VR)、增強現實(AR)、元宇宙等業務迎來飛速發展。其中,以頂點、連接邊、連接面片為基礎描述三維物體的網格模型(Mesh)作為沉浸內容中主流的數據表達形式,其質量直接決定模型的呈現效果。
然而,由于網格模型數據的生成方式多樣(如3D掃描、算法重建、人工建模等),導致其數據質量參差不齊,存在幾何結構失真、紋理信息缺失或瑕疵、拓撲錯誤等問題,直接影響用戶的沉浸式體驗與感知質量。
因此,建立一套系統化、客觀化的網格模型質量評價(Mesh Quality Assessment,MQA)方法顯得尤為重要。具備客觀、精確的MQA能力,不僅有助于衡量網格模型的表現質量,也為優化內容生產流程、提升用戶體驗提供了重要支撐。
目前,MQA的發展已經歷多個階段,技術路線和研究重點不斷演進,具體如下:
階段一:幾何結構質量評價起步階段
在MQA發展的初期,評價重點主要集中于網格模型的幾何結構質量。此階段業內構建了點云或無紋理的網格模型數據質量評價數據集[5]。評價方法包括基于頂點坐標、法線夾角等幾何參數,或借助神經網絡計算模型的正交性、光滑性等物理屬性,從而量化其幾何結構質量。
階段二:彩色網格模型與渲染質量評價階段
隨著帶紋理的彩色網格模型數據逐漸普及,業內構建了包含紋理信息的質量評價數據集[4],并發布了相關基準測試(benchmark)。在幾何質量的基礎上,研究開始關注渲染圖像的主觀質量評價。典型做法是將網格模型從多個視角渲染為圖像,并采用圖像質量評價方法對渲染結果進行分析,以衡量模型整體表現。
階段三:有參考模型的失真評價階段
隨著網格模型數據在壓縮、傳輸等應用場景中的廣泛使用,該階段主要關注模型在處理過程中產生的失真。業內通過對原始網格模型模型施加人為失真,構建有參考的數據集[1][2],并發布相關benchmark。評價方法主要包括從原始模型與失真模型中提取特征、計算其差異,并基于差值的量化結果判斷失真模型的質量損失程度。
階段四:AIGC驅動下的新興評價需求階段
隨著AIGC技術的迅猛發展,出現了text-to-3D、image-to-3D等網格生成方法。復旦大學與上海人工智能實驗室等機構已開源相關的文生3D工具用于數據生產。為應對AIGC生成數據的質量評價挑戰,業內構建了AIGC產出的網格模型數據質量評價數據集[3]。由于該類數據并非源自真實世界采樣,除了傳統的幾何結構和渲染質量評價外,還需額外考慮幾何合理性、幾何細節精度以及文本/圖像與3D模型之間的一致性等指標。目前,該方向的質量評價技術尚處于起步階段,已有研究嘗試引入語義一致性等判斷依據,以提升評價的全面性和智能化水平。
此外,開源社區和標準化組織(如MPEG、IEEE)也日益關注MQA的發展,積極推動公開數據集的建設與評價協議的標準化制定。隨著更多機構的參與,有望逐步形成行業共識,促進沉浸式內容制作的規范化與標準化發展。
網格模型質量評價挑戰
高質量MQA數據集數量不足
與2D圖像和視頻數據相比,高質量的MQA數據集仍較為稀缺。主要受限于三方面因素:首先,數據采集與建模成本高昂,需依賴高精度的3D掃描設備與專業建模軟件,硬件與人力投入巨大;其次,質量評價涉及幾何結構、紋理細節等多個維度,人工標注不僅耗時耗力,而且容易受主觀因素影響,不同評測人員之間存在明顯偏差;最后,現有主流開源數據集[1]~[5]主要集中在3D采集與建模技術,尚缺乏針對AIGC等AI生成內容的數據資源,導致現有模型在跨領域任務中的泛化能力較弱、評價性能有限。
動態網格模型序列及AIGC內容質量評價方向難點尚未解決
當前,MQA的研究主要聚焦于靜態網格模型的檢測,而針對動態網格模型序列及AIGC生成內容的質量評價仍顯不足。在VR/AR、元宇宙、數字孿生等典型應用中,用戶接觸的3D內容往往是動態變化的,且往往沒有可比對的現實參考。動態網格模型序列的質量及AI生成的內容質量直接影響用戶體驗。
對于動態網格模型序列,其質量評價除需考慮基本幾何結構外,還存在評價模型運動的自然性、幀間過渡的連貫性、長期觀看時是否引發視覺疲勞等技術難點。目前尚無有效的研究成果及解決方法。
而針對AIGC生成的網格模型,AI生成導致生成的模型可能存在結構不合理、語義不一致等潛在問題,傳統基于幾何、紋理的評價方法難以有效檢測這類質量缺陷。亟需發展具備結構合理性判斷、語義理解能力的新型評價方法。
缺少統一且覆蓋全面的標準
業內當前缺乏統一的MQA行業標準。雖然MPEG已經開始關注這一問題,并開展了針對動態網格模型數據壓縮與失真評價的標準制定工作,但相關方法主要依賴原始模型作為參考,采用PSNR等傳統指標計算質量損失。這種“有參考”的評價方式存在明顯局限:依賴于原始模型作為參考,無法獨立評價網格模型本身的質量,難以對模型的主觀感知質量進行有效量化。
網格模型質量評價發展建議
持續構建專業的MQA數據集
針對MQA數據不足的問題,需持續構建高質量的MQA數據集。結合靜態、動態及AIGC各自特點,通過多元化的采集方式和系統化的標注流程來確保數據的全面性和可靠性。對于靜態內容,可依托專業建模軟件或開源數據庫進行收集,覆蓋不同復雜度和應用場景;動態內容則需要通過動作捕捉或4D掃描技術獲取包含各種運動模式的序列數據,并模擬實際應用中可能出現的時域失真(如幀間抖動、運動模糊等)以增強數據的代表性。對于AIGC內容,在數據構建過程中應確保生成參數的多樣性(提示詞/提示圖像類別、采樣步數、隨機種子設置等),提高數據分布的覆蓋范圍與評價的泛化能力。在數據標注環節,既要包含客觀的幾何精度、拓撲結構等量化指標,也要通過專家評測或借助眾包平臺收集MOS及語意匹配度,以全面反映人類視覺感知。為提升數據集的實用性,還需要引入學術界和工業界的共同協作,打通行業偏差,方便不同研究團隊進行橫向使用。
動態網格模型序列及AIGC內容質量評價的可行思路
在對動態網格模型序列質量評價時,可從時空一致性和人眼感知特性兩個維度建立進行評價。針對這兩個維度的問題,可以設立相關的質量評價指標,如:檢測幀間過渡時平滑度識別模型拓撲結構變化一致性、通過投影視頻質量評價以實現對渲染呈現進行質量評價等。
在對AIGC生成模型質量評價時,可從模型與prompt之間的匹配度進行識別。可通過多視角描述得到一段文本,并與prompt文本匹配的方法在匹配度維度下進行質量識別。此外,還可引入跨學科的方法,結合計算機圖形學、結構力學、材料學和運動分析等領域的知識,輔助構建準確實用的結構合理性評價能力。
積極推進MQA標準化工作,形成統一標準
聯合業內企業及高校積極推進標準化工作,針對AI生成3D內容快速增長帶來的質量評價需求,特別是在缺少原始參考模型的AIGC應用場景,推動建立一套標準化的質量評價方法。相關研究重點包括:1)構建多維度質量評價指標體系;2)探索無參考條件下的質量評價方案;3)研究動態網格模型序列的評價方法。標準化工作的推進將進一步完善AI生成3D內容質量評價方面的標準體系,為元宇宙、數字孿生等新興應用的健康發展提供技術參考,同時促進3D內容產業的質量規范化建設。