本項目執行期間，圍繞感知的多視點視頻處理的關鍵問題，抓住視覺媒體技術高速發展與廣泛應用、視覺信息感知多元化的契機，研究多視點視頻中立體視覺的感知機制與編碼優化模型。重點研究研究多視點深度協同的優化方法，通過提出跨視點的宏超像素單元及聯合優化，實現全局優化的多視點深度場；構建多深度融合感知的顯著性計算模型，采用聚類方法，提升深度顯著度計算中的魯棒性；進一步在多視點光場數據上研究深度感知優化的碼率分配方法和技術，實現多深度感知的多視點視頻高效編碼。最終取得核心理論與關鍵技術上的突破，實現原創性的科研成果，建立感知的多視點三維視頻數據高效處理平臺，進一步推動三維視頻在視覺感知表示、多視聯合處理、高效感知編碼等方面的研究與發展。

現實場景的三維視頻表示在軍事、航天、醫療、影視制作等領域有著廣泛的應用前景，以深度感知為核心的視覺特性驅動的三維視頻處理是當前國際研究的前沿與熱點，涉及視覺機理、圖像處理與優化等多個學科方向的交叉，其挑戰在于以多視點深度感知為驅動的多視點視頻聯合處理，涉及到的核心問題包括：時-空-視多深度感知一致性、雙目深度感知測度、多深度感知下的高效編碼方法等。本項目力圖揭示三維視頻在信號處理與視覺感知處理之間的協同優化機理，研究多視點深度協同的優化方法，探索時-空-視多深度場的幾何與深度感知一致性難題，實現全局優化的多視點深度場；構建多深度融合感知的顯著性計算模型，探索深度感知優化的碼率分配方法和技術，實現多深度感知的多視點視頻高效編碼，解決多深度感知驅動的三維視頻處理的關鍵問題，建立多深度感知的多視點視頻聯合處理與高效編碼平臺，在理論和關鍵技術研究上取得突破，推動以多視點為核心的三維視頻的廣泛應用。

在H.264/MPEG-4AVC視頻壓縮標準提出的，一個使用單一視頻流對于多臺攝像機同時采集的視頻進行高效編碼的編碼標準。多視點視頻編碼主要用于編碼立體（雙視圖）的視頻，以及自由視點電視和多視圖三維電視。

三維視頻能夠提供生動逼真的自然場景信息,在全景視頻、交互式立體視頻和多視點視頻等方面有著廣泛應用,將成為信息市場的經濟增長點。國際相關組織正致力于它的技術開發和標準化工作。MVC是三維視頻的關鍵技術。課題進行以下創新性研究，以提高MVC編碼效率。提出區域視點差技術,提高視點差估計精確度。為了去除視圖間冗余度,對空間直接模式等做擴展研究，修改H.264/AVC語法語義。提出固定基本視圖和臨時基本視圖相結合的MVC預測編碼新結構，改善P視圖和B視圖后繼的預測視圖質量；在參與式視頻會議一類應用中，計算選擇參會者正面攝象機為基本視點，提高編碼效率。按照新提出的視圖間平均亮度主要具有乘性關系，實現視圖間亮度差補償和色度校正。預計成果有10多篇高水平論文，申請4項發明專利，爭取有提案被國際標準化組織最終接受。總體研究水平和國際同步。課題組已做深入研究并已有兩個提案進入國際標準化會議ad hoc組。

《計算機科學技術名詞 》第三版