二維（2D）和三維（3D）雙模視覺信息在自動駕駛、工業機器人、人機交互等前沿領域具有廣泛的應用前景。但是2D和3D兩種模式視覺信息在處理方法上存在較大的差異，使得邊緣端計算型處理器難以兼顧兩種模式的處理需求；同時以深度學習為代表的人工智能算法的計算密集和高數據復用率等特點進一步增加了處理器電路的設計復雜度，導致邊緣端實現雙模視覺信息智能處理的芯片設計面臨大的挑戰。

中國科學院半導體研究所劉力源研究員帶領的團隊在雙模視覺信息智能計算芯片設計領域取得重要進展。團隊創新性地設計了一款兼容處理2D/3D雙模視覺信息的視覺處理器架構和用于人工智能算法的數據流。提出了一種可重構并行處理單元陣列架構，并行處理單元陣列支持向量化單指令多數據處理模式，可顯著提升人工智能算法的數據復用率，減小了算法處理延時和訪存功耗；設計了一種用于2D/3D圖像處理算法的指令集架構以及對應的算法部署方法，能夠靈活映射從數據預處理到智能處理階段的圖像處理算法，消除冗余的專用圖像處理電路，提升了芯片單位面積算力。測試結果表明，芯片可實現3D深度重建、2D人臉目標檢測和2D目標追蹤算法。圖1和圖2分別為芯片照片和片上算法處理結果。該工作為設備功耗與體積均受限的邊緣場景多模態視覺信息智能處理提供了一個高效且靈活的智能化計算平臺。

該成果由半導體所博士生魏思源等在劉力源研究員的指導下完成。成果得到了國家重點研發計劃和國家自然科學基金等項目的資助。

圖1 芯片照片

圖2 片上算法推理結果

（來源：中國科學院半導體研究所）