如何高效、低功耗地完成視覺信息的同步獲取與詞元化，是當前物理人工智能（AI）硬件領域亟須解決的關鍵難題。國際學術期刊《自然·傳感》19日發表了南京大學教授繆峰、梁世軍團隊聯合新加坡國立大學團隊的最新成果：研制出能夠直接將光轉換為詞元的超低功耗新型智能視覺傳感器芯片“光語芯”。該芯片生成的詞元可直接輸入編碼器，實現圖像識別。

復雜環境下物理AI的自主感知、推理與決策能力，高度依賴於邊緣端設備高效運行視覺大模型的能力。然而，邊緣設備因受限於功耗與算力，難以在本地完成實時視覺認知。

“傳統視覺感知鏈路中，光信號需經過圖像傳感器採集、模數轉換、緩存搬運、數字分塊與嵌入等多道工序，才能生成模型可處理的詞元，海量冗余數據的頻繁搬運導致邊緣端能耗居高不下。”繆峰介紹，“我們希望在傳感器中直接完成詞元化，從物理層面繞過這條路徑。”

此次研究中，團隊率先在國際上提出，將生成詞元的過程前移到傳感器，在傳感器中直接完成圖像採集、圖像分塊和圖像塊嵌入等功能。

梁世軍表示，“光語芯”由光敏存儲陣列和外圍尋址電路構成。團隊首先基於單層二硫化鉬浮柵光電晶體管，構建了光敏存儲陣列。陣列中的每個像素兼具感光、存儲與模擬計算三重功能。光信號寫入后，以浮柵電荷形式被原位保存。外圍尋址電路可選擇性激活像素區域完成圖像分塊。對於被選中的圖像塊，芯片進一步施加特定的電壓序列，使圖像塊中存儲的光信息與嵌入矩陣在模擬域中完成乘加運算，輸出的電流即為詞元。

“我們在芯片上實現了‘光進來，詞元直接出去’的物理計算，從根本上消除了數據搬運這個最大的能耗來源。”梁世軍介紹，這種“物理詞元化”方法使芯片從被動的圖像記錄儀，轉變為主動的視覺語義生成器。基於“光語芯”的視覺轉換架構系統，識別准確率達到87.3%，接近傳統軟件的識別率基線，相較傳統方案，詞元化階段能效提升超10倍。

繆峰表示，這一成果從根本上顛覆了“先感光、再緩存、后計算”的串行范式，為后摩爾時代突破邊緣AI算力與功耗天花板開辟了全新維度。該技術有望為具身智能、低空無人機、智能安防等領域，提供高能效、近零延遲的視覺認知基座，加速物理AI走向大規模應用。（記者金鳳）