全球第一款內置AI的圖像傳感器問世。這就是近日來自索尼的重磅消息：宣布即將發布兩款智能視覺傳感器——IMX500和IMX501。它們集成了一個邏輯處

全球第一款內置AI的圖像傳感器問世。

這就是近日來自索尼的重磅消息：

宣布即將發布兩款智能視覺傳感器——IMX500和IMX501。

它們集成了一個邏輯處理器和存儲器，因此每個模組都可以作為一個微型計算機工作。

目前這款傳感器已經能夠以 1200 萬像素捕捉靜態圖像，支持 4K@60fps 視頻拍攝。

IMX500 和 IMX501的出貨時間分別為今年4月和6月，稅后價格分別為10000日元 (約661元人民幣)和20000日元 (約1323元人民幣)。

新款傳感器具有如下特點：

像素芯片和邏輯芯片組成的堆疊式結構，在邏輯芯片上配備了AI圖像分析和處理功能的圖像傳感器。

像素芯片獲取的信號通過傳感器上的AI進行處理，無需高性能處理器或外部存儲，可助力邊緣AI系統的開發。傳感器輸出元數據(屬于圖像數據的語義信息)而不是圖像信息，從而減少了數據量并保證了隱私安全。

此外，AI能夠為廣泛應用領域提供多樣化的功能，例如高速AI處理下進行實時目標跟蹤。也可以根據用戶的需求或系統，使用位置重新編寫內存，來選擇不同的AI模型。

據索尼介紹，新發布的圖像傳感器，極大地拓寬了AI攝像頭的研發空間，將有望廣泛應用于零售和工業設備行業，并有助于構建與云端連接的優化系統。

首款內置AI圖像傳感器主要功能

接下來就是IMX500和IMX501的四大主要功能。

具備AI處理功能的圖像傳感器

像素芯片是背照式進光的，有效像素約為1230萬，可以捕捉廣闊視角的圖像信息。

除了傳統的圖像傳感器操作電路外，其邏輯芯片還配備了索尼原發的DSP，專門用于AI信號處理，并為AI模型存儲。

這種配置無需高性能處理器或外部存儲，使其成為邊緣AI系統的理想選擇。

元數據輸出

像素芯片采集的信號通過ISP進行處理，并在邏輯芯片的處理層進行AI運算，將提取的信息作為元數據輸出，可以減少需要處理的數據量。

同時，不輸出圖像信息有助于降低安全風險和保證隱私安全。

除了傳統圖像傳感器捕捉的圖像外，用戶還可以根據自己的需要和用途選擇數據輸出格式，包括ISP格式輸出圖像(YUV/RGB)和ROI特定區域提取圖像。

高速AI處理

當使用傳統的圖像傳感器錄制視頻時，需要發送每一幀的視頻數據進行AI處理，導致數據傳輸量大，難以實時呈現結果。

索尼的新款傳感器產品在邏輯芯片上進行ISP處理和高速AI運行(處理MobileNet V1只需3.1毫秒)，在一個視頻幀內完成整個過程。這種設計可以在錄制視頻的同時保證高精度、實時的目標追蹤。

可自由選擇AI模型

用戶可以將自己選擇的AI模型寫入嵌入式內存中，并根據其需求或系統使用位置，對其進行改寫和更新。

例如，當多個搭載新款傳感器的攝像頭被安裝在零售場所時，某個單一類型的攝像頭可以在不同的地點、環境、時間或目的下使用：

當安裝在場所入口時，可用于計算訪客人數;

當安裝在商店的貨架上時，可以用來檢測庫存短缺;

當安裝在天花板上時，它可以用來繪制商店客流的熱力圖。

此外，指定相機中的AI模型可以被改寫，從一個用于檢測熱力圖的模型，變成一個用于識別消費者行為的模型。

IMX500/IMX501主要參數

最后，奉上IMX500和IMX501的主要參數。

關鍵詞： 索尼