一.? ?概述

本文主要將介紹恩智浦近期所推廣的 AI 晶片 : 神經處理單元(Neural Process Unit,? NPU)。

在本系列的章節中，將會探討關於 NPU 的硬體特性與進階使用的方法，帶領讀者更了解新穎的 AI Chip 的強大之處。若讀者欲快速啟用 NPU 或相關範例的話，請查閱 eIQ 或 PyeIQ 博文 !!? 即可透過恩智浦所提供的 ML Framework? 快速上手 !!?如下圖文章架構圖所示，此架構圖隸屬於 i.MX8M Plus 的方案博文中，並屬於機器學習內的 硬體層(Hardware Layer) 的 NPU 部分，目前章節介紹 “NPU 架構探討”。

若新讀者欲理解更多人工智慧、機器學習以及深度學習的資訊，可點選查閱下方博文
?大大通精彩博文???【ATU Book-i.MX8系列】博文索引

?

?

NPU 系列博文-文章架構示意圖

?

二.? NPU 架構概念

在談論 NPU 架構之前，先來探討圖形處理器 GPU 與 神經處理器NPU 兩者架構的差異為何?

所謂的 GPU 是一種擁有大量算術邏輯單元組成的並行計算架構，能夠以多線程的方式來保持高存取速度與浮點數計算能力。但其缺點就是不能單獨運算單一核心，使得功耗相對較高。如下圖所示，在神經網路的應用裡，仍是需要透過 CPU 去解析模組(Model)，再將其運算拆分給 GPU完成執行運算。這裡的方式較為直覺，比較像是一層一層去解析作運算，這將花費大量的讀取資料時間 ! 使得 GPU 僅能扮演一個不錯的加速器角色 !??

GPU 運算動作之架構示意圖
資料來源 : 每日頭條

??

另一者，NPU 是一種模擬人類神經元與突觸的新穎架構，能透過一條指令完成一整組的神經元處理。
無須將每層神經元的結果傳送至內存之中，是能夠傳遞給下層記憶運算處理，竟而達到神經網路架構的處理上有著卓越優勢 ! 並大幅度將低耗電等相關問題 !
如下圖所示，不同於 GPU 的方式，這裡 CPU 僅替 NPU 作讀取模組與傳送輸入端的資料，後續就託付給 NPU 進行運算與推理!!

NPU 運算動作之架構示意圖
資料來源 : 每日頭條

?

?

?以數學演算進行說明?

若欲計算 D = A + B + C 的這個算式。則 GPU 僅能 tmp = A + B 後，再進行 D = tmp + C 的動作，這須讀取兩次記憶體資訊才能完成。對於 NPU 而言，僅須一次執行就能完成 D = A + B + C 的算式 !!

NPU 運算範例示意圖
資料來源 : 每日頭條

?

然而，在首次進行運算時，NPU 需要花費相當長的時間來建立所謂的神經元或稱推理前的規劃，這裡所花費的時間就稱作?暖開機(WarmUp) !!
此時，就能呼應到所謂的 神經網路處理(Neural Network)，如同下方示意圖，而暖開機所耗費的就是在建立神經網路中的參數關係，亦或是建構 神經元(藍色圓圈) 的關係。更直白地想，就是先前替神經網路建立專屬的算式或指令、甚至規劃 !! 當有輸入值時，就能快速演算出結果 !! 這就是 神經網路處理器(NPU) 能快速的原因之一 !!

?

神經網路架構示意圖

?

三.? 架構探討

簡單認識 GPU 與 NPU 的架構差異後，為了讓讀者更清楚 NPU 的內部架構，緊接著就要介紹 NPU 的細部架構與硬體加速層的探討。

?細部架構探討 ?

如下圖所示，為 神經處理器?NPU(Neural Processing Unit) 細節架構 :

(1) 主接面(Host Interface) :
? ? ? 為? AXI / AHB 接面、視覺前端程序(Vision Front End and Scheduler) ?與 記憶體控制器(Memory Controller)?的通訊橋樑。

(2) 視覺前端程序(Vision Front End and Scheduler) :
? ? ? 是將命令傳送至 神經處理模組(NPU Modules) 與 存儲緩存單元(Universal Storage Cache) 的一套程序或是排程(pipeline)。

(3) 神經處理單元模塊(Neural Processing Unit Modules) :
? ? ? 為推理應用的主要單元，是由 程序化引擎單元(Programmable Engine Unit) 與 神經網路引擎(Neural Network Engine)?兩塊模組構成

(4) 存儲緩存單元(Universal Storage Cache) : ?
? ? ? ?NPU Modules 與 Vision Front End 共享緩衝單元。

NPU 架構示意圖
資料來源 : 官方網站

?

其中，神經處理模塊(NPU Modules) 可拆分出 :

(1)?程序化引擎單元(Programmable Engine Unit)

計算單元(Compute Unit) : 為 SIMD 架構的小型處理器。
視覺引擎(Vision Engine) : 提供高級圖像處理之功能。

(2) 神經網路引擎(Neural Network Engine)

張量處理(Tensor Processing) : 提供資料預處理、支援壓縮和剪修與多維度的張量數組處理。
神經網路核心(Neural Network Core) : 提供整數之卷積或矩陣運算功能。

?

神經網路引擎(Neural Network Engine) 細部規格 :

主要應用方向為分類(Classification)、偵測(Detection)、分割(Segmentation)，且能夠運行 LeNet, AlexNet, VGG, GoogleLeNet 等神經網路模組架構、以及支持 RNN 遞歸神經網路。同時，作為 OpenVX 與 TensorFlow backend 推理引擎的基底，即可運行 TensorFlow Lite / ONNX / ArmNN / Caffe 等深度學習框架所訓練出的模組…

?

神經網路引擎細部規格

資料來源 : 官方網站

?

張量處理單元(Tensor Processing) 細部規格 :

能以 8 與 16 位元的整數進行張量運算處理，並支持最大與平均池化層、 ReLU 與 Leaky ReLU 激活層、正歸化等神經網路架構層…

張量處理單元細部規格
資料來源 : 官方網站

?

除了上述架構之外，還有一個重要的 平行處理單元(Parallel Processing Unit) 架構，主要負責以平行化計算的方式來處理浮點數或半浮點數的一些運算，以及一些部分無法量化為全整數的操作層(Operator) 將由此層進行運算 !! 若欲得知各層所負責推理的單元處理器為何，請至附錄查看。

平行處理單元(Parallel Processing Unit, PPU) 細部規格 :?

以 單指令流多資料流(SIMD) 的方式進行操作，每次最大指令數量為 1M 個與最大 8 條資料串流進行傳送，並支援及閘(AND)、或閘(OR)、是否為空值(ISNAN) 等計算方式…

PS : 在 Profiling Log 中，平行處理單元(PPU) 等同於 Shader(SH)

?

平行處理單元細部規格
資料來源 : 官方網站

?

?

?硬體加速層探討 ?

然而，在 NXP i.MX8 系列的推理引擎架構中，不論是使用 TensorFlow Lite、ONNX 、 ArmNN 皆會透過 OVXLib 驅動 OpenVX Driver 來啟動 NPU 神經網路處理器 !!
所謂 OpenVX? 架構是一種介於軟體層與硬體層之間的架構層，或是資料庫(Lib)。換句話說，就是負責向硬體加速器或是運算器溝通的軟體架構層，透過供應商所提供的指令集而達到運算效能最佳化之目的。比起熟知 OpenCL 資料庫，OpenVX 所提供資源更為廣闊，適用的硬體資源更不侷限於圖形處理器 GPU 、且支持多種硬體加速器，包括其數位信號處理器 DSP、視覺處理單元 VPU、神經網路處理器 NPU 等等 !! 可說是近年相當成熟的硬體加速資料庫 !
PS : OpenVX 與 OpenCL 相同皆是以 C 語言作為主要編譯語言

?

OpenVX 軟體架構示意圖
資料來源 : 官方網站

?

從 NXP i.MX8 的機器學習軟體架構探討。如下圖紅框所示， NXP 提供了數種硬體加速層的支援，如同 OpenVX、OpenCL 以及 Arm Compute Library 硬體加速資料庫，給予使用者更有效更快速的應用方式 !!?這裡可惜的事，目前官方尚未明確演示 NPU 與 OpenVX 之間的用法，細節仍待進一步鑽研 !! 而一般讀者或開發者僅須要透過使用上一層的 TensorFlow Lite、ONNX、 ArmNN 等開源推理引擎(Open Source Inference Engines) 來完成推理即可 !!

i.MX8 機器學習軟體架構示意圖
資料來源 : 官方網站

?

目前版本 : OpenVX 1.2?

OpenVX 硬體加速相關範疇 :

硬體加速資料庫 OpenVX 可以提供 NPU 載入圖像時的硬體支援，並給予一些基本的影像處理資源。
如下表所示，有一系列的 3x3 濾波器、直方圖、位元操作等等模塊，最大遮罩大小能夠為 11x11 以及 8 / 16 位元的點積運算…

?

?

OpenVX 硬體加速相關範疇 :

?

?

四.? 結語

本文已向讀者闡明 GPU 與 NPU 的差異以及 NPU 的細部結構一些基本概念的介紹，並說明 OpenVX 在整個推理流程上的重要性，以及 i.MX8 機器學習軟體架構圖等等。而本篇除了傳遞 NPU 相關的細節資訊外，最重要的事，就是想傳達一個概念 ; “恩智浦提供了完善的開發環境，開發者僅須要專注於模組開發與機器學習框架的使用，即可快速上手 !!“ 。 此系列後續還會向讀者介紹一些關於 NPU 暖開機、資訊顯示等等方法 !! 敬請期待 !!

?

五.??參考文件

[1] 官方文件 -?i.MX Machine Learning User's Guide
[2] 官方文件 - ISP and NPU
[3] 官方文件 - i.MX 8M Plus NPU Warmup Time

如有任何相關 NPU?技術問題，歡迎至博文底下留言提問?!!
接下來還會分享更多 NPU?的技術文章?!!敬請期待?【ATU Book-i.MX8 系列 - NPU】?!!