當邊緣設備也能運行數十億參數模型;當AI 不再完全依賴云端算力。瑞芯微的RK1820,集成超高帶寬片內置DRAM和針對3B/7BLLM/VLM的多核NPU,支持主流模型框架并提供通用API易于開發。RK1820搭配RK3588等主控芯片構建強大的AI算力平臺,通過其多模態AI任務能力,支持語音識別、視頻分析、長上下文對話等場景應用,適用于安防、機器人、車載、消費電子、辦公、教育、家居、工業等端側場景。
隨著大模型(如 3B、7B 規模模型)被壓縮 / 量化 /蒸餾后,越來越多任務可以在端側落地執行。對于安全、隱私、低延遲、高帶寬成本的場景來說,端側處理比云端更有吸引力。目前很多設備依賴主處理芯片(RK3588/RK3576 SoC)自帶 NPU,加速 AI 推理。但這些 SoC 的帶寬、內存資源、接口、異構協同能力往往有限。在面對更大模型或復雜場景時可能力不從心。就像在 PC 里有 GPU 輔助 CPU 一樣,AI 協處理器成為一種趨勢:主處理器負責系統調度、I/O、控制邏輯,協處理器專注于 AI 模型推理。這種方法可以做到更靈活的算力擴展與模塊化升級。
架構 & 核心技術剖析
類別 | 子項 | 具體規格參數 |
核心處理器 | 內核配置 | 3 個獨立 64 位 RISC-V 內核(SRV、VRV0、VRV1) |
指令集架構 | SRV:RV64GCB ISA;VRV0/VRV1:RV64GCBV ISA | |
浮點單元(FPU) | 所有內核集成 FPU,支持 RISC-V H/F/D 精度 | |
緩存配置 | 每個內核:32KB L1 I-Cache + 32KB L1 D-Cache + 128KB L2 Cache | |
向量單元 | VRV0/VRV1 集成 128 位向量單元 | |
存儲組織 | 片上內置內存 | 引導 ROM(Bootrom):支持 SPI/eMMC/SD/MMC 啟動,UART/PCIe 下載代碼 |
系統 SRAM:512KB | ||
動態內存接口:5GB | ||
其他:32KB ROM + 8Kbits OTP(6.5Kbits 用于安全應用,支持 Program/Read/Idle 模式) | ||
片外外部內存 | 復合 SDMMC 接口: | |
- eMMC 模式:兼容 JEDEC eMMC 4.51,支持 HS200,1/4/8 位總線 | ||
- SD/MMC 模式:兼容 SD3.0/MMC 5.1,1/4 位總線 | ||
- SDIO 模式:兼容 SDIO3.0,4 位總線 | ||
FSPI:支持 1/2/4 位總線,2 個芯片選擇 | ||
系統組件 | 時鐘與復位單元(CRU) | 4 個 PLL,24MHz 振蕩器 |
支持單個組件時鐘門控,全局 / 單獨軟復位 | ||
電源管理單元(PMU) | 多可配置工作模式(節能) | |
3 個獨立電壓域:VDD_TOP、VDD_LOGIC、VDD_PMU | ||
定時器(Timer) | 6 個 64 位計數器定時器,支持自由運行 / 用戶定義模式,可查工作狀態 | |
看門狗(Watchdog) | 3 個 32 位計數器,超時操作:直接復位 / 先中斷后復位 | |
中斷控制器 | SRV:160 個中斷源;VRV:64 個中斷源 | |
m-mode/s-mode 各 1 個軟件觸發中斷,高電平敏感,優先級可軟件配置 | ||
DMAC | 2 個物理通道,22 組外設請求,24 個邏輯通道 | |
支持內存 - 內存 / 內存 - 外設 / 外設 - 內存傳輸,鏈表 DMA,3 種多塊傳輸 | ||
安全系統 | 密碼引擎: | |
- 對稱算法:AES-128/192/256、SM4(多模式) | ||
- 哈希算法:SHA-1/256/224、MD5、SM3(硬件填充 + HMAC) | ||
- 非對稱算法:RSA(4096 位)、ECC(256 位)、SM2 | ||
密鑰階梯(KL):OTP/RKRNG 獲取根密鑰,可派生寫入特定模塊 | ||
Mailbox | 12 個mailboxes,用于 RISC-V 內核間通信 | |
多媒體處理器 | JPEG 編解碼器 | 編碼器:支持基準 DCT、JFIF 02,16×16~65520×65520,YUV400/420/422/444 |
解碼器:支持基準 DCT、JFIF 02,48×48~65520×65520,YUV400/420/422/440/411/444、RG888/RGB565 | ||
NPU | 算力:INT8 精度下 20 TOPS | |
精度支持:INT4/INT8/INT16/FP8/FP16/BF16 | ||
框架兼容:TensorFlow、Caffe、Tflite、Pytorch、Onnx NN、Android NN | ||
2D 圖形引擎(RGA) | 數據格式:支持多 ARGB/RGB/YUV/TILE 格式輸入輸出,8bit YUV 輸出 | |
功能:像素轉換(601/BT.709)、抖動,8192×8192 源 / 4096×4096 目標分辨率,1/16~16 縮放(下采平均 / 雙線性,上采雙三次),0°/90°/180°/270° 旋轉 + 鏡像,塊傳輸 /alpha 混合 / OSD 疊加等 | ||
SAI | 1 個接口,4TX+4RX lanes,支持 I2S/PCM/TDM,128 個可配置時隙(8~32 位) | |
連接性 | 以太網 | 1 個控制器,RGMII 接口,10/100/1000Mbps,全 / 半雙工,TSO/USO 加速,IEEE 1588 時間戳 |
USB 接口 | USB 2.0 DRD:兼容 USB 2.0,高速 (480Mbps)/ 全速 (12Mbps)/ 低速 (1.5Mbps),支持 EHCI/OHCI | |
多 PHY 接口:2 個 PHY,支持 USB 3.0 DRD / 設備 / 主機、USB 2.0 OTG | ||
PCIe 接口 | 兼容 PCIe Base Spec 1,1 lane,僅 RC 模式,2.5/5.0Gbps 速率(每 lane 每方向) | |
SPI 接口 | 2 個控制器,2 個芯片選擇,支持主 / 從模式(軟件配置) | |
I2C 接口 | 5 個主機端口,7/10 位地址,速率:標準 (100k)、快速 (400k)、高速 (1M) bits/s | |
SMBus 接口 | 1 個從模式接口,支持多協議(寫字節 / 讀字節等),PEC/Alert/UDID 命令,時鐘拉伸 | |
UART 接口 | 3 個端口,64 字節 TX/RX FIFO,5~8 位數據,最高 4Mbps 波特率,UART2 支持自動流控 / RS485 | |
PWM 接口 | 1 個接口 8 通道,支持輸入捕獲 / 連續 / 單次模式,兩級分頻,電源鍵捕獲 / 頻率計 / 計數器 | |
其他功能 | GPIO | 多組,支持中斷(電平 / 邊沿觸發,極性 / 邊沿可配),上拉 / 下拉 / 驅動強度可配 |
溫度傳感器(TS-ADC) | 3 通道,-40~125°C 范圍,±3.5°C 精度,0.1°C 分辨率,支持用戶定義 / 自動模式(警報 / 復位溫度可配) | |
SARADC | 1 個,2 個單端輸入,13 位分辨率,2MS/s 采樣率,支持單次 / 連續模式 | |
封裝類型 | - | FCBGA 746L:19mm×19mm 體尺寸,0.35mm 球徑,0.65mm 球間距 |
RK1820 擁有三個64 位RISC-V 內核(含 FPU),每個核配備 32 KB 指令緩存 + 32 KB 數據緩存 + 128 KB二級緩存。內置 NPU 支持混合精度運算(INT4 / INT8 / INT16 / FP8 / FP16 / BF16)算力高達 20 TOPS(具體取決于精度 / 模型),主核(RISC-V)負責模型調度 / 控制 / I/O,NPU專注推理集成 “超高帶寬片內DRAM,支持 PCIe 2.0 和 USB 3.0 PHY,方便與主處理器 / SoC 連接。
支持3B / 7B級別 LLM / VLM 模型 在端側運行。可以在離線端側設備上部署 最高 7B 大模型 實現視頻摘要、圖像識別輔助、多模態感知等。RK1820在運行7B模型時可達到百 token/s級別(實際性能會受模型結構、量化精度、I/O 帶寬、主機協同效率影響)輸出。
RK3588 + RK1820應用樣例:安防視頻結構化 + 檢索方案、全模態交互助手方案、AI Codec 方案、同聲傳譯方案、虛擬數字人方案。安防、機器人、車載、消費電子、教育 / 學習機、AI 輔助設備、工業設備、AIoT 終端等場景。端側視頻摘要、圖像識別、多模態感知等應用。