技術分享 | 欣威視通AIoT3588S-E智能主板部署DeepSeek-R1(1.5B)?大模型全流程解析

　　是一款國產領先的AI大模型，以其卓越的推理能力和高效的文本生成技術在全球人工智能領域嶄露頭角。DeepSeek的推出，標志著國產AI大模型在技術自主創新和產業應用落地方面邁出了重要一步。

　　AIoT3588S-E智能主板基于Rockchip RK3588S芯片，成功實現DeepSeek大模型的高效移植與推理加速，為邊緣計算場景提供開箱即用的AI解決方案。如何快速將AI大模型部署到嵌入式設備?本文從模型部署到效果測試，揭秘全流程操作指南。

01.

部署過程

DeepSeek+AIoT3588S-E

　　設備連接與遠程登錄

　　將AIoT3588S-E智能主板連接到顯示器，登錄后獲取IP地址，進行SSH遠程登錄，以便進一步管理和查看系統信息。

　　模型獲取與環境配置

　　下載預量化模型：DeepSeek-R1-Distill-Qwen-1.5B_W8A8_RK3588.rkllm，更新系統軟件包列表，配置Python 3.8環境并安裝pip，安裝Git工具及編譯環境，以便代碼倉庫的克隆和管理。

　　獲取與編譯rkllm

　　下載好量化后的模型，在AIoT3588S-E開發板上git一下rkllm的倉庫【 rkllm倉庫地址】，修改編譯腳本，將編譯好的文件移動到rkllm目錄下，便于后續管理與執行。

　　創建與運行腳本

　　進入rkllm目錄，創建deepseek_start.sh腳本文件并賦權777權限，編輯該腳本并設置必要的環境變量并定義啟動命令，執行該腳本來啟動應用程序。

02.

性能測評

DeepSeek+AIoT3588S-E

　　在完成部署后，我們針對程序運行時對主板資源的占用情況進行了測試與分析，總結了以下幾個關鍵數據：

　　CPU占用8%~27%。

　　程序執行期間，CPU的使用率穩定在8%到27%之間，該程序在處理任務時能夠有效利用系統資源，避免過度消耗。

　　內存占用2GB。

　　程序運行時，內存占用維持在2GB水平，反映出程序設計高效，在確保性能的同時，盡可能減少了對內存資源的需求，有助于提升整體穩定性及響應速度。

　　NPU占用：三個核心負載45%~51%。

　　NPU三個核心的負載介于45%至51%，程序在進行特定計算任務時，能夠均衡地利用硬件加速資源，實現高效的并行處理能力。

03.

應用效果

DeepSeek+AIoT3588S-E

　　DeepSeek-R1 是一款全能型人工智能助手，憑借強大的數據處理能力和豐富的知識庫，支持多種場景下的高效應用，兼具快速響應與數據安全，是用戶探索與解決問題的得力助手。在完成部署后，我們檢測了使用效果：

　　DeepSeek可以快速分析設備故障問題，并給出技術支持的建議。

　　例如：AIoT3588S-E智能主板在啟動時卡在Uboot階段時，如何通過串口日志定位問題?

　　DeepSeek可以快速分析數學問題，并按照指令生成答題過程。

　　例如：請用高斯消元法求解方程組：2x+y =5、3x-2y =8。

　　本文分享了在智能主板AIoT3588S-E上部署DeepSeek-R1(1.5B)的過程，經過實際測試，其強大功能和高效表現得到了充分驗證。

　　“先進算法+硬核算力”的協同模式，是國產AI生態從“實驗室”走向“生產線”的重要過程，為開發者提供了一個即開即用的創新平臺，為各行各業提供了更高效、更安全、更靈活的智能化解決方案。如果您對此感興趣，歡迎隨時咨詢，我們會提供更全面的技術支持，期待與您共同探索AI應用的無限可能。