1   復(fù)習(xí)：BYOM的涵意

在AI技術(shù)快速滲透各行各業(yè)的今天，許多企業(yè)或研究單位手上都已經(jīng)有自己訓(xùn)練好的模型，可能來自PyTorch、TensorFlow，或者轉(zhuǎn)換成 ONNX、TFLite等格式。BYOM（自帶模型） 的核心精神，就是讓開發(fā)者不用受限于平臺提供的范例或工具鏈，而是能把自己辛苦訓(xùn)練好的模型，直接帶到硬件平臺( 如AndesAIRE I370) 上運(yùn)行，并享受到專用 AI 加速器帶來的高效能。因此，BYOM的商業(yè)價值如下：

●   模型護(hù)照：讓你的模型能自由移植到AndesAIRE等，跨平臺落地。

●   延續(xù)性：保留原有模型的精準(zhǔn)度與專業(yè)性。

●   靈活性：避免因硬件平臺不同而必須重寫算法。

●   落地性：結(jié)合RISC-V 與AndesAIRE 的低功耗、

高效能優(yōu)勢，適用于醫(yī)療、智能語音、智能制造等應(yīng)用。

2 簡介晶心科的AndesAIRE I370平臺

晶心科AndesAIRE I370結(jié)合了NNPilo（t 模型優(yōu)化與量化工具）以及 TFLM（TensorFlow Lite for Microcontrollers），提供了一套完整的 BYOM 流程。開發(fā)者只要準(zhǔn)備好原始模型，透過 NNPilot 就能快速完成剪枝、量化等優(yōu)化步驟，再轉(zhuǎn)換成能在AndesAIRE 硬件上高效運(yùn)行的格式。最后生成的Host Code，可以直接嵌入到目標(biāo)芯片或設(shè)備中，真正做到「訓(xùn)練在云端 /本地，推論在芯片」。

●   NNPilot：提供模型優(yōu)化與量化，幫助模型縮小體積、提升效率。

●   TFLM：將優(yōu)化后的模型轉(zhuǎn)換成能在AndesAIRE硬件上高效運(yùn)行的格式。

●   Host Code自動生成：最終得到可直接嵌入芯片的程序代碼。

在本文里，將在AndesAIRE平臺上實踐自帶模型（BYOM）流程，它是從模型開發(fā)、ONNX導(dǎo)出、API設(shè)計、交叉編譯，到在RISC-V上部署與推論的完整流程。此流程展示了AndesAIRE I370平臺在靈活整合外部模型與支持多元運(yùn)行環(huán)境的優(yōu)勢。

3   BYOM的實踐流程：基于AndesAIRE

BYOM就像是一張模型護(hù)照。無論模型是來自醫(yī)療影像診斷、語音識別，還是智慧機(jī)器人，你都能把它帶到 AndesAIRE 平臺。平臺會幫你「翻譯」成 RISC-V架構(gòu)下能運(yùn)行的指令與程序代碼，讓你的模型在邊緣設(shè)備上跑得快、省電、而且更穩(wěn)定。其詳細(xì)實踐流程如下：

Step-1：開發(fā)&訓(xùn)練---使用Python/PyTorch進(jìn)行建構(gòu)、訓(xùn)練AI 模型( 例如GAN、RNN等)，然后輸出onnx模型檔案。

Step-2：初步測試(本地測試)---用Python/ONNXRuntime撰寫主程序(myApp.py)，透過ONNX Runtime啟動onnx模型，進(jìn)行推論，完成初步測試( 本地測試)。

Step-3：設(shè)計API---實踐myApp.py+API+myDriver.cpp。由myDriver.cpp透過ONNX Runtime啟動onnx模型，進(jìn)行推論，完成API測試。

Step-4：RISC-V交叉編譯---使用riscv64-unknownlinux-gnu-g++將myDriver.cpp+ONNX Runtime編譯成為RISC-V Linux ELF檔案。

Step-5：基于Libriscv部署&運(yùn)行---由myApp.py+API加載ELF→仿真CPU→讓ELF啟動onnx模型、運(yùn)行推論，最后把結(jié)果反饋給myApp.py主程序。

對于產(chǎn)業(yè)界，BYOM代表的是研發(fā)成果的延續(xù)性與靈活性。企業(yè)多年累積下來的模型資產(chǎn)，不需要因為換一個硬件平臺就要重寫算法。透過BYOM+AndesAIRE，你能保留模型原有的精準(zhǔn)度與專業(yè)性，并同時獲得晶心科在低功耗、高效能AI加速 方面的優(yōu)勢。尤其像醫(yī)療、智能語音、智能制造這些應(yīng)用場景，往往需要高度專屬的模型，BYOM就讓這些獨特的模型能順利落地在AndesAIRE/AnDLA芯片上，真正把價值發(fā)揮到最大。接下來，請觀摩BYOM的實踐范例：

Step-1：開發(fā)模型

撰寫Python程序訓(xùn)練AI模型，出onnx檔案。程序代碼：

Step-2：初步測試( 本地Python初測---x86主機(jī)）

撰寫程序代碼：

此程序執(zhí)行時，順利輸出正確結(jié)果：y=[2, 3, 4]，測試成功。

Step-3：設(shè)計RISC-V端的Driver，以C++撰寫

此myDriver.cpp以C++撰寫，其輸&輸出都是JSON格式文件。程序代碼：

此程序myDriver.cpp，將會在RISC-V內(nèi)執(zhí)行，并且用OR加載model.onnx模型。

Step-4：RISC-V交叉編譯（Linux 使用者態(tài)）

●   基于riscv64 版ORT的include/lib。

●   使用riscv64-unknown-linux-gnu-*（Linux user-mode）。

●   目錄是/opt/ort-rv64，內(nèi)含include/與lib/(libonnxruntime.so)。

此程序執(zhí)行時，輸出：ELF 64-bit LSB executable,RISC-V。并且將myDriver與model.onnx（以及動態(tài)鏈結(jié)時的 libonnxruntime.so）放同文件夾。

Step-5：在libriscv上部署&呼叫

●   使用Python主程序orchestration。

●   使用Python呼叫l(wèi)ibriscv host CLI，來負(fù)責(zé)「加載ELF→模擬→轉(zhuǎn)接 stdin/stdout」。

●   接口如下：myAppEX.exe--elf myDriver--cwdpathtodir --stdin “1,2,3”。

●   其會在VM內(nèi)啟動myDriver，將“1,2,3n”輸入給stdin，回傳stdout(JSON)。

●   程序代碼：

此程序執(zhí)行時，順利輸出正確結(jié)果：y=[2, 3, 4]，測試成功。

4   結(jié)語：BYOM+BYOS的融合

在上一期， 曾經(jīng)介紹了BYOS， 接下來就能在AndesAIRE平臺上，進(jìn)行BYOM+BYOS的結(jié)合，其不僅解決了「模型可攜」問題，還把「語境可攜」提升到戰(zhàn)略高度。除了引入上期介紹的三層式知識圖譜（上游–中游–下游），并與GNN+LLM+RAG結(jié)合，構(gòu)成可追溯、可驗證、可持續(xù)更新的推理鏈。強(qiáng)調(diào) 反事實推理（Counterfactual Reasoning），這是未來可信 AI和因果推理的重要方向。

這種模式能支持AI主權(quán)（Model/Data Sovereignty），對企業(yè)與市場都具有吸引力。減少幻覺、可持續(xù)演化、私有部署，直接對應(yīng)當(dāng)前企業(yè)對生成式AI的主要顧慮。亦即，BYOS 讓 AI不只是會說話，而是能用你熟悉的語境，做出可信、可驗證的專業(yè)決策。

（本文來源于《EEPW》202512）