如何在 OrangePi 5 Pro 的 NPU 上运行 LLM

在OrangePi5 Pro上访问NPU需要安装最新版Ubuntu的定制版本，还需要安装特殊软件，让你能在NPU而不是CPU上运行专门转换的LLM。整个过程肯定要比运行Ollama复杂得多，但如果你愿意迎接挑战，就能获得不菲的收益。所以，如果你感兴趣，就让我们深入了解一下吧！

安装操作系统

首先要安装合适的操作系统。我推荐 GitHub用户Joshua Riek专门为Rockchip SoC定制的Ubuntu。你需要的是24.04版本，因为它拥有运行LLM所需的最新版NPU驱动程序。为OrangePi在SD卡上刷新操作系统的方法与Raspberry Pi基本相同，以下是简要介绍：

1.将操作系统镜像下载到你选择的电脑上。

2.打开一个可以帮助闪存 SD卡的程序。在本指南中，我们将使用balenaEtcher。

3.选择 “从文件闪存”，然后选择之前下载的操作系统映像文件。

4.确保已插入 SD卡，然后单击 “选择目标”。

5.从列表中选择 SD卡，然后单击 “选择”。

6.选择 Flash！

这个过程可能需要 10分钟才能完成，所以在程序运行时请耐心等待。

成功闪存操作系统后，将 SD卡传输到你的OrangePi中，然后打开电源。确保你手边有键盘和显示器，因为我们需要直接访问我们的 SBC，至少需要足够长的时间来安装SSH。

安装 SSH

在 OPi上完成初始操作系统设置后，按Ctrl + Alt + T键打开终端，在终端中输入sudo apt install openssh-server。这将允许你从另一台电脑访问你的OrangePi。我们之所以要这么麻烦，是因为运行 LLM的程序在桌面上无法运行，但在SSH终端上可以运行。

在离开你的OrangePi之前，记下它的 IP地址，然后通过SSH登录。如果你不喜欢SSH，也可以在你的设备上按照本指南操作，但你必须按Ctrl + Alt + F5退出桌面，只在shell中工作。

安装 RKNN LLM和RKNN工具包2

现在，我们可以开始安装运行 LLM的软件了。RKNN LLM是在我们的机器上运行LLM的程序。RKNN Toolkit 2是让其他软件与NPU通信的软件。我们将使用GitHub用户Pelochus提供的脚本一次性安装这两个软件。在终端中输入：

sudo curl https://raw.githubusercontent.com/Pelochus/ezrknpu/main/install.sh | sudo bash

运行需要 5到10分钟，请耐心等待。

安装 LLM

安装完 RKNN LLM和RKNN Toolkit 2后，就可以安装模型了（这还需要5到10分钟）。为了让LLM利用OrangePi上Rockchip RK3588S SoC的NPU，需要使用RKNN Toolkit 2对其进行转换（这远远超出了本指南的范围）。

幸运的是，Pelochus维护着一个可与RK3588S配合使用的LLM的Hugging Face资源库。遗憾的是，并非所有这些模型都与我们刚刚下载的软件兼容。您需要寻找已使用RKLLM runtime 1.0.1转换的模型。我们要安装的是微软的Phi-3 Mini型号，参数为3.8B。在终端中输入以下命令：

GIT_LFS_SKIP_SMUDGE=1 git clone https://huggingface.co/Pelochus/phi-3-mini-rk3588

命令第一部分的大写字母将确保我们只先克隆较小的文件。如果我们试图一次性克隆整个版本库，可能会出现一些错误。接下来，导航到我们刚刚创建的新目录（cd ~/phi-3-mini-rk3588），然后运行git lfs pull命令。这将下载数千兆字节的大型模型文件。

在OrangePi5 Pro NPU上运行LLM

如果一切按计划进行，你就可以启动 LLM了。在终端中输入rkllm phi-3-mini-4k-rk3588.rkllm即可。

运行情况如何？它比我们在超频的 Raspberry Pi 5上通过Ollama运行的Phi-3要快得多。它的输出似乎也有硬性限制，如果达到极限，就会中途自断。

OrangePi上的NPU驱动LLM在很大程度上仍处于试验阶段，但没想到响应速度是如此之快。在树莓派上运行的 Phi-3平均响应时间为27秒，中位数为5秒（范围为3-295秒）。在OrangePi5 Pro的NPU上运行的Phi-3均响应时间约为1秒，中位数在1-2秒之间。

如果你有一台配备 RK3588或RK3588S SoC的OrangePi5，如果你喜欢尝试使用LLM，那么这个项目绝对值得你花时间去做，哪怕只是为了大幅提高LLM的响应时间。支持OrangePi上 LLM的社区规模虽小，但非常活跃，我期待看到更多型号不断涌现。