# 向 Ollama 发送批量推理请求
for prompt in “总结这篇文章” “翻译成英文” “提取关键信息”; do
curl -s -X POST http://localhost:11434/api/generate \
-H “Content-Type: application/json” \
-d “{\”model\”:\”qwen2.5:3b\”,\”prompt\”:\”$prompt\”,\”stream\”:false}” \
| jq -r ‘.response’
done
“`
Web UI 访问地址：`http://<本机IP>:8080`
—
## 5. 性能与兼容性说明
### 5.1 小米 17 实测表现
小米 17 搭载的 Intel Core Ultra 7 集成了 NPU（神经网络处理单元），但 Ollama 当前版本对 Intel NPU 支持有限，实测以 CPU 推理为主。在测试中，我们发现 Intel Arc 集成显卡的 Vulkan 计算能力也尚未被 Ollama 充分利用，因此本次实测主要评估 CPU 推理性能。
| 场景 | 3B 模型 | 7B 模型 | 8B 模型 |
|——|———|———|———|
| 首次响应延迟 | ~2s | ~8s | ~12s |
| 并发请求 | 2–3 路流畅 | 1 路勉强 | 1 路卡顿 |
| 内存占用峰值 | ~10GB | ~22GB | ~26GB |
| CPU 占用率 | 60-80% | 90-100% | 100% |
实测结论：
1. 小米 17 的 32GB 内存配置可流畅运行 3B–7B 参数模型，8B 模型建议关闭其他占用内存的应用
2. Intel Core Ultra 7 的性能核主频可达 4.8GHz，在单线程推理场景下表现优异
3. 建议为 Docker 服务配置内存限制，避免 OOM 导致容器重启
### 5.2 GPU 加速
虽然小米 17 原装配置不含独立显卡，但其 Intel Arc 集成显卡支持 Vulkan 计算。对于计划后续升级 NVIDIA 独立显卡的用户，需安装 NVIDIA Container Toolkit：
“`bash
distribution=$(. /etc/os-release;echo $ID$VERSION_ID)
curl -s -L https://nvidia.github.io/nvidia-docker/gpgkey | sudo apt-key add –
curl -s -L https://nvidia.github.io/nvidia-docker/$distribution/nvidia-docker.list | \
sudo tee /etc/apt/sources.list.d/nvidia-docker.list
sudo apt-get update && sudo apt-get install -y nvidia-container-toolkit
sudo systemctl restart docker
“`
相关阅读：手机868 深圳报价