先说结论:在搭载较新桌面 CPU(如 Intel Core Ultra 7 265K 一类)与 NVIDIA GeForce RTX 40 系 16GB 显存显卡的台式机上,用 Ollama / LM Studio 等工具跑本地量化大模型是常见做法;具体 tokens/s、整机瓦数、GPU ℃ 必须以你本机 nvidia-smi / 电源监测与标明条件的公开基准为准。本稿删除无出处的「28–32 tok/s」「380–420W / 68–72℃」对照表与未标注样本的跨卡差距百分比,改为官方软件栈安装路径、显存选型原则与可复现自测步骤。
机型与硬件锚点
| 项目 | 怎么核对 | 备注 |
|---|---|---|
| 整机型号 | 联想官网 / 机身铭牌 / Lenovo Vantage | 「拯救者刃」等系列有多年代与多配置;勿把某一订货价写成全系统一价 |
| CPU | 任务管理器 / CPU-Z;Intel 产品页核验代号 | NPU 有无、能否被具体框架调用,以框架文档为准,不写未验证的「Windows 12 必用」承诺 |
| GPU 与显存 | nvidia-smi | 16GB 显存大致可覆盖常见 7B–14B 级量化权重;更大参数需更激进量化、CPU offload 或换卡,以实际加载报错为准 |
| 内存 / 存储 | 任务管理器;模型目录所在盘剩余空间 | 多模型并存时磁盘占用增长很快,建议把模型目录放到非系统盘 |
出处:Intel Core Ultra 桌面产品说明见 intel.com Core Ultra;NVIDIA 驱动与 CUDA 工具包;联想产品支持 pcsupport.lenovo.com。
数据边界:已删除原稿中无完整实验条件的 tokens/s 跨卡表、整机功耗/温度/噪音表(含待机 45W、推理 380–420W、烤机 83℃ 等)、「损失约 3–5% 能力」「CPU 占用 15–25%」「补全 <200ms」等精确体验数字、未核验的订货价与同价位打星对比表,以及把某 ThinkBook 报价写成固定结论的营销尾巴。价格请以当期经销渠道为准,本稿不承诺。
软件栈(可复现安装路径)
- GPU 驱动:从 NVIDIA 官网安装对应 GeForce Game Ready 或 Studio 驱动;安装后执行
nvidia-smi确认驱动与 GPU 名称。 - Ollama(CLI 常用):按 ollama.com/download 安装 Windows 版;用
ollama --version验证。 - 模型目录(建议):将
OLLAMA_MODELS指到非系统盘大容量目录,避免 C 盘被多模型占满。PowerShell 用户级示例:[System.Environment]::SetEnvironmentVariable("OLLAMA_MODELS", "D:\ollama-models", "User")改完后新开终端再生效。
- 可选 GUI:LM Studio 等工具适合浏览与下载 GGUF;版本与 CUDA 后端以该项目当期说明为准。
- 进阶服务端:若使用 vLLM 等,请遵循其 Windows/WSL 支持说明;不要假设「桌面游戏机能原样跑通所有 Linux 部署文档」。
出处:Ollama GitHub 与官网文档;NVIDIA 驱动下载。
模型怎么选(原则,不写假跑分)
- 先看显存,再看参数量:加载失败或频繁 CPU offload 时,换更小量化(如更低比特 GGUF)或更小参数档,而不是背诵某篇「推荐度五星表」。
- 中文对话 / 代码 / 翻译:选对应擅长的开源权重;以模型卡(Model Card)与许可证为准。
- 自测方法(可写进笔记):固定同一 prompt、固定生成长度、记录
nvidia-smi显存峰值与墙钟时间;至少重复 3 次。只有你自己的表,才能代表你的环境。 - 跨卡对比:驱动版本、量化格式、上下文长度、批大小任一不同,tokens/s 就不可横比;本稿不做「+45%」类未复现差距声明。
出处:各模型在 Hugging Face / Ollama 库的模型页;量化格式说明见 llama.cpp / GGUF 相关文档。
散热、功耗与稳定性(排查,不报实验室表)
- 推理时用
nvidia-smi dmon或任务管理器看 GPU 利用率与温度;异常降频先查机箱风道、灰尘与电源是否够余量。 - 整机功耗请用功率计或机箱/电源自带监测;不同SKU电源与墙电环境差异大,勿套用他人「380W」口述。
- 长时间负载:关注驱动崩溃、显存不足报错与磁盘是否成为加载瓶颈;散热策略用官方或主板厂商风扇曲线工具,不承诺「锁 50% 风扇=35dB」。
出处:NVIDIA 驱动故障排除与 nvidia-smi 文档;联想整机支持文档见 pcsupport。
适合 / 不适合(边界)
- 更适合:隐私敏感文本处理;想离线做代码补全/文案草稿;可接受自备硬件与驱动维护。
- 需谨慎:超大参数模型(显存不够就老实换方案);要多卡并行时先读框架的多 GPU 支持现状;实时多模态/视频理解另算算力与显存账。
- 云 vs 本地:合规与数据不出域时本地有优势;要弹性算力时云端 API / GPU 实例可能更合适——按合规与成本决策,不作统一定价。
常见问题
- 正文里原来的 tok/s 和温度表还能信吗?
- 不能作为你的决策依据。那些数字未给出可复现实验包,已删除。请用本机自测。
- 16GB 显存能不能跑「70B」?
- 通常不能舒适地全权重加载;是否能靠极低比特量化「勉强加载」取决于具体权重与 offload 策略,以实际报错与质量退化为准,不在此承诺。
- 一定要 Intel 带 NPU 的 CPU 吗?
- 当前主流本地 LLM 推理仍主要吃 GPU。NPU 是否被 Ollama 等调用,以各框架当期文档为准,不要写成「无 NPU 就更快出字」的保证。
相关内链
- 站内报价入口:/price
- 同站其它本地部署 / 硬件排查文:优先阅读已带「出处」与数据边界的改写版。