本页目录
网络环境搭建 · 独立站搭建

一台 64GB 内存、没有显卡的电脑,就能跑 284B 参数的 DeepSeek V4 Flash。开源项目 llama-modchip 把模型压到 56.56 GiB,提示词处理实测每秒 44 个 token,生成速度每秒 9 到 15 个 token,全程离线、没有 API 账单。

先把话说在前面:能跑,不等于满血。这个本地包是 1.71 bits 的极致压缩,输出质量和全精度模型有差距,长提示词要等很久。动手之前,先看完下面的硬件要求和质量取舍,再决定要不要下载这 56.56 GiB。

先说结论:能跑,但要先接受三件事

第一,速度够用,但不快。提示词处理(prefill)每秒 44 个 token,生成(decode)每秒 9 到 15 个 token。写代码、跑批量任务、做实验没问题,指望它像在线 API 那样秒回就别想了。

第二,质量打了折。这是 1.71 bits 的压缩包,大部分路由专家压到了约 1.56 bits。项目方没有拿它和全精度输出做过对比,自己的提示词最好先和托管 API 对照着测一遍再用。

第三,权重不是最新的。这个本地包用的是 7 月的 0731 检查点,DeepSeek 之后已经出了 V4.1 Flash。想要最新权重,就别用这个包。

这三件事能接受,再往下看。这篇只讲怎么在本地把它跑起来。

它是怎么把 284B 塞进 64GB 的

DeepSeek V4 Flash 总共 284.33B 参数,每次推理实际激活 13.17B。标准 Unsloth UD-IQ1_S 压缩版是 76.87 GiB,而一台 64GB 的 Linux 机器实际可用内存只有约 62.5 GiB,根本装不下,硬上只会触发 OOM 或者狂读交换分区。

llama-modchip 是给 llama.cpp 打的一组补丁,外加量化和运行时工具,靠三招把模型塞进去:

  1. 更小的文件。把 76.87 GiB 的 UD-IQ1_S 转码成 56.56 GiB,少了 20.31 GiB。代价是大部分路由专家压到 IQ1_S(约 1.56 bits),整体平均 1.71 bits;注意力、共享专家和词嵌入这些关键部分保留在 Q4_K、Q5_K 和 F32 高精度。
  2. CPU 缓存分块。提示词处理内核按寄存器和 L1 到 L3 缓存分块,16 核 Zen 5 上从每秒 25.0 个 token 提到 44.36 个 token,提升 77%。
  3. 自推测解码。一个只有 1.64 MB 的 n-gram 草稿器,解码从约每秒 9 个 token 提到最高 14.7 个 token。

默认每层 6 个路由专家加 1 个共享专家全跑,不剪枝。文件格式是 GGUF 格式,关于 GGUF、Q4_K_M 这些量化格式怎么选,本站之前写过一篇专门讲本地模型文件格式的文章。

硬件要求:先看你的机器够不够格

以下速度均为项目维护者在一台 AMD Ryzen 9 9955HX(16 核 32 线程、64MB 三级缓存)加 64GB DDR5 内存、Linux 系统、零显卡的机器上实测。换一台机器,速度会不一样。

你的机器内存配什么模型实测速度(0 GPU)
笔记本或迷你主机16–32 GBNemotron-3.5-30B-A3B,14.35 GiB25.0–60.4 tok/s
台式机或服务器64 GBDeepSeek-V4-Flash 284B,56.56 GiB44.4 tok/s prefill,9.1–14.7 tok/s decode
8 通道工作站128 GB+DeepSeek 284B 或 Nemotron 30B111.62 tok/s(仅 30B)

跑 284B 之前,先对一下这几条:

  • 内存 64GB 是硬门槛。256K 上下文下内存峰值 57.61 到 58.9 GiB,64GB 机器可用约 62.5 GiB,余量不到 5 GiB。加载模型之前,先把其他吃内存的程序全关了。
  • CPU 要新,AVX-512 最好。需要 x86_64 架构的近期 CPU,AVX-512 指令集能吃到完整的加速。内存带宽是天花板,按项目 FAQ 的说法,8 通道或 12 通道的服务器主板解码速度能比双通道 DDR5 快 3 到 4 倍。
  • 预编译二进制只支持 Linux x86_64。./modchip 安装脚本支持 Linux 和 macOS,苹果芯片 Mac 上跑 284B:./modchip 脚本支持 Linux 和 macOS,项目 README 里有 Apple Silicon M5 Max 64GB 的章节。
  • 内存不够就别硬上 284B。16GB 或 32GB 的机器跑 30B 的 MoE 模型,Nemotron-3.5-30B-A3B 只有 14.35 GiB,速度反而更快。想先在小机器上试本地大模型,也可以参考本站之前用 Docker 在 NAS 上跑 Qwen3 的教程:浏览器里直接跑大模型?Docker 两步把 Qwen3 装进 NAS。

跑之前先自查:两秒钟测你的 CPU

项目自带一个自查脚本,不下载模型就能跑,先测你的 CPU 和内存够不够格:

curl -sL https://raw.githubusercontent.com/synchopate/llama-modchip/main/scripts/check_cpu_readiness.py | python3

直接把脚本管道进 Python 之前,先看一眼脚本内容再执行。自查通过了再往下走,不通过就别浪费时间下载 56.56 GiB 的模型文件。

操作步骤:两条路线,二选一

路线一:向导式安装,三行命令开聊

适合第一次上手。克隆 llama-modchip 仓库,一行命令进终端聊天:

git clone https://github.com/synchopate/llama-modchip.git
cd llama-modchip
./modchip chat

./modchip chat 打开一个带实时 token 速度显示的终端聊天。其他常用子命令:

命令作用
./modchip web网页聊天和实时监控,地址 http://127.0.0.1:8787
./modchip bench30 秒速度测试,出一张可分享的成绩卡
./modchip claude启动接好本地引擎的 Claude Code
./modchip status / stop检查就绪状态,或停止后台服务

路线二:直接起服务,自己掌控参数

想自己控制上下文长度、线程数和端口,走这条路线。先从 Hugging Face 模型页下载模型和预编译服务程序,再启动:

hf download Synchopate/DeepSeek-V4-Flash-0731-Fractal-64GB-CPU-GGUF --local-dir ./dsv4
chmod +x ./dsv4/llama-server-modchip-linux-x86_64
./dsv4/llama-server-modchip-linux-x86_64 \
  -m ./dsv4/DeepSeek-V4-Flash-0731-Fractal-00001-of-00003.gguf \
  -c 32768 -t 16 -fa on --port 8080

参数按你的机器改:-t 设成物理核心数(示例是 16 核),-c 是上下文长度(示例 32768,想开 256K 就改成 -c 262144,内存峰值也会跟着涨)。模型文件分 3 个分片,总共 56.56 GiB,下载一次就行。

一个坑:原版 llama.cpp、Ollama 和 LM Studio 打不开这个文件。这个检查点用了自定义张量类型(ID 40),没打补丁的程序会报 unknown tensor type 40。只能用 ./modchip 脚本或者仓库自带的二进制。

测一下接口通不通

服务是打过补丁的 llama.cpp llama-server,兼容 OpenAI 风格的 /v1/chat/completions 接口,跑在 8080 端口。一行 curl 就能验证:

curl http://127.0.0.1:8080/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"messages":[{"role":"user","content":"Reply with the word ready."}],"max_tokens":8}'

返回 200 并且有内容,就说明服务正常。项目还带一个 8787 端口的网关(gateway/sse_gateway.py),转发到后端引擎,额外提供 Anthropic 风格的 /v1/messages 接口,Claude Code 走的就是这里。网关支持设置 GATEWAY_API_KEY,设了之后请求要带 bearer token。

想让编程助手自动测这个本地接口,可以用 Apidog CLI:装好之后建一个指向 http://127.0.0.1:8080 的环境,加一条 POST /v1/chat/completions 的测试用例,断言返回 200、内容非空、响应时间在 120 秒以内。注意一点:CPU 跑 284B 很慢,默认超时很容易被触发,记得把 --timeout-request 设大。

提速开关:想更快,拿一点质量换

默认配置(每层 6 个专家全跑)是最保真的,想更快可以降专家数。启动服务之前设环境变量:

LLAMA_MOE_TOP_K=5
LLAMA_MOE_TOP_K=4

实测速度(256K 上下文,Ryzen 9 9955HX):

配置PrefillDecode带草稿器的 Decode
默认 Top-6,56.56 GiB43.16–44.36 tok/s9.06–9.95 tok/s11.5–14.7 tok/s
Top-5(后几层)43.16–44.36 tok/s9.68–9.87 tok/s12.2–15.1 tok/s
Top-4 加 gate-first SwiGLU43.16–44.36 tok/s10.12–10.74 tok/s13.0–16.0 tok/s

Top-5 按项目 README 的说法只增加约 0.42% 的困惑度,换来解码快一截。Prefill 速度基本不受影响,因为瓶颈在提示词处理那一侧。

真实质量取舍:1.71 bits 到底丢了什么

这是动手之前最该看的一节。

第一,”无损”不是你想的那个无损。项目说的 1.00000 余弦相似度,是打补丁的运行时和没打补丁的运行时在同一个压缩文件上的对比,不是和原始权重比。1.71 bits 的压缩本身已经丢了信息,只是补丁没再多丢。

第二,低于 4 bits 质量通常会掉。大部分路由专家压到了约 1.56 bits,社区讨论里不少人对这个量级的质量表示怀疑。项目方没有拿它和全精度 DeepSeek 输出做过对比。项目自带评测脚本给这个包打了 98.5/100 分(工具调用 100%、8.5K 和 256K 找针准确、和 76.87 GiB 的 UD-IQ1_S 比 top-logit 余弦相似度 0.9964),但那是项目自己给自己打的分。

第三,长提示词是最大的瓶颈。Prefill 每秒 44 个 token,一个 1 万 token 的提示词要约 225 秒才出第一个字。KV 快照能把重复对话的恢复时间压到 13.1 到 32.6 毫秒(40 个工具的 Claude Code 提示词),但那只帮重复轮次,全新上下文还是要从头算。

第四,权重是 7 月的旧版。这个包用的是 0731 检查点,DeepSeek 之后已经出了 V4.1 Flash。把本地这个 284B 当成离线写草稿、跑批量任务、做实验的私有模型,先拿自己的提示词测一遍,再决定用不用在正经活上。

费用明细:软件免费,花的是电和硬盘

  • 软件 $0。llama-modchip 开源免费(Apache 2.0 协议),模型文件免费下载,没有 API 账单,没有按 token 计费。
  • 一次性成本:56.56 GiB 磁盘空间,外加下载这 56.56 GiB 的流量。下载一次,之后离线都能跑。
  • 持续成本:电费。CPU 满载跑推理,电费是唯一的持续开销。
  • 对比托管 API:托管 API 按量付费,速度快、质量满血,适合生产;本地跑适合不着急的批量任务和离线实验。不想折腾本地部署,也可以直接用免费 API:本站之前整理过 17 家免费 LLM API 的领取指南:17 家免费 LLM API Key 全指南。

三种路线对比:本地 CPU、GPU、托管 API

路线需要什么适合谁
llama-modchip 跑 CPU64GB 内存、新款 x86_64 CPU私有离线、不想付 API 账单,能接受慢速 prefill
GPU 跑 vLLM 或 SGLang大显存或多卡机器又快又要高精度的自托管
DeepSeek 托管 API一个 API key满血质量、生产速度

使用技巧:跑起来之后注意这六点

  1. 加载模型之前关掉其他程序。内存峰值 57.61 到 58.9 GiB,64GB 机器的余量不到 5 GiB,浏览器多开几个标签页都可能把内存顶爆。
  2. -t 设成物理核心数,不是线程数。16 核 32 线程的机器,-t 16。
  3. 上下文按需开。32768 够用就别开 256K,上下文越大,内存峰值越高。
  4. 别用 Ollama、LM Studio 或原版 llama.cpp 打开这个文件。会报 unknown tensor type 40,只能用项目自带的程序。
  5. 长提示词先想清楚。1 万 token 的提示词,第一个字要等约 225 秒。批量任务排队跑,别指望实时对话。
  6. 想接编程助手,用 ./modchip claude 或 8787 网关。别自己拼接口,网关已经把 OpenAI 和 Anthropic 两种风格的路由都接好了。

FAQ

没有显卡真的能跑 284B 吗?

能,前提是 64GB 内存加 llama-modchip。维护者实测:提示词处理每秒 44.36 个 token,生成每秒 9 到 15 个 token,整个 56.56 GiB 的模型常驻内存,零交换分区。

能用 Ollama 或 LM Studio 吗?

不能。这个检查点用了自定义张量类型,没打补丁的 llama.cpp、Ollama 和 LM Studio 会报 unknown tensor type 40。用仓库的 ./modchip 脚本或者自带的 llama-server-modchip-linux-x86_64 二进制。

只有 16GB 或 32GB 内存怎么办?

跑 30B 的 MoE 模型。项目方配的是 Nemotron-3.5-30B-A3B,文件 14.35 GiB,CPU 上实测每秒 25.0 到 60.4 个 token。

1.71 bits 的输出质量怎么样?

项目没有和全精度 DeepSeek 做过对比,社区里也有人表示怀疑。先拿自己的提示词和托管 API 对照着测,确认能接受再用在正经活上。

Mac 能跑吗?

预编译二进制只支持 Linux x86_64,./modchip 脚本支持 Linux 和 macOS。项目 README 里有 Apple Silicon M5 Max 64GB 的章节。

本地服务兼容 OpenAI 接口吗?

兼容。它是打过补丁的 llama.cpp llama-server,/v1/chat/completions 在 8080 端口就能用。8787 端口的网关还提供 Anthropic 风格的 /v1/messages,Claude Code 走的就是这里。

跑起来要花多少钱?

软件和模型都免费,只有电费和 56.56 GiB 磁盘空间。没有 API 账单,没有按 token 计费。

结尾:这篇适合谁

手里有一台 64GB 内存的电脑,不想付 API 账单,想离线跑个 284B 大模型写草稿、跑批量任务、做实验,这篇就是给你写的。按上面的自查、路线、提速开关一步步走,半小时内能跑起来。

反过来,如果你要的是实时对话、生产级质量、最新权重,这个本地包不适合你:长提示词要等几分钟,质量打了折,权重还是 7 月的旧版。这种情况直接用托管 API,或者先看看本站的免费 API 指南。


觉得这篇硬核干货有帮助?
网络环境搭建 · 独立站搭建
⚠️ 免责声明

本站部分内容由网友投稿,转载仅为学习交流之目的,不代表 518 PORT 立场;版权归原作者所有。如有侵权、虚假或违法内容,请联系我们删除;本站不承担因转载内容产生的任何责任。