- 先说结论:能跑,但要先接受三件事
- 它是怎么把 284B 塞进 64GB 的
- 硬件要求:先看你的机器够不够格
- 跑之前先自查:两秒钟测你的 CPU
- 操作步骤:两条路线,二选一
- 路线一:向导式安装,三行命令开聊
- 路线二:直接起服务,自己掌控参数
- 测一下接口通不通
- 提速开关:想更快,拿一点质量换
- 真实质量取舍:1.71 bits 到底丢了什么
- 费用明细:软件免费,花的是电和硬盘
- 三种路线对比:本地 CPU、GPU、托管 API
- 使用技巧:跑起来之后注意这六点
- FAQ
- 没有显卡真的能跑 284B 吗?
- 能用 Ollama 或 LM Studio 吗?
- 只有 16GB 或 32GB 内存怎么办?
- 1.71 bits 的输出质量怎么样?
- Mac 能跑吗?
- 本地服务兼容 OpenAI 接口吗?
- 跑起来要花多少钱?
- 结尾:这篇适合谁
一台 64GB 内存、没有显卡的电脑,就能跑 284B 参数的 DeepSeek V4 Flash。开源项目 llama-modchip 把模型压到 56.56 GiB,提示词处理实测每秒 44 个 token,生成速度每秒 9 到 15 个 token,全程离线、没有 API 账单。
先把话说在前面:能跑,不等于满血。这个本地包是 1.71 bits 的极致压缩,输出质量和全精度模型有差距,长提示词要等很久。动手之前,先看完下面的硬件要求和质量取舍,再决定要不要下载这 56.56 GiB。
先说结论:能跑,但要先接受三件事
第一,速度够用,但不快。提示词处理(prefill)每秒 44 个 token,生成(decode)每秒 9 到 15 个 token。写代码、跑批量任务、做实验没问题,指望它像在线 API 那样秒回就别想了。
第二,质量打了折。这是 1.71 bits 的压缩包,大部分路由专家压到了约 1.56 bits。项目方没有拿它和全精度输出做过对比,自己的提示词最好先和托管 API 对照着测一遍再用。
第三,权重不是最新的。这个本地包用的是 7 月的 0731 检查点,DeepSeek 之后已经出了 V4.1 Flash。想要最新权重,就别用这个包。
这三件事能接受,再往下看。这篇只讲怎么在本地把它跑起来。
它是怎么把 284B 塞进 64GB 的
DeepSeek V4 Flash 总共 284.33B 参数,每次推理实际激活 13.17B。标准 Unsloth UD-IQ1_S 压缩版是 76.87 GiB,而一台 64GB 的 Linux 机器实际可用内存只有约 62.5 GiB,根本装不下,硬上只会触发 OOM 或者狂读交换分区。
llama-modchip 是给 llama.cpp 打的一组补丁,外加量化和运行时工具,靠三招把模型塞进去:
- 更小的文件。把 76.87 GiB 的 UD-IQ1_S 转码成 56.56 GiB,少了 20.31 GiB。代价是大部分路由专家压到 IQ1_S(约 1.56 bits),整体平均 1.71 bits;注意力、共享专家和词嵌入这些关键部分保留在 Q4_K、Q5_K 和 F32 高精度。
- CPU 缓存分块。提示词处理内核按寄存器和 L1 到 L3 缓存分块,16 核 Zen 5 上从每秒 25.0 个 token 提到 44.36 个 token,提升 77%。
- 自推测解码。一个只有 1.64 MB 的 n-gram 草稿器,解码从约每秒 9 个 token 提到最高 14.7 个 token。
默认每层 6 个路由专家加 1 个共享专家全跑,不剪枝。文件格式是 GGUF 格式,关于 GGUF、Q4_K_M 这些量化格式怎么选,本站之前写过一篇专门讲本地模型文件格式的文章。
硬件要求:先看你的机器够不够格
以下速度均为项目维护者在一台 AMD Ryzen 9 9955HX(16 核 32 线程、64MB 三级缓存)加 64GB DDR5 内存、Linux 系统、零显卡的机器上实测。换一台机器,速度会不一样。
| 你的机器 | 内存 | 配什么模型 | 实测速度(0 GPU) |
|---|---|---|---|
| 笔记本或迷你主机 | 16–32 GB | Nemotron-3.5-30B-A3B,14.35 GiB | 25.0–60.4 tok/s |
| 台式机或服务器 | 64 GB | DeepSeek-V4-Flash 284B,56.56 GiB | 44.4 tok/s prefill,9.1–14.7 tok/s decode |
| 8 通道工作站 | 128 GB+ | DeepSeek 284B 或 Nemotron 30B | 111.62 tok/s(仅 30B) |
跑 284B 之前,先对一下这几条:
- 内存 64GB 是硬门槛。256K 上下文下内存峰值 57.61 到 58.9 GiB,64GB 机器可用约 62.5 GiB,余量不到 5 GiB。加载模型之前,先把其他吃内存的程序全关了。
- CPU 要新,AVX-512 最好。需要 x86_64 架构的近期 CPU,AVX-512 指令集能吃到完整的加速。内存带宽是天花板,按项目 FAQ 的说法,8 通道或 12 通道的服务器主板解码速度能比双通道 DDR5 快 3 到 4 倍。
- 预编译二进制只支持 Linux x86_64。
./modchip安装脚本支持 Linux 和 macOS,苹果芯片 Mac 上跑 284B:./modchip脚本支持 Linux 和 macOS,项目 README 里有 Apple Silicon M5 Max 64GB 的章节。 - 内存不够就别硬上 284B。16GB 或 32GB 的机器跑 30B 的 MoE 模型,Nemotron-3.5-30B-A3B 只有 14.35 GiB,速度反而更快。想先在小机器上试本地大模型,也可以参考本站之前用 Docker 在 NAS 上跑 Qwen3 的教程:浏览器里直接跑大模型?Docker 两步把 Qwen3 装进 NAS。
跑之前先自查:两秒钟测你的 CPU
项目自带一个自查脚本,不下载模型就能跑,先测你的 CPU 和内存够不够格:
curl -sL https://raw.githubusercontent.com/synchopate/llama-modchip/main/scripts/check_cpu_readiness.py | python3
直接把脚本管道进 Python 之前,先看一眼脚本内容再执行。自查通过了再往下走,不通过就别浪费时间下载 56.56 GiB 的模型文件。
操作步骤:两条路线,二选一
路线一:向导式安装,三行命令开聊
适合第一次上手。克隆 llama-modchip 仓库,一行命令进终端聊天:
git clone https://github.com/synchopate/llama-modchip.git
cd llama-modchip
./modchip chat
./modchip chat 打开一个带实时 token 速度显示的终端聊天。其他常用子命令:
| 命令 | 作用 |
|---|---|
./modchip web | 网页聊天和实时监控,地址 http://127.0.0.1:8787 |
./modchip bench | 30 秒速度测试,出一张可分享的成绩卡 |
./modchip claude | 启动接好本地引擎的 Claude Code |
./modchip status / stop | 检查就绪状态,或停止后台服务 |
路线二:直接起服务,自己掌控参数
想自己控制上下文长度、线程数和端口,走这条路线。先从 Hugging Face 模型页下载模型和预编译服务程序,再启动:
hf download Synchopate/DeepSeek-V4-Flash-0731-Fractal-64GB-CPU-GGUF --local-dir ./dsv4
chmod +x ./dsv4/llama-server-modchip-linux-x86_64
./dsv4/llama-server-modchip-linux-x86_64 \
-m ./dsv4/DeepSeek-V4-Flash-0731-Fractal-00001-of-00003.gguf \
-c 32768 -t 16 -fa on --port 8080
参数按你的机器改:-t 设成物理核心数(示例是 16 核),-c 是上下文长度(示例 32768,想开 256K 就改成 -c 262144,内存峰值也会跟着涨)。模型文件分 3 个分片,总共 56.56 GiB,下载一次就行。
一个坑:原版 llama.cpp、Ollama 和 LM Studio 打不开这个文件。这个检查点用了自定义张量类型(ID 40),没打补丁的程序会报 unknown tensor type 40。只能用 ./modchip 脚本或者仓库自带的二进制。
测一下接口通不通
服务是打过补丁的 llama.cpp llama-server,兼容 OpenAI 风格的 /v1/chat/completions 接口,跑在 8080 端口。一行 curl 就能验证:
curl http://127.0.0.1:8080/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{"messages":[{"role":"user","content":"Reply with the word ready."}],"max_tokens":8}'
返回 200 并且有内容,就说明服务正常。项目还带一个 8787 端口的网关(gateway/sse_gateway.py),转发到后端引擎,额外提供 Anthropic 风格的 /v1/messages 接口,Claude Code 走的就是这里。网关支持设置 GATEWAY_API_KEY,设了之后请求要带 bearer token。
想让编程助手自动测这个本地接口,可以用 Apidog CLI:装好之后建一个指向 http://127.0.0.1:8080 的环境,加一条 POST /v1/chat/completions 的测试用例,断言返回 200、内容非空、响应时间在 120 秒以内。注意一点:CPU 跑 284B 很慢,默认超时很容易被触发,记得把 --timeout-request 设大。
提速开关:想更快,拿一点质量换
默认配置(每层 6 个专家全跑)是最保真的,想更快可以降专家数。启动服务之前设环境变量:
LLAMA_MOE_TOP_K=5
LLAMA_MOE_TOP_K=4
实测速度(256K 上下文,Ryzen 9 9955HX):
| 配置 | Prefill | Decode | 带草稿器的 Decode |
|---|---|---|---|
| 默认 Top-6,56.56 GiB | 43.16–44.36 tok/s | 9.06–9.95 tok/s | 11.5–14.7 tok/s |
| Top-5(后几层) | 43.16–44.36 tok/s | 9.68–9.87 tok/s | 12.2–15.1 tok/s |
| Top-4 加 gate-first SwiGLU | 43.16–44.36 tok/s | 10.12–10.74 tok/s | 13.0–16.0 tok/s |
Top-5 按项目 README 的说法只增加约 0.42% 的困惑度,换来解码快一截。Prefill 速度基本不受影响,因为瓶颈在提示词处理那一侧。
真实质量取舍:1.71 bits 到底丢了什么
这是动手之前最该看的一节。
第一,”无损”不是你想的那个无损。项目说的 1.00000 余弦相似度,是打补丁的运行时和没打补丁的运行时在同一个压缩文件上的对比,不是和原始权重比。1.71 bits 的压缩本身已经丢了信息,只是补丁没再多丢。
第二,低于 4 bits 质量通常会掉。大部分路由专家压到了约 1.56 bits,社区讨论里不少人对这个量级的质量表示怀疑。项目方没有拿它和全精度 DeepSeek 输出做过对比。项目自带评测脚本给这个包打了 98.5/100 分(工具调用 100%、8.5K 和 256K 找针准确、和 76.87 GiB 的 UD-IQ1_S 比 top-logit 余弦相似度 0.9964),但那是项目自己给自己打的分。
第三,长提示词是最大的瓶颈。Prefill 每秒 44 个 token,一个 1 万 token 的提示词要约 225 秒才出第一个字。KV 快照能把重复对话的恢复时间压到 13.1 到 32.6 毫秒(40 个工具的 Claude Code 提示词),但那只帮重复轮次,全新上下文还是要从头算。
第四,权重是 7 月的旧版。这个包用的是 0731 检查点,DeepSeek 之后已经出了 V4.1 Flash。把本地这个 284B 当成离线写草稿、跑批量任务、做实验的私有模型,先拿自己的提示词测一遍,再决定用不用在正经活上。
费用明细:软件免费,花的是电和硬盘
- 软件 $0。llama-modchip 开源免费(Apache 2.0 协议),模型文件免费下载,没有 API 账单,没有按 token 计费。
- 一次性成本:56.56 GiB 磁盘空间,外加下载这 56.56 GiB 的流量。下载一次,之后离线都能跑。
- 持续成本:电费。CPU 满载跑推理,电费是唯一的持续开销。
- 对比托管 API:托管 API 按量付费,速度快、质量满血,适合生产;本地跑适合不着急的批量任务和离线实验。不想折腾本地部署,也可以直接用免费 API:本站之前整理过 17 家免费 LLM API 的领取指南:17 家免费 LLM API Key 全指南。
三种路线对比:本地 CPU、GPU、托管 API
| 路线 | 需要什么 | 适合谁 |
|---|---|---|
| llama-modchip 跑 CPU | 64GB 内存、新款 x86_64 CPU | 私有离线、不想付 API 账单,能接受慢速 prefill |
| GPU 跑 vLLM 或 SGLang | 大显存或多卡机器 | 又快又要高精度的自托管 |
| DeepSeek 托管 API | 一个 API key | 满血质量、生产速度 |
使用技巧:跑起来之后注意这六点
- 加载模型之前关掉其他程序。内存峰值 57.61 到 58.9 GiB,64GB 机器的余量不到 5 GiB,浏览器多开几个标签页都可能把内存顶爆。
-t设成物理核心数,不是线程数。16 核 32 线程的机器,-t 16。- 上下文按需开。32768 够用就别开 256K,上下文越大,内存峰值越高。
- 别用 Ollama、LM Studio 或原版 llama.cpp 打开这个文件。会报
unknown tensor type 40,只能用项目自带的程序。 - 长提示词先想清楚。1 万 token 的提示词,第一个字要等约 225 秒。批量任务排队跑,别指望实时对话。
- 想接编程助手,用
./modchip claude或 8787 网关。别自己拼接口,网关已经把 OpenAI 和 Anthropic 两种风格的路由都接好了。
FAQ
没有显卡真的能跑 284B 吗?
能,前提是 64GB 内存加 llama-modchip。维护者实测:提示词处理每秒 44.36 个 token,生成每秒 9 到 15 个 token,整个 56.56 GiB 的模型常驻内存,零交换分区。
能用 Ollama 或 LM Studio 吗?
不能。这个检查点用了自定义张量类型,没打补丁的 llama.cpp、Ollama 和 LM Studio 会报 unknown tensor type 40。用仓库的 ./modchip 脚本或者自带的 llama-server-modchip-linux-x86_64 二进制。
只有 16GB 或 32GB 内存怎么办?
跑 30B 的 MoE 模型。项目方配的是 Nemotron-3.5-30B-A3B,文件 14.35 GiB,CPU 上实测每秒 25.0 到 60.4 个 token。
1.71 bits 的输出质量怎么样?
项目没有和全精度 DeepSeek 做过对比,社区里也有人表示怀疑。先拿自己的提示词和托管 API 对照着测,确认能接受再用在正经活上。
Mac 能跑吗?
预编译二进制只支持 Linux x86_64,./modchip 脚本支持 Linux 和 macOS。项目 README 里有 Apple Silicon M5 Max 64GB 的章节。
本地服务兼容 OpenAI 接口吗?
兼容。它是打过补丁的 llama.cpp llama-server,/v1/chat/completions 在 8080 端口就能用。8787 端口的网关还提供 Anthropic 风格的 /v1/messages,Claude Code 走的就是这里。
跑起来要花多少钱?
软件和模型都免费,只有电费和 56.56 GiB 磁盘空间。没有 API 账单,没有按 token 计费。
结尾:这篇适合谁
手里有一台 64GB 内存的电脑,不想付 API 账单,想离线跑个 284B 大模型写草稿、跑批量任务、做实验,这篇就是给你写的。按上面的自查、路线、提速开关一步步走,半小时内能跑起来。
反过来,如果你要的是实时对话、生产级质量、最新权重,这个本地包不适合你:长提示词要等几分钟,质量打了折,权重还是 7 月的旧版。这种情况直接用托管 API,或者先看看本站的免费 API 指南。
本站部分内容由网友投稿,转载仅为学习交流之目的,不代表 518 PORT 立场;版权归原作者所有。如有侵权、虚假或违法内容,请联系我们删除;本站不承担因转载内容产生的任何责任。

