面向私有化场景的显存测算、加速卡选型、量化框架协同与外围配套，给出可落地的配置判断依据。 DeepSeek 系列从 1.5B 蒸馏版到 671B 参数的 MoE 旗舰，跨度极大，同一套硬件方案在两端表现可能相差一个数量级。多数部署失败并非算力不足，而是显存预算、量化精度与推理框架三者未对齐。以下从模型规格出发，逐层拆解本地部署的硬件配置逻辑。
1. 模型规格与显存占用的量化对应关系
显存需求的第一决定因素是参数总量与权重精度。按通行估算，FP16 每参数约 2 字节，INT8 约 1 字节，INT4 约 0.5 字节，再叠加 10% 至 20% 的运行时开销。以 DeepSeek-R1-Distill-Qwen-32B 为例，FP16 权重约 64GB，需两张 48GB 卡或四张 24GB 卡；转为 AWQ INT4 后权重降至约 18GB，单张 RTX 4090 的 24GB 显存即可容纳，剩余空间用于 KV Cache 与上下文。70B 蒸馏版本在 INT4 下约 40GB，双卡 4090 或单张 A6000 是常见起点。
真正的分水岭在 671B 的 MoE 架构。DeepSeek-V3 与 R1 采用 256 个路由专家、每 token 激活约 37B 参数的稀疏设计，权重总量在 INT4 下仍需 350GB 以上显存。这已超出单机 8 卡 H100 的常规配置边界，实际部署更依赖大容量系统内存与 CPU-GPU 混合推理。KV Cache 是另一项易被低估的开销，它与层数、注意力头数、批大小和上下文长度线性相关，在 128K 长上下文、并发 32 路的场景下，KV Cache 占用可达数十 GB，足以让原本“刚好装下”的方案溢出。
因此显存测算不能只看权重文件大小。工程上通常按“权重量化体积 × 1.15 + KV Cache 峰值 + 框架预留”三段式估算，并为长上下文与并发留出 20% 以上余量。对 14B 以下的小模型，消费级显卡即可胜任；32B 至 70B 区间是专业卡与多卡并行的主战场；671B 级别则需要把内存容量、内存带宽和 CPU 核数一并纳入预算，而非单纯堆叠 GPU。
2. 推理加速卡选型与整机平台搭配
消费级与专业级的核心差异不止在显存容量，更在显存带宽与卡间互联。RTX 4090 拥有 24GB GDDR6X 与约 1TB/s 带宽，单卡推理 32B INT4 模型可达到可用的生成速度，但两张 4090 之间没有 NVLink，张量并行时的通信开销会明显拖累吞吐。A6000 的 48GB 显存让 70B INT4 单卡成为可能，H100 的 80GB HBM3 与约 3.35TB/s 带宽则在长上下文与高并发下优势显著，价格也相应抬升一个量级。
整机平台常被忽视却直接影响稳定性。多卡并行需要主板提供足够的 PCIe 通道，消费级平台在插满多卡后往往退化为 x4 链路，All-Reduce 效率下降；工作站与服务器平台的双路 CPU、128 条 PCIe 通道才支撑得起 4 卡或 8 卡满速运行。电源需按单卡 450W 至 700W 的峰值叠加冗余，8 卡机型的整机功耗轻易突破 6kW，风冷与液冷方案、机房供电与散热改造都要提前核算。
国产算力路线同样值得纳入评估。昇腾 910B 单卡 64GB HBM，配合 CANN 与 MindIE 推理栈可运行 DeepSeek 系列，在信创合规场景中具备现实价值；摩尔线程、寒武纪等产品在特定模型上已有适配案例。选型时的判断依据应是模型支持列表、算子覆盖度与社区活跃度，而非仅比较标称算力，一张跑不通目标模型的卡，参数再高也没有意义。
3. 量化路径与推理框架的协同调优
量化与推理框架必须成套选择。GGUF 格式配合 llama.cpp 与 Ollama，优势是 CPU、GPU 混合卸载灵活，单机即可跑起中大模型，适合个人与边缘场景；GPTQ、AWQ 配合 vLLM 或 SGLang，则面向 GPU 高吞吐服务，PagedAttention 能显著降低 KV Cache 碎片，在并发请求下提升数倍吞吐。同一张卡在不同框架下的实际表现可能相差 30% 以上，框架的算子融合、批处理策略与量化内核对齐程度，往往比硬件参数更能决定体验。
671B MoE 的本地化是框架协同的典型样本。KTransformers 通过将 MoE 专家权重驻留系统内存、把注意力与共享专家放在 GPU 上执行，使单张 4090 搭配大容量内存与高核数至强 CPU 也能跑通 INT4 量化的 R1，生成速度约在每秒数 token 到十余 token 之间。这一方案的关键不在 GPU 强弱，而在内存带宽与 CPU 计算能力的配比，四通道或八通道 DDR5、足够的 NUMA 优化，直接决定解码阶段的瓶颈位置。
调优还需关注精度损失与业务容忍度的平衡。INT4 在通用问答中表现稳定，但在数学推理、代码生成等任务上可能出现明显退化，实践中常用 INT8 与 INT4 混合、关键层保留高精度等策略。投机解码、前缀缓存、连续批处理等手段能进一步压低首 token 延迟，但它们对显存和框架版本有额外要求，需要在部署前用小流量压测验证，而非直接套用官方基准数据。
4. 内存、存储与网络的外围匹配
系统内存容量在混合推理方案中是硬约束。671B INT4 权重约 350GB，若采用 CPU-GPU 混合卸载，主机内存需 512GB 起步并预留操作系统与页缓存空间，否则会触发频繁换页导致速度断崖式下跌。即便是纯 GPU 部署，模型加载阶段也常在内存中完成权重转换与格式重排，128GB 是 70B 级别模型的稳妥起点，容量不足会让加载过程反复失败。
存储侧的重点是模型文件读取与并发加载。单个 671B INT4 权重文件动辄数百 GB，SATA 固态的读取速度会让冷启动耗时拉长到不可接受，NVMe 固态在此场景基本是必需品，多模型热切换的部署还应考虑容量与耐久度。若服务需要保留对话日志、向量索引或微调数据，读写分离与独立数据盘能避免 I/O 争抢影响推理延迟。
网络配置取决于部署形态。单机多卡依赖卡间互联与 PCIe 拓扑，多机分布式推理则需要 25GbE 起步的节点间带宽，张量并行对延迟敏感，RDMA 与 IB 网络在规模化场景中才有意义。对外提供服务时，网关层的并发连接数、TLS 卸载与限流策略同样影响端到端体验，硬件预算中应为这些环节留出位置，而不是把全部资源压在加速卡上。
