企业官网建设流程全解析

注意：DeepSeek-V4-Pro-DSpark并非新模型，而是在原有检查点基础上增加了推测解码模块的相同模型。最小推理示例可在inference文件夹中查看。详情请参考：https://github.com/deepseek-ai/DeepSpec

简介

我们推出DeepSeek-V4系列的预览版本，包含两款强大的混合专家（MoE）语言模型——DeepSeek-V4-Pro（1.6万亿参数，激活490亿参数）和DeepSeek-V4-Flash（2840亿参数，激活130亿参数），两者均支持百万级上下文长度。

DeepSeek-V4系列在架构和优化方面进行了多项关键升级：

1. 混合注意力架构：设计了结合压缩稀疏注意力（CSA）和高度压缩注意力（HCA）的混合机制，极大提升了长上下文效率。在百万token上下文场景下，DeepSeek-V4-Pro的单token推理FLOPs仅需DeepSeek-V3.2的27%，KV缓存仅需10%。
2. 流形约束超连接（mHC）：通过mHC增强传统残差连接，在保持模型表达力的同时提升跨层信号传播的稳定性。
3. μ子优化器：采用μ子优化器实现更快收敛和更高训练稳定性。

两款模型均在超过32万亿多样化高质量token上进行预训练，并经过完整的训练后流程。后训练采用两阶段范式：先通过SFT和GRPO强化学习独立培养领域专家，再通过策略蒸馏统一整合，将跨领域能力融合至单一模型。

DeepSeek-V4-Pro-Max作为DeepSeek-V4-Pro的最大推理效能模式，显著提升了开源模型的知识能力，稳居当前最佳开源模型地位。其在编程基准测试中表现顶尖，并在推理和智能体任务上大幅缩小与闭源领先模型的差距。而DeepSeek-V4-Flash-Max在增加思考预算时可达到接近Pro版的推理性能，但由于参数规模较小，在纯知识任务和最复杂智能体工作流上略逊一筹。

模型下载

*FP4+FP8混合精度：MoE专家参数采用FP4精度，其他大部分参数采用FP8精度。

评估结果

基础模型

指导模型

DeepSeek-V4-Pro 和 DeepSeek-V4-Flash 均支持三种推理模式：

DeepSeek-V4-Pro-Max 与前沿模型对比

模式间对比

对话模板

本次发布未提供 Jinja 格式的对话模板，而是提供了一个专用的encoding文件夹，其中包含 Python 脚本和测试用例，演示如何将 OpenAI 兼容格式的消息编码为模型的输入字符串，以及如何解析模型的文本输出。完整文档请参考encoding文件夹。

简要示例：

fromencoding_dsv4importencode_messages,parse_message_from_completion_text messages=[{"role":"user","content":"hello"},{"role":"assistant","content":"Hello! I am DeepSeek.","reasoning_content":"thinking..."},{"role":"user","content":"1+1=?"}]# messages -> stringprompt=encode_messages(messages,thinking_mode="thinking")# string -> tokensimporttransformers tokenizer=transformers.AutoTokenizer.from_pretrained("deepseek-ai/DeepSeek-V4-Pro")tokens=tokenizer.encode(prompt)

本地运行指南

请参阅 inference 文件夹获取在本地运行DeepSeek-V4的详细说明，包括模型权重转换和交互式聊天演示。

对于本地部署，我们建议将采样参数设置为temperature = 1.0, top_p = 1.0。对于Think Max推理模式，我们建议将上下文窗口设置为至少384Ktokens。

许可证

本代码库及模型权重采用 MIT许可证 授权。

联系我们

如有任何疑问，请提交问题或通过service@deepseek.com与我们联系。