百万上下文下的 DeepSeek V4：SGLang 推理优化实战｜AICon深圳

摘要

在AICon深圳大会上，技术团队分享了如何利用SGLang推理框架对DeepSeek V4进行优化，使其能够高效处理百万级别的上下文长度。这一突破意味着大模型可以一次性消化海量信息，比如整本书或长对话记录，而不需要分块处理。对于需要长文档分析、复杂推理或记忆密集型应用的用户来说，这将大幅提升性能和体验，同时也展示了开源推理工具在应对超长序列时的潜力。