本文作者:访客

DeepSeek公布推理引擎开源路径,推动AI技术发展

访客 2025-05-11 17:15:52 37551
DeepSeek公布推理引擎开源路径,推动AI技术发展摘要: 大家好,我是Ai学习的老章刚刚,DeepSeek 在 GitHub 上新建了open-infra-index仓库,准备开源其内部使用的推理引擎。 根据 README.md 的描述,...

DeepSeek公布推理引擎开源路径,推动AI技术发展

大家好,我是Ai学习的老章

刚刚,DeepSeek 在 GitHub 上新建了open-infra-index仓库,准备开源其内部使用的推理引擎。

DeepSeek公布推理引擎开源路径,推动AI技术发展

根据 README.md 的描述,DeepSeek推理引擎是基于 vLLM 经过大量魔改的版本,专为 DeepSeek 自家模型优化。值得注意的是,DeepSeek 选择了一种更为开放和协作的方式来开源这一技术。

正如 DeepSeek 在其声明中所述:"几周前,在开源周期间,我们开源了几个库。社区的反响非常积极——激发了令人鼓舞的合作、富有成效的讨论和宝贵的错误修复。受此鼓舞,我们决定再迈出一步:将我们的内部推理引擎回馈给开源社区。"

DeepSeek 坦诚地指出了直接开源其完整内部推理引擎面临的三大挑战:

  1. 代码库分歧:他们的引擎"基于一年多前 vLLM 的早期分支。尽管结构相似,但我们已经为 DeepSeek 模型进行了大量定制,使其难以扩展到更广泛的用例。"

  2. 基础设施依赖:引擎"与我们的内部基础设施紧密耦合,包括集群管理工具,如果没有重大修改,这使得公共部署变得不切实际。"

  3. 有限的维护带宽:作为"专注于开发更好模型的小型研究团队,我们缺乏维护大型开源项目的带宽。"

面对这些挑战,DeepSeek 选择了一条更为务实的路径——不是简单地将魔改版本作为独立仓库发布,而是"与现有的开源项目密切合作",通过"提取独立功能"和"分享优化"的方式,将其改进直接贡献回开源社区。

DeepSeek公布推理引擎开源路径,推动AI技术发展

这种开源方式获得了 vLLM 官方的高度认可,vLLM 在转发 DeepSeek 的相关动态时附言:

这种做法体现了真正的开源精神——不是为了彰显自己的技术实力而创建分支,而是通过协作方式让整个社区共同进步。

DeepSeek 在声明的最后部分做出了一个令人振奋的承诺:"我们承诺在新模型发布之前积极同步与推理相关的工程努力,目标是使社区能够从第 0 天起实现最先进(SOTA)的支持。"

正如 DeepSeek 所言,他们的"最终目标是培养一个同步的生态系统,在官方模型发布时,可以在各种硬件平台上无缝实现前沿 AI 能力。

制作不易,如果这篇文章觉得对你有用,可否点个关注。给我个三连击:点赞、转发和在看。若可以再给我加个,谢谢你看我的文章,我们下篇再见!

阅读
分享