站長之家(ChinaZ.com) 5月8日 消息:魔搭ModelScope社區宣布,DeepSeek-V2系列模型现已在魔搭ModelScope社區开源。
據悉,幻方公司在5月6日推出了第二代 MoE 模型 DeepSeek-V2,并开源了技术报告和模型权重,该模型引入了 MLA 架构和自研 Sparse 结构 DeepSeekMoE,以236B 总参数、21B 激活,实际部署在8卡 H800机器上,输入吞吐量超过每秒10万 tokens 输出超过每秒5万 tokens。
性能方面,在目前大模型主流榜單中,DeepSeek-V2均表現出色:
中文綜合能力(AlignBench)開源模型中最強,與GPT-4-Turbo,文心4.0等閉源模型在評測中處于同一梯隊
英文綜合能力(MT-Bench)與最強的開源模型LLaMA3-70B同處第一梯隊,超過最強MoE開源模型Mixtral8x22B
知識、數學、推理、編程等榜單結果也位居前列
支持128K上下文窗口
和DeepSeek67B相比,DeepSeek-V2节约了42.5%训练成本,推理的KV Cache节约了93.3%,最大吞吐是之前的576%。
DeepSeek-V2的推理代码和模型下载链接已经在魔搭 ModelScope 社区开源,用户可以通过该平台直接下载模型。
項目地址:
DeepSeek-V2-Chat:
https://modelscope.cn/models/deepseek-ai/DeepSeek-V2-Chat
DeepSeek-V2:
https://modelscope.cn/models/deepseek-ai/DeepSeek-V2
(舉報)