公司新闻
寒武纪已适配 DeepSeek-V3.2-Exp,同步开源推理引擎 vLLM-MLU
【导语】9月30日,DeepSeek发布实验性版本DeepSeek-V3.2-Exp模型,寒武纪迅速宣布完成适配并开源相关引擎代码,凭借生态积累与技术优势实现新模型架构的(de)快(kuài)速(sù)适(shì)配与极致性能优化,携手为客户打造高竞争力软硬件方案。
9 月 30 日消息,DeepSeek 正式发布了 DeepSeek-V3.2-Exp 模型,这是一个实验性(Experimental)的版本。寒武纪也宣布,已同步实现对深度求索公司最新模型 DeepSeek-V3.2-Exp 的适配(pèi),并(bìng)开(kāi)源(yuán)大(dà)模型推理引擎 vLLM-MLU 源代码。
寒武纪称,一直高度重视大模型软件生态建设,支持以 DeepSeek 为代表的所有主流开源大模型。借助于长期活跃的生态建设和技术积累,寒武纪得以快速实现对 DeepSeek-V3.2-Exp 这一全新实验性模型架构的 day 0 适配和优化。
针对本次的 DeepSeek-V3.2-Exp 新模型架构,寒武纪通过 Triton 算子开发实现了快速适配,利(lì)用(yòng) BangC 融(róng)合(hé)算(suàn)子(zi)开(kāi)发(fā)实(shí)现(xiàn)了(le)极(jí)致(zhì)性(xìng)能(néng)优(yōu)化(huà),并(bìng)基(jī)于(yú)计(jì)算(suàn)与(yǔ)通(tōng)信(xìn)的(de)并(bìng)行(xíng)策(cè)略(è),再(zài)次(cì)达(dá)成(chéng)了(le)业(yè)界(jiè)领(lǐng)先(xiān)的(de)计(jì)算(suàn)效(xiào)率(lǜ)水(shuǐ)平(píng)。依(yī)托(tuō) DeepSeek-V3.2-Exp 带(dài)来(lái)的(de)全新(xīn) DeepSeek Sparse Attention 机(jī)制(zhì),叠(dié)加(jiā)寒(hán)武(wǔ)纪(jì)的(de)极(jí)致(zhì)计(jì)算效率,可大幅降低长序列场景下的训推成本,共同为客户提供极具竞争力的软硬件解决方案。