您現(xiàn)在的位置:海峽網(wǎng)>新聞中心>IT科技>科技前沿
分享

DeepSeek“開源周”第二日,DeepSeek宣布開源DeepEP,第一個(gè)用于MoE模型訓(xùn)練和推理的開源EP通信庫(kù)。

昨天,DeepSeek則開源了代碼庫(kù)Flash MLA,這是針對(duì)Hopper GPU優(yōu)化的高效MLA解碼內(nèi)核,針對(duì)可變長(zhǎng)度序列作了優(yōu)化。

MoE(混合專家架構(gòu))和MLA(多頭潛在注意力機(jī)制)被認(rèn)為是DeepSeek以低成本實(shí)現(xiàn)杰出表現(xiàn)的核心原因。

簡(jiǎn)單理解,MoE架構(gòu)是由多個(gè)專注于垂直技能的專家模型分工協(xié)作來實(shí)現(xiàn)最終輸出結(jié)果,訓(xùn)練成本和推理成本更低。有消息稱,GPT-4就使用了MoE架構(gòu),由8個(gè)220B模型組成。但MoE架構(gòu)的缺點(diǎn)之一是會(huì)增加通信成本。

DeepEP通信庫(kù)就是針對(duì)通信環(huán)節(jié)的優(yōu)化,其特點(diǎn)包括:高效、優(yōu)化的全員溝通;節(jié)點(diǎn)內(nèi)和節(jié)點(diǎn)間均支持 NVLink 和 RDMA;用于訓(xùn)練和推理預(yù)填充的高吞吐量?jī)?nèi)核;用于推理解碼的低延遲內(nèi)核;原生 FP8 調(diào)度支持;靈活的 GPU 資源控制,實(shí)現(xiàn)計(jì)算-通信重疊。

MLA則是讓模型預(yù)測(cè)更遠(yuǎn)位置的token,從而增強(qiáng)語(yǔ)義理解能力。DeepSeek的Flash MLA專為英偉達(dá)Hopper GPU打造了高效MLA解碼內(nèi)核,特別針對(duì)變長(zhǎng)序列進(jìn)行了優(yōu)化。

責(zé)任編輯:黃學(xué)焚

       特別聲明:本網(wǎng)登載內(nèi)容出于更直觀傳遞信息之目的。該內(nèi)容版權(quán)歸原作者所有,并不代表本網(wǎng)贊同其觀點(diǎn)和對(duì)其真實(shí)性負(fù)責(zé)。如該內(nèi)容涉及任何第三方合法權(quán)利,請(qǐng)及時(shí)與ts@hxnews.com聯(lián)系或者請(qǐng)點(diǎn)擊右側(cè)投訴按鈕,我們會(huì)及時(shí)反饋并處理完畢。

最新科技前沿 頻道推薦
進(jìn)入新聞?lì)l道新聞推薦
2025年福州市體育中考方案公布!
進(jìn)入圖片頻道最新圖文
進(jìn)入視頻頻道最新視頻
一周熱點(diǎn)新聞
下載海湃客戶端
關(guān)注海峽網(wǎng)微信
?

職業(yè)道德監(jiān)督、違法和不良信息舉報(bào)電話:0591-87095414 舉報(bào)郵箱:service@hxnews.com

本站游戲頻道作品版權(quán)歸作者所有,如果侵犯了您的版權(quán),請(qǐng)聯(lián)系我們,本站將在3個(gè)工作日內(nèi)刪除。

溫馨提示:抵制不良游戲,拒絕盜版游戲,注意自我保護(hù),謹(jǐn)防受騙上當(dāng),適度游戲益腦,沉迷游戲傷身,合理安排時(shí)間,享受健康生活。

CopyRight ?2016 海峽網(wǎng)(福建日?qǐng)?bào)主管主辦) 版權(quán)所有 閩ICP備15008128號(hào)-2 閩互聯(lián)網(wǎng)新聞信息服務(wù)備案編號(hào):20070802號(hào)

福建日?qǐng)?bào)報(bào)業(yè)集團(tuán)擁有海峽都市報(bào)(海峽網(wǎng))采編人員所創(chuàng)作作品之版權(quán),未經(jīng)報(bào)業(yè)集團(tuán)書面授權(quán),不得轉(zhuǎn)載、摘編或以其他方式使用和傳播。

版權(quán)說明| 海峽網(wǎng)全媒體廣告價(jià)| 聯(lián)系我們| 法律顧問| 舉報(bào)投訴| 海峽網(wǎng)跟帖評(píng)論自律管理承諾書

友情鏈接:新聞?lì)l道?| 福建頻道?| 新聞聚合