微軟擁抱中國AI新貴!Copilot+PC本地運(yùn)行DeepSeek
3月4日消息,微軟微軟今天宣布,擁抱通過Azure AI Foundry接入DeepSeek的中國R1 7B和14B蒸餾模型,Copilot+ PC可實(shí)現(xiàn)本地運(yùn)行這些模型。新貴行
其實(shí)早在今年1月,地運(yùn)微軟就宣布要把DeepSeek-R1模型的微軟NPU優(yōu)化版本帶到搭載高通驍龍X處理器的Copilot+ PC上。
微軟表示,擁抱這些模型將首先在搭載高通驍龍X處理器的中國設(shè)備上上線,隨后擴(kuò)展到英特爾酷睿Ultra 200V和AMD銳龍?zhí)幚砥鞯男沦F行設(shè)備。
這些模型運(yùn)行在NPU上,地運(yùn)可以在減少對PC電池續(xù)航和散熱性能影響的微軟同時,持續(xù)獲得AI計(jì)算能力,擁抱同時CPU和GPU可以執(zhí)行其他任務(wù),中國提高設(shè)備的新貴行整體效率。
微軟還強(qiáng)調(diào),地運(yùn)他們使用了內(nèi)部自動量化工具Aqua,將所有DeepSeek模型變體量化為int4權(quán)重。
不過目前模型的速度仍然較低,14B模型僅為8 tok/sec,而1.5B模型接近40 tok/sec,微軟表示正在進(jìn)一步優(yōu)化以提高速度。
開發(fā)者可以通過下載AI Toolkit VS Code擴(kuò)展,在Copilot+ PC上運(yùn)行DeepSeek模型的全部蒸餾版本(1.5B、7B和14B)。