DeepSeek 實(shí)現(xiàn)任務(wù)調(diào)度分片算法 , 靈性十足,遠(yuǎn)超預(yù)期 !
這幾天,中國人工智能公司 DeepSeek 火了,不僅在美區(qū)下載榜上超越了 ChatGPT ,還引發(fā)多個(gè)美國科技股的股價(jià)暴跌。
美國總統(tǒng)特朗普稱 DeepSeek 的出現(xiàn)“給美國相關(guān)產(chǎn)業(yè)敲響了警鐘”。
于是,懷著極強(qiáng)的好奇心,我嘗試讓 DeepSeek V3 模型幫我完成任務(wù)調(diào)度系統(tǒng)分片功能,流程見下文。
1 任務(wù)調(diào)度系統(tǒng)
如下圖,任務(wù)調(diào)度系統(tǒng)分為三個(gè)核心組件:
1、網(wǎng)關(guān)層負(fù)責(zé)應(yīng)用的接入,任務(wù)的推送。
2、Admin 層負(fù)責(zé)任務(wù)的管理、任務(wù)的分片、UI 界面等。
3、Worker 層負(fù)責(zé)任務(wù)的調(diào)度,并將任務(wù)觸發(fā)到網(wǎng)關(guān)。
圖片
比如每一個(gè)任務(wù)在創(chuàng)建時(shí),就會(huì)分配一個(gè)槽位,總槽位是 1024 。
圖片
當(dāng) worker 數(shù)目是 4 時(shí),分配的槽位結(jié)果見上圖 。
2 DeepSeek 流程
筆者首先寫了一個(gè)簡單的偽代碼:
圖片
將這段代碼提交到 DeepSeek 之后,令我非常驚訝的是 ,首先 DeepSeek 會(huì)展現(xiàn)他的思考過程,這點(diǎn)筆者在 chatgpt 、通義千問上都沒有看到過。
圖片
接下來, DeepSeek 會(huì)給出詳細(xì)分析和修復(fù)意見,并提供最終的代碼:
圖片
在筆者看到這段輸出時(shí),真的驚艷了我,因?yàn)樗倪壿嬓院蛧?yán)謹(jǐn)性實(shí)在太強(qiáng)了。
為了保證分片的均衡,他還細(xì)心的動(dòng)態(tài)處理余數(shù),通過 remainder 將未整除的余數(shù)分配給前幾個(gè) Worker,確保 Slot 0-1023 被完全覆蓋。
最后,DeepSeek 還寫了一個(gè)簡單的測試用例,哇 ,有點(diǎn)貼心呢。
圖片
3 VS 通義千問
當(dāng)看到 DeepSeek 的生成結(jié)果,我想看看其他大模型的對比,于是,我選擇了最近經(jīng)常使用的通義千問。
圖片
千問給我的答案非常簡單,基于我的偽代碼做了簡單的潤色,生成的結(jié)果有點(diǎn)呆,假如是以前的我,會(huì)覺得也能接受,但當(dāng)我體驗(yàn)完 DeepSeek 之后,我的選擇有了方向。
至少在編程領(lǐng)域,DeepSeek 的推理更具靈性,遠(yuǎn)遠(yuǎn)超過我的預(yù)期。
4 國運(yùn)級(jí)別的科技成果
有了 DeepSeek 的輔助,我的任務(wù)調(diào)度代碼基本開發(fā)完成,節(jié)后就可以和大家見面了。
最后,我們看看黑神話悟空的制作人馮驥對于 DeepSeek 的看法:
DeepSeek ,可能真是個(gè)國運(yùn)級(jí)別的科技成果。
圖片