前言上周，團隊準(zhǔn)備用??DeepSeek32B??模型做微調(diào)，結(jié)果第一次訓(xùn)練就遇到了顯存爆炸。各種OOM錯誤讓人抓狂。經(jīng)過摸索和實踐，終于摸清了LLaMAFactory參數(shù)配置的門道。今天把這些經(jīng)驗分享出來，希望能幫大家避開我踩過的坑。LLaMAFactory參數(shù)體系全景LLaMAFactory有400+個配置參數(shù)，看起來很復(fù)雜，但其實可以分為三個層次：核心層（必須配置）：決定能否跑起來優(yōu)化層（影響性能）：決定跑得好不好高級層（錦上添花）：決定跑...

隨著大模型應(yīng)用的普及，越來越多的企業(yè)開始關(guān)注私有化部署。今天我們聊聊如何在??海光DCUK100AI??計算卡上部署Xinference推理框架，構(gòu)建一套完整的私有AI推理服務(wù)。為什么選擇Xinference？Xinference是一個功能強大的開源推理平臺，可以理解為"本地版的OpenAIAPI"。它的優(yōu)勢在于：統(tǒng)一接口：無論是大語言模型、多模態(tài)模型還是嵌入模型，都提供統(tǒng)一的調(diào)用方式。硬件兼容性強：支持CPU、NVIDIAGPU、海光DCU等多種硬件平臺。自...

隨著Claude4、DeepSeekV3等大語言模型的爆發(fā)式發(fā)展，模型參數(shù)規(guī)模已經(jīng)達(dá)到千億甚至萬億級別。這些"巨無霸"模型雖然性能強大，但也帶來了巨大的計算和存儲挑戰(zhàn)。一個70B參數(shù)的模型，僅權(quán)重就需要約140GB的顯存，這讓大多數(shù)企業(yè)和個人用戶望而卻步。量化技術(shù)的出現(xiàn)，為解決這一難題提供了有效路徑。通過將模型權(quán)重從32位浮點數(shù)壓縮到4位或8位整數(shù)，可以大幅降低存儲需求和計算成本，同時盡可能保持模型性能。什么是模型量化？模型...

一、前言隨著大語言模型（LLM）的飛速發(fā)展，如何在特定領(lǐng)域或任務(wù)上對預(yù)訓(xùn)練模型進(jìn)行高效微調(diào)，已成為業(yè)界關(guān)注的焦點。LLaMAFactory作為一個功能強大且易于上手的LLM微調(diào)框架，受到了廣泛關(guān)注。本文將聚焦于在國產(chǎn)DCU平臺上，利用LLaMAFactory對Llama3模型進(jìn)行LoRA微調(diào)的實踐過程，并分享其中的關(guān)鍵步驟與經(jīng)驗。??海光DCU實戰(zhàn)項目來了！助您輕松駕馭大模型與HPC開發(fā)??為幫助開發(fā)者更便捷在海光DCU上進(jìn)行大模型（訓(xùn)練、微調(diào)、推...

從梁寧的《真需求》一書中，我提煉出對AI大模型創(chuàng)業(yè)者特別有價值的洞見。本文將結(jié)合AI領(lǐng)域特點，探討價值創(chuàng)造、共識構(gòu)建和產(chǎn)品打磨的核心原則。一、從價值本質(zhì)看AI大模型創(chuàng)業(yè)"商業(yè)價值無法自己一廂情愿地說有就有，它是由交易的對手盤一買方，來決定的。因此，進(jìn)入商業(yè)世界的第一個訓(xùn)練，就是要擺脫自己的主觀感受和主觀愿望，站到買方那一側(cè)來審視自己手上的東西。"在AI大模型創(chuàng)業(yè)中，這一點尤為關(guān)鍵。技術(shù)人員容易陷入"技術(shù)決...

還在反復(fù)輸入同樣的AI提示詞嗎？還在為找不到之前用過的高質(zhì)量Prompt而煩惱嗎？如果你是AI大模型的重度用戶，那么今天介紹的這款瀏覽器插件絕對能讓你愛不釋手。QuickPrompt，一款專為提示詞管理設(shè)計的效率工具，它能讓你的AI對話效率提升10倍不止。一鍵喚出，告別復(fù)制粘貼在ChatGPT、Claude或文心一言等任何輸入框中，只需輸入??p??，立即喚出你的提示詞庫，從中選擇需要的提示詞一鍵插入。解放雙手，無需在各種筆記軟件間...

本文將帶您了解大模型上下文協(xié)議(ModelContextProtocol,MCP)，并通過一個獲取實時天氣信息的實戰(zhàn)項目，手把手教您如何實現(xiàn)AI模型與外部工具的無縫交互。什么是ModelContextProtocol(MCP)ModelContextProtocol(MCP)是一種開放協(xié)議，專為大語言模型（如Claude、ChatGPT等）設(shè)計，允許這些模型與外部系統(tǒng)安全地交互。簡單來說，MCP提供了一種標(biāo)準(zhǔn)化的方式，讓AI模型能夠：?調(diào)用外部工具和API?訪問實時數(shù)據(jù)和信息?獲取環(huán)境上下文...

你是否曾被大語言模型（LLM）的“一本正經(jīng)地胡說八道”（幻覺）所困擾？你是否希望LLM能夠基于你自己的專業(yè)文檔給出可靠且有據(jù)可查的答案？那么，RAGFlow就是你一直在尋找的答案！RAGFlow是一款開源的RAG（RetrievalAugmentedGeneration，檢索增強生成）引擎，它的核心使命是幫助你利用深度文檔理解技術(shù)，構(gòu)建出高質(zhì)量、高可靠性的智能知識庫。無論你是大型企業(yè)還是個人開發(fā)者，RAGFlow都能為你提供一套精簡而強大的RAG工作流程...

隨著人工智能技術(shù)的飛速發(fā)展，我們正從單一模型系統(tǒng)邁向由多個智能體組成的復(fù)雜生態(tài)。這些智能體能夠推理、委派任務(wù)和相互協(xié)作，共同解決復(fù)雜問題。為了實現(xiàn)高效的協(xié)同工作，一套標(biāo)準(zhǔn)的通信協(xié)議顯得至關(guān)重要。早期，Anthropic推出了模型上下文協(xié)議(ModelContextProtocol,MCP)，而最近Google則發(fā)布了AgenttoAgent(A2A)協(xié)議。這兩種協(xié)議代表了行業(yè)內(nèi)對智能體通信的不同思考和實現(xiàn)路徑，預(yù)示著AI領(lǐng)域一場潛在的“智能體協(xié)議之戰(zhàn)”...

當(dāng)大模型以"大力出奇跡"的方式驚艷世界，一位AI先驅(qū)早在2019年就預(yù)言了這一切。強化學(xué)習(xí)之父RichSutton的《苦澀的教訓(xùn)》[1]，揭示人工智能進(jìn)化史上最反直覺的真相...一、核心啟示：算力碾壓的"苦澀真理"[核心觀點樹狀圖]└─苦澀的教訓(xùn)├─歷史驗證：70年AI發(fā)展規(guī)律├─核心矛盾│├─短期優(yōu)化：人類知識注入│└─長期勝利：算力暴力破解└─雙引擎驅(qū)動├─搜索算法└─機器學(xué)習(xí)2019年，當(dāng)AI界還在爭論神經(jīng)網(wǎng)絡(luò)的前景時，RichS...

RAG標(biāo)準(zhǔn)化流程階段步驟技術(shù)方法索引構(gòu)建（Indexing）文檔分割采用滑動窗口（SlidingWindow）或語義分割算法（如SentenceBERT）進(jìn)行文本切分，確保每個文本塊（Chunk）具有連貫的語義，同時避免信息缺失；結(jié)合層次分割（HierarchicalChunking）優(yōu)化不同粒度的索引結(jié)構(gòu)，提高檢索匹配度向量編碼使用高效嵌入模型（如OpenAI??textembedding3small??、BGE、E5Large）將文本塊轉(zhuǎn)換為高維向量，確保向量表示具有足夠的語義區(qū)分度...

從通用大模型到企業(yè)AI應(yīng)用落地，需要跨越三道鴻溝——“到一個好用的應(yīng)用”“到N個好用的應(yīng)用”以及“到組織、流程、戰(zhàn)略”，同時警惕九大常見陷阱，方能最大化AI在企業(yè)中的價值。第一層鴻溝：到一個好用的應(yīng)用當(dāng)企業(yè)初次嘗試將通用大模型應(yīng)用于業(yè)務(wù)時，往往會遇到“業(yè)務(wù)快于團隊陷阱”與“明星項目陷阱”等挑戰(zhàn)。?“業(yè)務(wù)快于團隊陷阱”：意味著業(yè)務(wù)部門急于上線AI項目，卻忽視了技術(shù)與人才儲備的重要性。一旦缺乏足夠的技術(shù)支...

算力成本，大模型時代的“生死線”近日，國產(chǎn)大模型廠商DeepSeek罕見披露了其推理系統(tǒng)DeepSeekV3R1的核心架構(gòu)與成本細(xì)節(jié)：單日GPU租賃成本超8.7萬美元，理論利潤率卻高達(dá)545%。這一數(shù)據(jù)讓行業(yè)再次聚焦大模型的核心命題——當(dāng)云廠商提供“水電煤”般的算力時，自建集群是否還有必要？一、DeepSeek的“吞吐量革命”：專家并行如何顛覆效率？DiagramofDeepSeek'sOnlineInferenceSystemDeepSeekV3R1的核心目標(biāo)直指大模型推理的痛點...

??效率黨的福音：這些工具讓AI隨叫隨到1??Chatbox&ChatGPTNextWeb??一句話概括：跨平臺桌面版ChatGPT，支持DeepSeek！無論是Windows、Mac還是Linux，打開即用，界面清爽，對話、翻譯、寫代碼全搞定?。ㄍ低嫡f：還能自定義API，一鍵切換不同大模型哦～）2??劃詞翻譯&歐路翻譯??劃哪譯哪，雙語對照！看英文文檔頭疼？選中文字秒出翻譯，支持DeepSeek、GPT、谷歌等引擎，論文黨、程序員狂喜?。ù钆涑两綄?dǎo)讀，還能一鍵生成網(wǎng)...

網(wǎng)傳假消息:現(xiàn)在ai.com跳轉(zhuǎn)到Deepseek，而不是ChatGPT了。該域名自ChatGPT推出后一開始先被OpenAI買下跳轉(zhuǎn)到ChatGPT，后被xAI買下跳轉(zhuǎn)到xAI，然后又被OpenAI買下跳轉(zhuǎn)到ChatGPT?，F(xiàn)在被Deepseek買下跳轉(zhuǎn)到Deepseek了。實際上:OpenAI、xAI、Deepseek壓根沒人承認(rèn)購買過這域名.天天改跳轉(zhuǎn)地址左右橫跳，擱這兒釣凱子域名ai.com的注冊信息AI.com：頻繁跳轉(zhuǎn)的幕后邏輯最初，坊間傳言O(shè)penAI斥巨資收購AI.com以導(dǎo)流至ChatGPT.com，然而...

截至2025年1月，ChatGPT仍然可能會一本正經(jīng)地提供不準(zhǔn)確或虛構(gòu)的信息。例如，如果你向ChatGPT詢問“林黛玉倒拔垂楊柳”和“林黛玉三打白骨精”，他會編造看似合理但實際上并不存在的解釋，將《紅樓夢》中的林黛玉與《水滸傳》中的“倒拔垂楊柳”以及《西游記》中的“三打白骨精”錯誤地關(guān)聯(lián)在一起。這種現(xiàn)象被稱為“幻覺（Hallucination）”，即AI生成的內(nèi)容雖然聽起來可信，但實際上并不符合事實或現(xiàn)實。ChatGPT講述林黛玉倒拔...

在近日的Nvidia發(fā)布會上，CEO黃仁勛展示了一張令人印象深刻的指數(shù)型曲線，勾勒出人工智能（AI）技術(shù)的發(fā)展路徑。這張圖不僅體現(xiàn)了AI技術(shù)的過去、現(xiàn)在與未來，還為AI的應(yīng)用場景和發(fā)展階段提供了清晰的愿景。本文將結(jié)合這張圖表，解析AI技術(shù)的四個發(fā)展階段：感知智能（PerceptionAI）、生成式AI（GenerativeAI）、代理智能（AgenticAI）和物理智能（PhysicalAI）。1.感知智能：AI的起點感知智能是AI發(fā)展的第一階段，位于曲線的起...

隨著2024年漸行漸遠(yuǎn)，我們迎來了一個充滿AI創(chuàng)新與突破的年度回顧。從大型語言模型的進(jìn)一步發(fā)展，到計算機視覺、AI安全等領(lǐng)域的革命性進(jìn)展，研究社區(qū)在過去一年里確實做出了許多令人震撼的貢獻(xiàn)。面對如此多的科研成果，哪些研究真正讓我們停下來思考？哪些論文啟發(fā)了我們，激發(fā)了“我如何將這些成果應(yīng)用到自己的工作中？”的好奇心？在這篇文章中，我將分享我個人最喜歡的2024年AI研究論文，這些研究不僅令我興奮，也讓我迫不及...

本周，OpenAI發(fā)布了《學(xué)生使用ChatGPT寫作指南》博文。內(nèi)文中針對生成式AI在教育領(lǐng)域的批評，回應(yīng)稱ChatGPT只是一款A(yù)I工具，學(xué)生合理使用ChatGPT工具，可以深入理解復(fù)雜概念，但錯誤的使用方式可能會適得其反，剝奪學(xué)生練習(xí)和提高技能的機會。同時其表示，ChatGPT可以作為教育工具，幫助學(xué)生提升嚴(yán)謹(jǐn)思維和清晰寫作的能力。OpenAI也提到，也有一些使用ChatGPT的方法會對學(xué)習(xí)產(chǎn)生反作用，比如生成一篇作文而不是自己寫作，這就剝...

??期待已久的重磅產(chǎn)品終于來了！OpenAI的Sora正式開放，帶著革命性的AI視頻生成技術(shù)，突破性地從文本生成高質(zhì)量視頻。無論你是ChatGPTPlus還是Pro會員，現(xiàn)在都能在Sora官網(wǎng)（sora.com）體驗這項神奇的技術(shù)，直接把腦海中的創(chuàng)意變成生動的視頻！??Sora的黑科技亮點1.文本變視頻，極致創(chuàng)意呈現(xiàn)無需專業(yè)設(shè)備，Sora讓你通過簡單的文字描述生成1080p、最多20秒的視頻，支持橫屏、豎屏、正方形等多種尺寸，讓視頻內(nèi)容呈現(xiàn)更加靈活！2....