最后一天，DeepSeek開源了全生命周期數(shù)據(jù)訪問引擎FireFlyerFileSystem（3FS），以及基于3FS的數(shù)據(jù)處理框架Smallpond。3FS（螢火蟲文件系統(tǒng)）是一個充分利用現(xiàn)代SSD和RDMA網(wǎng)絡帶寬的并行文件系統(tǒng)，其特點是：在180節(jié)點集群中實現(xiàn)了6.6TiBs的總讀取吞吐量在25節(jié)點集群的GraySort基準測試中達到了3.66TiBmin的吞吐量每個客戶端節(jié)點的KVCache查詢峰值吞吐量超過40+GiBs采用分離式架構，確保了強一致性全面支持V3R1的訓練數(shù)據(jù)預處理...

剛剛，DeepSeek放出了開源第二彈——DeepEP！它擁有高效優(yōu)化的alltoall通信，并具有以下特點：內(nèi)部節(jié)點和節(jié)點間均支持NVLink和RDMA高吞吐量內(nèi)核用于訓練和推理預填充低延遲推理解碼內(nèi)核本地FP8調(diào)度支持可靈活控制的GPU資源，用于計算通信重疊具體來說，DeepEP是一個專為混合專家系統(tǒng)（MoE）和專家并行（EP）設計的通信庫。它提供高吞吐量和低延遲的GPU全互聯(lián)內(nèi)核，也被稱為MoE的「調(diào)度」和「組合」操作。該庫還支持低精度運算，...

Replit「Agent」正以迅猛之勢，推動著編程行業(yè)的深刻變革。Masad于2016年創(chuàng)立了Replit，成立以來一直積極擁抱AI技術，近年來推出了一系列自動化編程產(chǎn)品。回顧Masad近年的言論，會發(fā)現(xiàn)「Agent」的實現(xiàn)速度遠超他之前的預期。他曾斷言「Agent」在2030年之前很難達成。促使這一轉變發(fā)生的關鍵因素，是Anthropic推出的新模型：Claude3.5Sonnet。此前，Replit一直專注于構建自有模型，期望憑借專有數(shù)據(jù)形成獨特優(yōu)勢。然而，Claude3....

Anthropic終于要開始搞點事情啦！近期的「推理模型」熱潮中，Anthropic除了其CEO打了幾個嘴炮外，還沒有掏出一個拿得出手的產(chǎn)品。在這樣下去，可能要退出AI一線模型玩家行列了。Anthropic自己顯然不想看到這種情況發(fā)生。就在剛剛，有消息稱，Anthropic會在未來幾周內(nèi)發(fā)布其全新的「混合AI」模型。Anthropic版「推理模型」，測試時計算完全掌控在OpenAI去年秋季發(fā)布其「推理模型」后，谷歌以及國內(nèi)眾多AI公司紛紛推出了自己的模...

DeepSeek的估值，被曝已達1500億美元，達到了OpenAI的一半？最近，Bloomberg的這個數(shù)據(jù)，引起了軒然大波。圖片所有人都在問：真的假的？圖片此前，外媒福布斯也曾給出一個估值，當時的數(shù)字是10億美元。圖片短短幾天，估值卻已經(jīng)漲到了150倍？外媒曝光，DeepSeek估值或高達1500億Bloomberg是這么說的。根據(jù)七位初創(chuàng)公司創(chuàng)始人和AI專家的說法，DeepSeek的市值大約在10億美元到超過1500億美元不等。根據(jù)彭博億萬富翁指數(shù)（Bloomber...

近年來，隨著文本屬性圖（TAG）在社交媒體、電子商務、推薦系統(tǒng)和學術引用網(wǎng)絡等領域的廣泛應用，研究人員對如何有效地從這些復雜數(shù)據(jù)結構中學習變得越來越感興趣。TAG不僅包含了節(jié)點之間的結構關系，還包含了節(jié)點本身的文本特征，因此如何同時處理這兩種信息成為研究中的一個核心問題。當前，圖神經(jīng)網(wǎng)絡（GNN）在TAG學習中得到了廣泛的應用，然而其訓練過程通常需要大量的人工標注數(shù)據(jù)，這在實際應用中往往難以獲取。大語言模...

全球玩家鏖戰(zhàn)《黑神話·悟空》！已經(jīng)有打通關的玩家了，我不羨慕，因為通關后的空虛寂寞馬上就會找上你們。開啟二周目、三周目的同時，網(wǎng)上已有人用AI讓這個神話永不落幕，打開某書就發(fā)現(xiàn)網(wǎng)友已經(jīng)玩得不亦樂乎。讓我們的超級英雄去大戰(zhàn)西方異形怪物——甚至有人已經(jīng)提前展望《黑神話》系列的下一部了，看出取景地是祖國大好河山的哪里了嗎？更有「慈母」網(wǎng)友讓其愛子直接穿越到《黑神話》里，一躍成精——這些都可以通過AI實現(xiàn)...

曾經(jīng)在AI圖像生成領域無可匹敵的領導者Midjourney，終于聽勸了，上周五推出了網(wǎng)頁版圖像編輯器。新編輯器巧妙集成了重繪、縮放等核心功能。不僅提高了操作效率，而且使整體交互邏輯更加清晰，對于高頻使用Midjourney的用戶來說，絕對欣喜！今天，Midjourney宣布，將升級后的新工具向所有人免費開放試用。不論是產(chǎn)品更新，還是發(fā)放限時免費試用券，Midjourney似乎都傳遞出了一種緊迫感——新興的Flux1強勢崛起，表現(xiàn)異常出色；最...

最近，提升多模態(tài)大模型處理高分辨率圖像的能力越來越引起這個領域的關注。絕大多數(shù)方法致力于通過對圖像進行切分再融合的策略，來提升多模態(tài)大模型對圖像細節(jié)的理解能力。然而，由于對圖像的切分操作，不可避免會對目標、聯(lián)通區(qū)域帶來割裂，導致MLMMs對于微小或形狀不規(guī)則的目標的辨識能力。這個現(xiàn)象在文檔理解任務中，表現(xiàn)極為明顯，由于文字端經(jīng)常被中斷。針對這一挑戰(zhàn)，華中科技大學和華南理工大學最近聯(lián)合發(fā)布一個多模態(tài)大...

??最近Flux的爆火，簡直把所有人的三觀都撼動了。??不懂就問：現(xiàn)在網(wǎng)上的東西，還有什么是真的？Flux震驚全網(wǎng)如今，開源文生圖模型Flux，儼然已經(jīng)在全網(wǎng)掀起了一股風暴。下面這些合影，竟然全是AI生成的？簡直把這位博主震驚到懷疑人生。正面特寫大光圈，臉部打光、肌肉紋理、毛發(fā)，看不出絲毫破綻。注意，即使是背景板人物們，也很自然，挑不出太大毛病。鏡頭遠一點，光線暗一點呢？也很自然。兩個人物在光線明暗處的對比...

訓練一個擴散模型要多少錢？之前最便宜的方法（Wuerstchen）用了28400美元，而像StableDiffusion這樣的模型還要再貴一個數(shù)量級。大模型時代，一般人根本玩不起。想要各種文生小姐姐，還得靠廠商們負重前行為了降低這龐大的開銷，研究者們嘗試了各種方案。比如，原始的擴散模型從噪聲到圖像大約需要1000步，目前已經(jīng)被減少到20步左右，甚至更少。當擴散模型中的基礎模塊逐漸由Unet（CNN）替換為DiT（Transformer）之后，一些根據(jù)...

過去的一周，OpenAI「草莓」項目被炒的熱火朝天，把所有人情緒推向了興奮最高點。在X上，爆料人iruletheworldmo每隔幾小時發(fā)一次帖，次次幾乎與「草莓」相關，甚至暗示這周二就是OpenAI實現(xiàn)第二級AGI的日子。他自稱已獲得內(nèi)部消息，并表示全新的GPT4olarge模型將8月13日正式發(fā)布。OpenAI草莓項目真正露面還不知哪天，不過，勁敵PerplexityAI已展示了具備「草莓」能力的新模型?；蛘哒f，Q已經(jīng)在PerplexityPro上實現(xiàn)了。今早，CEO...

昨天，AndrejKarpathy又發(fā)了長推，不過用了一句很有爭議的話開頭——「RLHF只是勉強的RL」。這條推特可謂「一石激起千層浪」，瞬間點燃了LLM社區(qū)的討論熱情。畢竟RLHF作為剛提出沒幾年的方法，又新穎又有爭議。一邊遭受質(zhì)疑，一邊又在工業(yè)界和學界迅速流行。5G沖浪的LeCun也趕來聲援Karpathy，但他的話很短，只有一句——「RLHF不是真正的RL」。RLHF最早可以追溯到OpenAI安全團隊2017年發(fā)表的論文：論文地址：https:arxiv.orgab...

昨天奧特曼率眾人搞了一波「草莓暗示」的大陣仗，全網(wǎng)都在翹首以盼OpenAI的驚天大動作。結果今天大家等來的，只是一份安全報告而已……??今年5月，GPT4o演示一出，立馬技驚四座??。然而，它卻一鴿再鴿，等得用戶們心都涼了。GPT4o語音功能，為何遲遲不上線？剛剛OpenAI發(fā)布的這份紅隊報告，給我們揭開了謎底——不夠安全。在紅隊測試中，GPT4o的行為怪異，把OpenAI的研究者嚇了一大跳。明明是一男一女在對話，GPTo的男聲說...

7月26日，智譜發(fā)布AI生視頻產(chǎn)品「清影」，30秒將任意文圖生成視頻，并上線在他們的AI助手「智譜清言」上，被譽為是國內(nèi)首個人人可用的Sora。就在發(fā)布6天后，「清影」生成到視頻數(shù)便已突破了百萬量級。今天，智譜AI宣布將與「清影」同源的視頻生成模型——CogVideoX正式開源。團隊表示，希望每一位開發(fā)者、每一家企業(yè)都能自由地開發(fā)屬于自己的視頻生成模型，從而推動整個行業(yè)的快速迭代與創(chuàng)新發(fā)展。打開AI助手「智譜清言」即可體...

號稱OpenAI二代機器人「Figure02」，真的來了！剛剛，F(xiàn)igureAI終于官宣了第二代人形機器人，完全換了一身新形象——黑色的外觀，更加靈活的五指。創(chuàng)始人BrettAdcock表示，「這是『地表最強』的人形機器人」！值得一提的是，F(xiàn)igure02的設計評審耗時18個月完成。據(jù)介紹，迭代后的Figure手部具有16個自由度，能夠承受與人類相當?shù)牧α俊，F(xiàn)在的它，已經(jīng)進入寶馬車廠開始打工了，可以無休止地狂干20個小時。Figure02還可以與人類直接...

大語言模型都卷起來了，模型越做越大，token越來越多，輸出越來越長。那么問題來了，如何有效地評估大語言模型的長篇大論呢？要是輸出長度長了但胡言亂語輸出質(zhì)量差，又臭又長，豈不是白搭首先能想到的方法就是人工評估。人工評估雖然對于評價模型性能至關重要，但受到主觀性、評估者之間的差異性以及廣泛評估的高成本的限制?？紤]到這些因素，谷歌DeepMind研究團隊提出了自動評估解決方案FLAMe。論文地址：https:arxiv.orgabs2...

Midjourney幾個月前畫的餅終于端上來了！他們今天剛剛發(fā)布了最新版本v6.1！此次更新總結四個大字：細節(jié)狂魔。網(wǎng)友紛紛發(fā)推測試最新版本的Midjourney，攝影級畫面先睹為快！這張圖被取名為《天窗》，構圖、色彩、光影、明暗，各方面都極度舒適，湖面波光粼粼細節(jié)生動，簡直可以直接用來做屏保。繼續(xù)看一幅風景，曙光撥開云層，遠處群山連綿，積雪未消；植被茂密，松樹紋理逼真，一片靜謐祥和。接著看一組靜物，原本需要大量人力...

斯坦福炒蝦機器人作者，又出新作了。這次，機器人不是給我們炒飯了，而是給我們做外科手術！最近，約翰霍普金斯和斯坦福大學的研究者們，進行了一項新的探索——著名的醫(yī)療機器人達芬奇，是否可以通過模仿學習，來學習外科手術的操作任務呢？經(jīng)過實驗后，他們成功了！組織操作、針頭處理和打結這三項基本的手術任務，達芬奇都可以自己獨立完成了。首先是需要醫(yī)學生苦練指法的縫合打結技術，只見達芬奇「飛針走線」，很熟練地就...

大數(shù)字一向吸引眼球。千億參數(shù)、萬卡集群，——還有各大廠商一直在卷的超長上下文。從一開始的幾K幾十K，發(fā)展到了如今的百萬token級別。Gemini的最新版本可以接收200萬個token作為上下文。這大概相當于140萬個單詞、2小時視頻或者22小時的音頻。但不知諸位平時用得著這么長的上下文嗎？畢竟100K已經(jīng)相當于一部比較長的小說了。更重要的是，LLM真的能在這個長度上進行推理嗎？近日，有兩篇獨立研究分別表明：長上下文水分很大！L...