陶哲軒DeepMind夢幻聯(lián)動，最強通用科學Agent來了！一口氣解決芯片設計、矩陣乘法和300年幾何難題
Nature：「令人驚嘆」的通用科學人工智能來了！
谷歌DeepMind再次甩出一顆重磅炸彈：與陶哲軒等一眾頂尖科學家一起共同打造AlphaEvolve。
它可以設計出更快的矩陣乘法算法，可以改進芯片設計、提高數(shù)據(jù)中心、AI訓練的效率，已經(jīng)在谷歌內(nèi)部用上了。
它將Gemini架構中大型矩陣乘法運算加速了23%，從而將Gemini的訓練時間縮短了1%，谷歌程序員狂喜（bushi）。此外還將FlashAttention提速了32.5%。
幾百年前未曾解決過的數(shù)學問題，也都能因為它前進一大步。
比如一個經(jīng)典的300年前的幾何挑戰(zhàn)接吻數(shù)（Kissing Number）問題。它關注的是，給定空間內(nèi)球面相切的不重疊球體的最大數(shù)量。
一維空間和二維空間是這樣的。
AlphaEvolve發(fā)現(xiàn)了一個由593個外球體組成的結構，直接刷新了11維空間中的下限。
wiki百科上已經(jīng)更新了記錄。
而它的潛力還在釋放當中，陶哲軒表示這個工作還在進行，接下來希望會匯報更多進展。搓搓手期待了~
目前它推出了早期邀測試用，在官網(wǎng)填寫表格，就有機會使用哦~不僅限學術圈的朋友。
AlphaEvolve：谷歌數(shù)據(jù)中心/芯片設計已經(jīng)用上
AlphaEvolve是啥？按照官方介紹，這是個LLM驅(qū)動的進化編碼Agent，用于通用算法的發(fā)現(xiàn)與優(yōu)化。
它包括三個部分：
- 大模型：綜合有關問題的信息以及以前解決問題的嘗試，并提出新版本的算法；
- 自動評估器：驗證、運行和評分所提出的算法。
- 進化框架：迭代改進所發(fā)現(xiàn)的最佳算法，并重新組合不同解決方案的想法，以找到更好的算法。
值得一提的是，這里的大模型是一系列大模型。
比如主打速度和效率Gemini Flash能夠最大限度地拓展探索的思路廣度；而性能更強的Gemini Pro則能夠提供深刻的深度和富有洞察力的建議。這些模型共同構建了以代碼形式實現(xiàn)算法解決方案的算法。
過去一段時間，AlphaEvolve提升了谷歌數(shù)據(jù)中心、芯片設計和AI訓練流程的效率，包括訓練AlphaEvolve本身所依賴的大模型本身。它還幫助設計了更快的矩陣乘法算法，并找到了解決開放性數(shù)學問題的新方法，展現(xiàn)出在眾多領域應用的巨大潛力。
具體來看。
優(yōu)化計算生態(tài)系統(tǒng)。
過去一年，他們將AlphaEvolve發(fā)現(xiàn)的算法部署到了谷歌整個計算生態(tài)系統(tǒng)中，包括數(shù)據(jù)中心、硬件和軟件。
改善數(shù)據(jù)中心調(diào)度。
AlphaEvolve發(fā)現(xiàn)了一種簡單且有效方法，可以幫助Borg更高效地協(xié)調(diào)谷歌龐大的數(shù)據(jù)中心。
（Borg是一種集群管理器，它運行著來自數(shù)千個不同應用程序的數(shù)十萬個作業(yè)，這些作業(yè)分布在多個集群中，每個集群最多包含數(shù)萬臺機器。）
該解決方案已投入生產(chǎn)超過一年，平均持續(xù)恢復谷歌全球0.7%的計算資源。這種持續(xù)的效率提升意味著，在任何特定時刻，相同的計算資源占用空間可以完成更多任務。
除此之外，它還帶來了一些操作上面的優(yōu)化：可解釋性、可調(diào)試性、可預測性和易于部署性。
協(xié)調(diào)硬件設計。
AlphaEvolve提出了一個Verilog重寫方案，刪除了矩陣乘法關鍵算術電路中高度優(yōu)化的、不必要的位。
至關重要的是，該方案必須通過穩(wěn)健的驗證方法，以確認修改后的電路保持功能正確性。該方案已被集成到即將推出的TPU中。
增強AI訓練和推理。
除此之外，AlphaEvolve還加速了Gemini的性能和速度。
通過找到將大型矩陣乘法運算劃分為更易于管理的子問題的更智能方法，AlphaEvolve將Gemini架構中的這一重要內(nèi)核加速了23%，從而將Gemini的訓練時間縮短了1%。
除了性能提升，AlphaEvolve還大大減少了內(nèi)核優(yōu)化所需的工程時間，從專家數(shù)周的努力縮短到自動實驗的數(shù)天，使研究人員能夠更快地進行創(chuàng)新。
AlphaEvolve還能優(yōu)化低級GPU指令。AlphaEvolve對基于Transformer的FlashAttention內(nèi)核實現(xiàn)了高達32.5%的提速。這種優(yōu)化可以幫助專家找出性能瓶頸，并輕松地將改進措施納入代碼庫，從而提高他們的工作效率，并在未來節(jié)省計算和能源。
推進數(shù)學和算法發(fā)現(xiàn)的前沿。
基于計算機程序的極簡代碼框架，它設計了一種基于梯度的新型優(yōu)化程序的諸多組件，發(fā)現(xiàn)了矩陣乘法的多種新算法。
比如，它發(fā)現(xiàn)了一種使用48次標量乘法來對4x4復值矩陣進行乘法運算的算法，改進了Strassen于1969年提出的算法，該算法此前被認為是此類算法中的最佳算法。
與之前的AlphaTensor相比，后者專注于矩陣乘法算法，對于4x4矩陣，僅發(fā)現(xiàn)了二進制運算的改進。
他們還將該系統(tǒng)應用于數(shù)學分析、幾何學、組合學和數(shù)論領域的50多個未解決的問題。
在大約75%的案例中，它能夠重新發(fā)現(xiàn)最先進的解決方案。在20%的案例中，它改進了之前已知的最佳解決方案。
陶哲軒與DeepMind合作
2023年，他們的FunSearch首次證明大型語言模型可以生成用計算機代碼編寫的函數(shù)，如今在這基礎之上，已經(jīng)展現(xiàn)出解決通用算法/數(shù)學問題的潛力。
從團隊上看也新增了不少合作者，谷歌之前的頂尖科學家，比如就有陶哲軒。
他們還與People+AI團隊一起建立了個用戶友好的交互界面。
雖然AlphaEvolve目前正被應用于數(shù)學和計算機領域，但其通用性意味著它可以應用于任何問題，其解決方案可以被描述為算法并自動驗證。
但他們相信，AlphaEvolve可以在材料科學、藥物發(fā)現(xiàn)、可持續(xù)發(fā)展以及更廣泛的技術和商業(yè)應用等更多領域帶來變革。
