就在剛剛，亞馬遜推出了號稱最強(qiáng)大的多模態(tài)模型Nova系列。

在多項(xiàng)基準(zhǔn)測試中，最強(qiáng)的Nova Pro成功超越了GPT-4o，僅次于Gemini 1.5 Pro、Claude 3.5 Sonnet。

相較之下，Nova Lite和Nova Micro，就要比同級競品差上不少了。

圖片

不過，它的價(jià)格非常便宜——每百萬token的輸入價(jià)格低至0.0175美元，輸出價(jià)格低至0.07美元。

圖片

性能的提升，讓Amazon Nova可以處理復(fù)雜推理任務(wù)。比如分析復(fù)雜文檔、視頻，理解圖表、示意圖，生成高質(zhì)量的視頻內(nèi)容，還能構(gòu)建高級AI智能體。

這次推出的Amazon Nova全家桶如下：

• Amazon Nova Micro，純文本模型，以極低的成本提供最低的延遲響應(yīng)
• Amazon Nova Lite，成本極低的多模態(tài)模型，處理圖像、視頻和文本輸入的速度快如閃電。
• Amazon Nova Pro，功能強(qiáng)大的多模態(tài)模型，針對各類任務(wù)的準(zhǔn)確性、速度和成本的最佳組合
• Amazon Nova Premier，系列中復(fù)雜推理性能最強(qiáng)的多模態(tài)模型，也是支持蒸餾自定義模型的最佳教師模型
• Amazon Nova Canvas，SOTA圖像生成模型
• Amazon Nova Reel，SOTA視頻生成模型

圖片

簡單的提示「dolly forward」，Amazon Nova Reel就能將單個(gè)圖像輸入轉(zhuǎn)換為簡短視頻

創(chuàng)造力爆棚，視頻理解驚艷

Amazon Nova的創(chuàng)意生成模型，直接讓賣家和廣告商的廣告創(chuàng)意提升到全新的水平。

平均來看，使用這些工具的品牌廣告宣傳的產(chǎn)品數(shù)量直接增加了五倍，每個(gè)宣傳產(chǎn)品使用的圖片數(shù)量增加了一倍，這樣就把預(yù)算省到了更需要的地方。

比如下面這個(gè)Amazon Nova Reel為某個(gè)虛構(gòu)的意面品牌制作的廣告，簡直太驚艷了。

圖片

在一座「意大利面城」中，建筑由高聳的意大利肉卷面條管雕刻而成，街區(qū)點(diǎn)綴著意大利香料景觀，街道兩旁擺滿了美味的馬里納拉醬、螺絲粉面條和嫩肉丸

Amazon Nova Pro的視頻理解能力也是一絕。

研究者要求模型觀看一場足球比賽的無聲視頻片段，然后把比賽內(nèi)容描述一遍。

結(jié)果，模型一口氣準(zhǔn)確說出了賽制、球服、球員行動描述以及比賽如何達(dá)到高潮的詳細(xì)信息！

圖片

視頻描繪了一場在綠地上正在進(jìn)行的足球比賽。兩隊(duì)的球員，一隊(duì)身穿黃色隊(duì)服，另一隊(duì)身穿白色隊(duì)服，正在比賽。黃隊(duì)四分衛(wèi)將球傳給接球手，接球手接住球并開始向前跑動。白隊(duì)的防守隊(duì)員追趕他，試圖阻止他。這場比賽的高潮是一次鏟球，將接球手放倒在場上

多模態(tài)實(shí)現(xiàn)SOTA

接下來，我們詳細(xì)看一下全家桶中幾大成員的詳細(xì)信息。

Amazon Nova Pro：自研最強(qiáng)多模態(tài)

Amazon Nova Pro能夠處理多達(dá)30萬個(gè)輸入token，并為多模態(tài)智能體工作流設(shè)定了新標(biāo)準(zhǔn)，這些工作流需要調(diào)用API和工具來完成復(fù)雜的工作流。

使用Amazon Nova模型執(zhí)行智能體工作流：智能體可以規(guī)劃并執(zhí)行多步動作，利用瀏覽器和基于屏幕的用戶界面作為通用工具來自動化終端客戶的任務(wù)

它在視覺問題解答（TextVQA）和視頻理解（VATEX）等關(guān)鍵基準(zhǔn)上都實(shí)現(xiàn)了最先進(jìn)的性能。

在輸入300K token的情況下，它可以處理超過一萬五千行代碼的代碼庫。Amazon Nova Pro還可作為教師模型，用于蒸餾Amazon Nova Micro和Lite的自定義變體。

圖片

Amazon Nova Lite：主打一個(gè)性價(jià)比

圖片

圖片

將概念變?yōu)楝F(xiàn)實(shí)

Amazon Nova系列還包括兩款創(chuàng)意內(nèi)容的生成式模型，Amazon Nova Reel和Amazon Nova Canvas。

Amazon Nova Canvas：圖像生成

這是一個(gè)先進(jìn)的圖像生成模型，可生成工作室水準(zhǔn)級別的圖像，并可精確控制樣式和內(nèi)容，包括豐富的編輯功能，如修復(fù)、擴(kuò)圖和背景移除。

左右滑動查看

Amazon Nova Reel：視頻生成

Amazon Nova Reel支持用戶通過文本提示和圖像來控制視覺風(fēng)格和節(jié)奏，并生成專業(yè)品質(zhì)的視頻內(nèi)容，用于營銷、廣告和娛樂。

Amazon Nova Lite：主打一個(gè)性價(jià)比

Amazon Nova Reel：視頻生成

Amazon Nova Reel支持用戶通過文本提示和圖像來控制視覺風(fēng)格和節(jié)奏，并生成專業(yè)品質(zhì)的視頻內(nèi)容，用于營銷、廣告和娛樂。

價(jià)格再便宜75%，還能微調(diào)和蒸餾

Amazon Nova Micro、Amazon Nova Lite和Amazon Nova Pro的價(jià)格，比Amazon Bedrock中各自智能類別中性能最佳的模型至少還要便宜了75%。

而且，它們也是相比之下最快的模型。

這些模型與Amazon Bedrock集成，是一項(xiàng)支持完全托管的服務(wù)，可通過單個(gè)API使用來自領(lǐng)先AI公司和亞馬遜的高性能基礎(chǔ)模型。

而且，模型還支持自定義微調(diào)，允許客戶將模型指向自己專有數(shù)據(jù)中的示例，因?yàn)檫@些示例已被標(biāo)記，所以提高了準(zhǔn)確性。

這樣，Amazon Nova模型可以從客戶自己的數(shù)據(jù)（包括文本、圖像和視頻）中了解對客戶最重要的內(nèi)容，然后由Amazon Bedrock訓(xùn)練一個(gè)私人微調(diào)模型，提供量身定制的響應(yīng)。

圖片

除了支持微調(diào)之外，這些模型還支持蒸餾，從而能夠?qū)⑻囟ㄖR從更大、能力更強(qiáng)的「教師模型」轉(zhuǎn)移到更小、更高效的模型，后者不僅高度準(zhǔn)確，而且運(yùn)行速度更快、成本更低。

并且，Amazon Nova模型與Amazon Bedrock知識庫集成，還擅長RAG，就能讓響應(yīng)基于客戶組織的內(nèi)部數(shù)據(jù)，來保證最佳的準(zhǔn)確性。

因?yàn)槟Ｐ鸵呀?jīng)過優(yōu)化，在代理性應(yīng)用中非常易于使用，還能通過多個(gè)API與組織的專有系統(tǒng)和數(shù)據(jù)進(jìn)行交互，從而執(zhí)行多步驟任務(wù)。

圍剿英偉達(dá)，爭奪AI芯片之王

在當(dāng)下最炙手可熱的AI芯片賽道中，挑戰(zhàn)者們正上演著一場激烈的「造芯」革命。

據(jù)市場研究機(jī)構(gòu)Omdia的數(shù)據(jù)顯示，在人工智能計(jì)算領(lǐng)域，數(shù)據(jù)中心運(yùn)營商在非英偉達(dá)芯片計(jì)算機(jī)上的支出預(yù)計(jì)將于今年增長49%，總額達(dá)到1,260億美元。

這個(gè)數(shù)字，無疑釋放出了芯片市場潛力無限的信號。

AI推理，彎道超車

多年來，英偉達(dá)在AI芯片領(lǐng)域一家獨(dú)大，盡管其他公司不斷嘗試，但始終未能撼動其霸主地位。

但如今，局面正在發(fā)生改變。「推理計(jì)算」成為這場AI技術(shù)革命的關(guān)鍵詞。

無論是科技巨頭，還是小型初創(chuàng)，瞄準(zhǔn)了為AI研發(fā)定制芯片的賽道，比如Groq、Cerebras Systems等等。

Meta就是一個(gè)典型案例。雖然他們使用英偉達(dá)芯片訓(xùn)練了Llama3.1 405B，但在實(shí)際為用戶提供服務(wù)時(shí)，采用的是AMD MI300s芯片。

圖片

不僅如此，這些新晉玩家們從英偉達(dá)身上學(xué)到了一課：單純賣芯片完全不夠了。他們開始籌謀提供完整的計(jì)算方案，讓客戶充分發(fā)揮AI芯片的最大潛能。

比如，AWS就在剛剛舉辦的re:Invent大會上，宣布了基于Trainium2芯片的計(jì)算服務(wù)正式上線。并同時(shí)公布了性能更為強(qiáng)大的Trainium 3芯片的研發(fā)計(jì)劃。

Amazon EC2 Trn2 UltraServers是全新推出的EC2產(chǎn)品，配備64個(gè)互聯(lián)的Trainium2芯片。

它由四臺服務(wù)器構(gòu)成，每臺服務(wù)器裝配16枚Tranium芯片。（英偉達(dá)最多為8枚）

Trainium2

服務(wù)器之間使用超高速的NeuronLink互連，最大可擴(kuò)展到83.2個(gè)峰值千萬億次計(jì)算（petaflops），是單個(gè)實(shí)例計(jì)算、內(nèi)存和網(wǎng)絡(luò)能力的四倍，這使得訓(xùn)練和部署全球最大模型成為可能。

亞馬遜表示，這已經(jīng)是Ultraserver在保證散熱安全的前提下所能達(dá)到的最大配置。

Amazon EC2 Trn2 UltraServers（測試單元）

這些還不夠，AWS正在和Anthropic合作進(jìn)行「Ultracluster」超級計(jì)算機(jī)計(jì)劃。

他們正在構(gòu)建一個(gè)由Trn2 UltraServers組成的EC2 UltraCluster，并將其命名為「Project Rainier」。

這個(gè)被命名為「Project Rainier」的集群配備數(shù)十萬個(gè)Trainium2芯片，計(jì)算能力是當(dāng)前領(lǐng)先AI模型訓(xùn)練需求的五倍多。

AWS計(jì)算和網(wǎng)絡(luò)服務(wù)部門副總裁戴夫·布朗透露，這個(gè)集群將建設(shè)在美國境內(nèi)，預(yù)計(jì)在2025年投入使用。

它將躋身全球最大規(guī)模的AI模型訓(xùn)練集群之列。

圖片

雖然亞馬遜早期推出的AI芯片，包括第一代Trainium在內(nèi)，并未在市場上獲得顯著反響。

但是對于新一代的Trainium2芯片，亞馬遜展現(xiàn)出了更強(qiáng)的信心——其運(yùn)算速度較前代產(chǎn)品提升了四倍。

并且，蘋果也將成為其最新芯片客戶之一。

圖片

類似的，AMD也宣布將于明年推出新一代AI芯片，直接與英偉達(dá)的Blackwell系列展開競爭。

目前，工程師們已經(jīng)開始對芯片進(jìn)行全方位的測試。

一年前發(fā)布的MI300的AI芯片，當(dāng)年就創(chuàng)造了超500億美元銷量

與此同時(shí)，谷歌、微軟和Meta等科技巨頭也都在開發(fā)自己的人工智能專用芯片，旨在提升特定計(jì)算任務(wù)的處理速度并降低運(yùn)營成本。

本月，谷歌將開始推出基于其第六代自研芯片Trillium的云服務(wù)，該芯片的性能較前代產(chǎn)品提升了近5倍。

不過，這些公司仍在使用英偉達(dá)芯片構(gòu)建大規(guī)模計(jì)算集群。

老黃：免費(fèi)送，也沒用

盡管AI芯片新秀們?nèi)盒壑鹇?，但這并不意味著英偉達(dá)即將會失去霸主地位。

黃仁勛曾在斯坦福大學(xué)演講臺上，擲地有聲地表示，「即便競爭對手的芯片免費(fèi)贈送，在性價(jià)比上仍然無法與我們相提并論」。

這句話，道出了英偉達(dá)十足的底氣。

畢竟，如今市場中，在人工智能軟件和推理計(jì)算方面，能打的芯片非英偉達(dá)莫屬。

黃仁勛進(jìn)一步指出，雖然新一代Blackwell人工智能芯片的能耗有所提升，但其單位能耗的計(jì)算效率大幅提高。目前市場對這款芯片的需求異?；鸨?。

另有據(jù)場研究機(jī)構(gòu)IDC統(tǒng)計(jì)數(shù)據(jù)佐證了這一點(diǎn)。

數(shù)據(jù)顯示，2024年全球人工智能半導(dǎo)體市場規(guī)模預(yù)計(jì)將達(dá)到1,175億美元，并預(yù)計(jì)在2027年底進(jìn)一步擴(kuò)大至1,933億美元。

IDC在2023年12月發(fā)布的最新研究報(bào)告顯示，英偉達(dá)當(dāng)前在AI芯片市場中占據(jù)著約95%的主導(dǎo)地位。

圖片

參考資料：

https://www.nytimes.com/2024/12/03/technology/nvidia-ai-chips.html

https://www.wsj.com/articles/amazon-announces-supercomputer-new-server-powered-by-homegrown-ai-chips-18c196fc

https://aws.amazon.com/cn/ec2/ultraclusters/

https://x.com/ArtificialAnlys/status/1864023052818030814