“英偉達(dá)版樹莓派”這波良心了，性能漲70%，降價(jià)50%。

老黃召開廚房發(fā)布會(huì)，從烤箱里端出這臺(tái)“掌心AI超算”。

△怎么不穿皮衣了

新版Jetson Orin Nano開發(fā)版套件，算力從40 TOPS漲到67 TOPS（INT8），內(nèi)存帶寬增加50%，達(dá)到102GB/s，功耗僅25瓦。

價(jià)格卻降了50%，從$499降到$249（約人民幣1800元）。

67 TOPS什么概念？

• 比目前英特爾、AMD或高通AI PC中的大部分NPU都快
• 能跑主流的7B、8B大模型量化版，如阿里Qwen，Llama等
• 最高支持4個(gè)攝像頭，也能跑8B的視覺語言模型和ViT模型

英偉達(dá)稱這是“最實(shí)惠的生成式AI超級(jí)計(jì)算機(jī)”。

無論是用來創(chuàng)建基于RAG的聊天機(jī)器人、視覺AI Agent，還是部署基于AI的機(jī)器人，都是理想的解決方案。

開發(fā)套件包括一個(gè)Jetson Orin Nano 8GB系統(tǒng)級(jí)模塊（SoM）和一個(gè)參考載板，可用于邊緣AI應(yīng)用的原型設(shè)計(jì)，功耗最高25w。

采用6核Arm CPU和NVIDIA Ampere架構(gòu)GPU，GPU配備1024個(gè)CUDA核心和32個(gè)張量核心，支持多個(gè)并發(fā)AI應(yīng)用管道和高性能推理。它最多可以支持4個(gè)攝像頭，提供比以前版本更高的分辨率和幀率。

The Register估計(jì)在運(yùn)行4位量化版Llama 3.1 8B模型時(shí)，能達(dá)到約18-20 tokens/s的速度。

Jetson支持一系列英偉達(dá)AI軟件，包括用于機(jī)器人的NVIDIA ISAAC、用于視覺AI的NVIDIA Metropolis 和用于傳感器處理的NVIDIA Holoscan。

另外可以使用NVIDIA Omniverse Replicator生成合成數(shù)據(jù)，并使用NVIDIA TAO工具包微調(diào)預(yù)訓(xùn)練模型，可以縮短開發(fā)時(shí)間。

老黃稱這個(gè)系列為一種全新的處理器——機(jī)器人處理器。

推出第一代產(chǎn)品時(shí)，沒人理解英偉達(dá)在做什么
到現(xiàn)在，它已經(jīng)支持了各種機(jī)器人，帶輪子的、兩條腿的、三條腿的。

額外的好消息是，新推出的軟件更新，也將為買過舊版開發(fā)套件的用戶帶來生成式AI性能提升。

有網(wǎng)友表示，黃仁勛就是新的圣誕老人。

參考鏈接：
[1]https://blogs.nvidia.com/blog/jetson-generative-ai-supercomputer/。
[2]https://www.theregister.com/2024/12/17/nvidia_jetson_orin/。