Meta智能眼鏡用上多模態(tài)Llama 3!國內(nèi)AR眼鏡機會來了
科幻大片中的AR黑科技,竟走進(jìn)了現(xiàn)實!
就在剛剛,Meta自家的雷朋智能眼鏡,已經(jīng)開始支持多模態(tài)版的Llama 3了!要知道,Llama 3的開源版本還沒支持多模態(tài)呢。
就在最近,小扎還在訪談中承認(rèn)愿意開源價值100億美元的模型,不過,如果涉及到產(chǎn)品側(cè),那就是另一回事了。
誒,產(chǎn)品這不就來了么——
戴上這副智能眼鏡,外出旅行坐車感到無聊時,可以讓Meta來點音樂。

帶著AR眼鏡,還可以直接翻譯不認(rèn)識的語言。又或者在路上騰不出手時,Meta可以給好友發(fā)語音信息。

走到一座建筑前,呼叫Meta告訴自己關(guān)于它更多的信息。
甚至,視頻電話、直播,科普等,只要是你能想到的,AR眼鏡全可以做的到。

Meta介紹,去年12月便開始在雷朋Meta智能眼鏡上,測試了多模態(tài)AI。目前,已經(jīng)在美國和加拿大地區(qū)銷售的眼鏡上推出了這一新功能。
小扎也來炫技了
這款眼鏡配備了一個1200萬像素的攝像頭和五個麥克風(fēng),集成Meta AI助手后,意味著帶著它可以做更多的事。
你看到的任何東西,它都能描述出來。
只需說一句,「Hey Meta,看看這個,告訴我它是什么?」,語音命令即可控制。

看著廚房柜臺上一堆食材,Meta能夠迅速制作出相關(guān)的食譜。
更有意思的是,小扎本人還在Ins發(fā)布一個帶上智能眼鏡,為自己挑選衣服的視頻。

他挑選了一個深色的襯衣,并問Meta我應(yīng)該搭配個什么樣的褲子。Meta給出了牛仔褲、短褲的建議。

他還讓智能眼鏡給一張萌寵的照片,配上了有趣的描述。

小扎手里拿著一種水果,智能眼鏡能告訴他這是面包果。

而對于AR眼鏡來說,實時翻譯將成為一款殺手級應(yīng)用。
當(dāng)你旅行時,正在試著讀一份法語菜單。不用查閱手機,智能眼鏡就可以完成實時翻譯。
它甚至可以閱讀不同語言的手勢,簡直是旅行必備單品。
此外,除了得到多模態(tài)Llama 3的加持,Meta還公布了智能眼鏡集成了WhatsApp和Messenger的免提視頻通話。
與此同時,不同時尚款式的鏡框設(shè)計,都可以專配處方鏡使用。

不過,這款智能眼鏡起價為300美元(2100元),并不便宜。
實測外出識物,比手機方便
蹭著更新的熱乎勁兒,外媒The Verge發(fā)布了提前拿到內(nèi)測資格的評測。
前段時間,Humane智能設(shè)備AI Pin因性能不如人意,全網(wǎng)陷入了非議之中。關(guān)鍵是700美元,根本不值。
作者表示,「我們要對Meta智能眼鏡的期望值不要太高,因為它并非無所不能」。

測試中的一半的樂趣,就是找到它的極限在哪。
它能否正確識別街上這輛隨機的汽車?(一輛Alfa Romeo Giulia Quadrifoglio和一輛Alfa Romeo Tonale)。
與大多數(shù)AI一樣,Meta AI有時非常準(zhǔn)確,有時又會出現(xiàn)幻覺。
它正確地識別出了Giulia。但Tonale也被識別為Giulia。
但有趣的是,這兩款車幾乎沒有相似之處,Giulia是一款轎車,而Tonale是一款跨界SUV。
作者還讓它識別自己種的多肉植物(由于有些是別人送的,自己也并不完全清楚具體品種)。
Meta回答的是,「Echeveria、aloe vera蘆薈和Crassula品種」。
但其實,作者用可通過AI照片識別植物的應(yīng)用程序Planta進(jìn)行驗證,發(fā)現(xiàn)植物當(dāng)中沒有一株是Echeveria。

最精彩的是,作者的愛人偶然看到鄰居家后院一只大松鼠,戴上智能眼鏡去要識別出是什么品種。
作者用手機拍下了照片,并用另一款應(yīng)用試了一番。
果然,Meta識別錯了,而作者使用的APP成功識別出它是土撥鼠。

然而,當(dāng)再用智能眼鏡去識別手機中的照片時,卻給出了「土撥鼠」正確的答案。
這個案例中,說明了AR眼鏡缺少「變焦」功能,才導(dǎo)致回答錯誤。
除了多模態(tài)識別能力之外,作者測試其與手機配對時,響應(yīng)速度也是非常地快。同時,智能眼鏡將聲音功能集成一體,省去了戴眼鏡的麻煩,讓交互更加自然。

總得來說,Meta智能眼鏡在戶外活動,AI助手在識別事物上發(fā)揮了巨大的作用。
以往,作者外出看到感興趣的東西時,需要掏出手機拍照在識別。
而現(xiàn)在,智能眼鏡也可以很好地延伸手機的能力,前提是不要將想要識別的內(nèi)容放大很多倍。















 
 
 










 
 
 
 