Grok-1.5V是下xAI第一代多模態(tài)大模型，除了其強大的文本能力外，Grok現(xiàn)在還可以處理各種各樣的視覺信息，包括文檔、圖表、示意圖、截圖和照片。Grok-1.5V即將提供給早期測試人員和現(xiàn)有的Grok用戶使用。

能力

Grok-1.5V在多個領(lǐng)域與現(xiàn)有多模態(tài)大模型具有競爭力，從多學科推理到理解文檔、科學圖表、截圖和照片。Grok在新RealWorldQA基準測試中表現(xiàn)優(yōu)異，該測試衡量了對現(xiàn)實世界空間理解的能力。對于下面的所有數(shù)據(jù)集，在零提示的情況下評估Grok，不使用思維鏈的提示。

示例1：看圖表寫代碼

示例2：計算卡路里

示例3：從一幅圖畫到一個睡前故事

示例4：解釋一個網(wǎng)絡(luò)迷因

示例5：將表格轉(zhuǎn)換為 CSV 格式

示例6：幫助處理露臺上腐爛的木材

示例7：解決編程問題

實現(xiàn)真實世界理解

為了開發(fā)出有用的真實世界人工智能助手，提升模型對物理世界的理解至關(guān)重要。為了實現(xiàn)這一目標，研究人員引入了一個新的基準測試，RealWorldQA。該基準旨在評估多模式模型的基本真實世界空間理解能力。盡管當前基準測試中的許多示例對人類來說相對容易，但它們常常對前沿模型構(gòu)成挑戰(zhàn)。

RealWorldQA的初始發(fā)布包含超過700張圖像，每張圖像都附帶一個問題和易于驗證的答案。該數(shù)據(jù)集包含了從車輛中獲取的匿名圖像，以及其他真實世界的圖像。后續(xù)xAI將隨著多模態(tài)模型的改進而擴展它。RealWorldQA在CC BY-ND 4.0下發(fā)布。

譯自(有刪改)：https://x.ai/blog/grok-1.5v

什么是Grok？

Grok是由xAI開發(fā)的生成式人工智能聊天機器人，基于大語言模型（LLM）。它是由埃隆·馬斯克發(fā)起的一項倡議，作為對OpenAI的ChatGPT的直接回應(yīng)而開發(fā)的，而馬斯克是ChatGPT的聯(lián)合創(chuàng)始人之一。該聊天機器人被宣傳為“具有幽默感”，并直接接入Twitter（X）。

時間線

• 2024年3月11日，馬斯克在X上發(fā)布消息稱語言模型將在一周內(nèi)開源，六天后，即3月17日，Grok開始開源。
• 2024年3月17日，Grok-1以Apache-2.0許可證的形式開源。
• 2024年3月26日，馬斯克宣布Grok將對所有高級訂閱用戶開放，而不僅僅是高端層級的Premium+。
• 3月29日，Grok-1.5發(fā)布，具有“改進的推理能力”和128,000個token的上下文長度。

本文轉(zhuǎn)載自公眾號AIGC最前線 

原文鏈接：??https://mp.weixin.qq.com/s/-EAuLUPqWVjbyaKgizL7vA??