當(dāng)今，人工智能飛速發(fā)展，計算機視覺作為關(guān)鍵分支，已廣泛滲透于生活各處。從人臉識別門禁、自動駕駛到醫(yī)療影像診斷，它正悄然改變著我們的生活與工作模式。

然而，傳統(tǒng)計算機視覺任務(wù)處理難度大。開發(fā)者需具備深厚數(shù)學(xué)基礎(chǔ)、扎實算法知識與豐富編程經(jīng)驗，不僅要花費大量時間學(xué)習(xí)復(fù)雜理論，開發(fā)時還得投入諸多精力編寫、調(diào)試和優(yōu)化代碼。這對非專業(yè)人士而言，是難以跨越的障礙，使他們對該技術(shù)望而卻步。

吳恩達團隊推出的VisionAgent開源項目，創(chuàng)新性地融合智能代理框架與先進大語言模型，將復(fù)雜的視覺任務(wù)處理簡單化。用戶通過自然語言描述需求，就能輕松實現(xiàn)各類視覺任務(wù)，為計算機視覺領(lǐng)域帶來新活力與無限可能。

一、項目概述

VisionAgent由吳恩達團隊所在的Landing AI打造，旨在借助代理框架生成代碼解決視覺任務(wù)，打破技術(shù)壁壘，讓先進視覺技術(shù)惠及更多人。

圖片

其設(shè)計理念獨特，構(gòu)建智能代理框架，無縫連接用戶自然語言指令與底層視覺算法及工具。用戶無需了解復(fù)雜原理與編程細節(jié)，用簡潔自然語言描述任務(wù)，VisionAgent就能理解意圖并生成代碼，極大降低使用門檻，為視覺技術(shù)廣泛應(yīng)用開辟新途徑。

二、主要功能

1、自動代碼生成

自動代碼生成是VisionAgent的核心亮點。用戶輸入自然語言描述，如“Count the number of cars in this traffic video and mark their movement trajectories”，它能迅速理解并在短時間內(nèi)生成涵蓋視頻讀取、目標檢測、軌跡標記等環(huán)節(jié)的高效準確代碼，實現(xiàn)用戶所需功能。

此功能大幅提升開發(fā)效率，讓開發(fā)者專注核心業(yè)務(wù)邏輯，也為無編程經(jīng)驗者打開計算機視覺技術(shù)大門，通過簡單描述即可驗證想法，無需耗費大量時間學(xué)習(xí)編程與編寫基礎(chǔ)代碼。

2、豐富工具調(diào)用

為滿足多樣場景需求，VisionAgent內(nèi)置豐富實用工具，覆蓋圖像加載、預(yù)處理、對象檢測、目標跟蹤及可視化繪制等計算機視覺各方面。

以對象檢測為例，用戶可直接調(diào)用工具，輕松檢測圖像或視頻中的目標物體，使用簡單，傳入?yún)?shù)即可獲結(jié)果。同時，它支持工具擴展與自定義，開發(fā)者能按需添加或優(yōu)化工具，以適應(yīng)復(fù)雜應(yīng)用場景，提供高度靈活性與擴展性。

3、視頻處理支持

在視頻處理方面，VisionAgent能力強大。它能快速準確提取視頻幀，利用內(nèi)置檢測與跟蹤算法，對目標物體實時檢測與追蹤，無論是快速移動的車輛還是復(fù)雜場景中的人物都能精準識別。

此外，它還能根據(jù)用戶需求生成視頻內(nèi)容分析代碼，輸出帶詳細標注的視頻結(jié)果。如在視頻監(jiān)控中，可標注可疑人員軌跡、異常事件信息，為安防人員提供直觀準確數(shù)據(jù)，提高監(jiān)控效率與準確性，在多領(lǐng)域具有廣闊應(yīng)用前景。

三、技術(shù)原理

VisionAgent融合智能代理框架與先進大語言模型能力，為用戶提供智能高效的視覺任務(wù)處理方案。

它支持Anthropic的Claude - 3.5和OpenAI的o1模型，用戶可通過設(shè)置API密鑰選擇或切換模型。用戶輸入指令后，它先進行語義分析，將復(fù)雜任務(wù)分解為具體步驟，再調(diào)用相應(yīng)大語言模型生成代碼片段。

生成過程中，充分利用大語言模型在自然語言處理和知識理解方面的優(yōu)勢，結(jié)合視覺專業(yè)知識與算法，生成高質(zhì)量、可運行代碼，并進行優(yōu)化與驗證，確保準確性與高效性，模擬人類解決問題的思維模式，為用戶提供便捷高效體驗。

四、應(yīng)用場景

1、安防監(jiān)控領(lǐng)域

在安防監(jiān)控領(lǐng)域，VisionAgent極具應(yīng)用價值。隨著城市發(fā)展和人口增長，傳統(tǒng)人工監(jiān)控效率低且易疏漏。而VisionAgent可實現(xiàn)監(jiān)控視頻智能分析，如實時統(tǒng)計區(qū)域內(nèi)人員數(shù)量，超閾值報警；追蹤特定人員或車輛，記錄行動軌跡輔助破案；識別異常行為，及時發(fā)現(xiàn)安全威脅。

2、工業(yè)檢測領(lǐng)域

工業(yè)生產(chǎn)中，產(chǎn)品質(zhì)量檢測至關(guān)重要。傳統(tǒng)人工檢測效率低、易受人為因素影響。VisionAgent可通過上傳產(chǎn)品圖片或視頻生成檢測代碼，檢測產(chǎn)品表面缺陷、零件安裝與尺寸等，快速準確完成任務(wù)并生成報告，助力質(zhì)量控制，提升企業(yè)競爭力。

3、醫(yī)療影像分析領(lǐng)域

醫(yī)療領(lǐng)域中，準確快速的影像分析對疾病診斷治療關(guān)鍵。但醫(yī)療影像分析對醫(yī)生專業(yè)知識和經(jīng)驗要求高。VisionAgent可輔助醫(yī)生分析X光片、CT、MRI等影像，輸入指令如“Detect whether there are tumors in this CT scan”，它能生成代碼處理分析影像，幫助醫(yī)生發(fā)現(xiàn)病變、提供診斷建議，減輕醫(yī)生負擔(dān)，提高診斷效率，助力疾病早發(fā)現(xiàn)早治療。

五、快速使用

1、安裝步驟

• 環(huán)境準備：安裝前確保計算機已安裝Python 3.8及以上版本，以保證兼容性和性能。
• pip安裝：打開命令行終端，輸入`pip install vision-agent`，pip會自動從PyPI下載并安裝相關(guān)依賴。
• API密鑰設(shè)置：安裝后，若使用Anthropic的Claude - 3.5模型，輸入`export ANTHROPIC_API_KEY="your-api-key"`；若使用OpenAI的o1模型，輸入`export OPENAI_API_KEY="your-api-key"`，注意保管密鑰。

2、自動生成代碼示例

from vision_agent.agent import VisionAgentCoderV2
from vision_agent.models import AgentMessage
 
# 創(chuàng)建實例并設(shè)置獲取詳細日志
agent = VisionAgentCoderV2(verbose=True) 
code_context = agent.generate_code([
    AgentMessage(
        role="user",
        content="Count the number of people in this image",
        media=["people.png"]
    )
])
 
# 保存生成代碼與測試代碼
with open("generated_code.py", "w") as f: 
    f.write(code_context.code + "\n" + code_context.test)

3、直接調(diào)用工具示例

3.1 檢測圖像中的人并可視化結(jié)果

import vision_agent.tools as T
import matplotlib.pyplot as plt
 
# 加載圖像
image = T.load_image("people.png") 
# 檢測人
dets = T.countgd_object_detection("person", image) 
# 可視化邊界框
viz = T.overlay_bounding_boxes(image, dets) 
 
# 保存可視化結(jié)果
T.save_image(viz, "people_detected.png") 
# 顯示結(jié)果
plt.imshow(viz) 
plt.show()

3.2 處理視頻數(shù)據(jù)

import vision_agent.tools as T
 
# 提取視頻幀和時間戳
frames_and_ts = T.extract_frames_and_timestamps("people.mp4") 
# 提取所有幀
frames = [f["frame"] for f in frames_and_ts] 
 
# 跟蹤每一幀中的人
tracks = T.countgd_sam2_video_tracking("person", frames) 
# 疊加跟蹤結(jié)果并生成新視頻
viz = T.overlay_segmentation_masks(frames, tracks) 
T.save_video(viz, "people_detected.mp4")

結(jié)語

VisionAgent作為創(chuàng)新開源項目，憑借自動代碼生成、豐富工具及廣泛應(yīng)用場景，為計算機視覺任務(wù)處理帶來便捷高效，打破傳統(tǒng)技術(shù)應(yīng)用門檻，推動人工智能與計算機視覺技術(shù)發(fā)展。隨著技術(shù)進步，VisionAgent有望在更多領(lǐng)域發(fā)揮重要作用。期待吳恩達團隊和開源社區(qū)持續(xù)優(yōu)化拓展，為開發(fā)者和用戶帶來更多價值。

項目地址：???https://github.com/landing-ai/vision-agent??

本文轉(zhuǎn)載自 ??小兵的AI視界??，作者： AGI小兵