一、A2A協(xié)議的核心原理A2A協(xié)議的設(shè)計基于五個核心原則，這些原則確保了協(xié)議的靈活性、安全性和廣泛適用性。以下是對這些原則的詳細解析，并結(jié)合技術(shù)機制進行說明。1.擁抱智能體特性（EmbraceAgenticCapabilities）A2A協(xié)議專為具有自主性和復(fù)雜推理能力的AI智能體設(shè)計。不同于傳統(tǒng)的工具調(diào)用（如API或數(shù)據(jù)庫查詢），A2A允許智能體以自然、結(jié)構(gòu)化的方式進行協(xié)作，而無需共享內(nèi)存、工具或上下文。這種設(shè)計支持智能體在分布式環(huán)境中...

近年來，大語言模型（Largelanguagemodel,LLM）取得了顯著進展。以ChatGPT為代表的LLM在自然語言任務(wù)上展現(xiàn)出驚人的智能涌現(xiàn)能力。盡管LLM在很多推理任務(wù)上表現(xiàn)出前所未有的接近人類的性能，但是單純的LLM只能處理文本類任務(wù)。與此同時，在大規(guī)模數(shù)據(jù)集上預(yù)訓(xùn)練的視覺基礎(chǔ)模型也在快速發(fā)展。盡管在視覺領(lǐng)域還沒有出現(xiàn)“ChatGPT時刻”，但是預(yù)訓(xùn)練視覺基礎(chǔ)模型已經(jīng)可以在很多真實視覺場景、數(shù)據(jù)集上表現(xiàn)出優(yōu)秀的零樣本、少樣本性...

本文作者為中國移動云能力中心云智團隊圖像處理算法工程師周華健。身份證識別場景下服務(wù)調(diào)用量大，往往對于服務(wù)的吞吐量要求較高。本文主要從業(yè)務(wù)邏輯、模型、工程三個層面對身份證識別服務(wù)進行優(yōu)化，取得了較大的性能提升。1.業(yè)務(wù)邏輯優(yōu)化一個身份證通常包含了4個模型，身份證檢測模型，身份證方向判斷模型，身份證文字檢測模型，身份證文字識別模型。由于身份證檢測與身份證文字檢測模型任務(wù)類型相似，模型輸入圖像也可以一致...

國產(chǎn)化AI芯片的發(fā)展已經(jīng)成為國內(nèi)信息技術(shù)產(chǎn)業(yè)的一個重要領(lǐng)域，它的發(fā)展始于對高性能計算需求的崛起，尤其是在人工智能和大數(shù)據(jù)領(lǐng)域，國內(nèi)的科研機構(gòu)和高新技術(shù)企業(yè)開始投入大量資源用于AI芯片的研發(fā)，以滿足國內(nèi)應(yīng)用的需求。并且隨著中國在各個高新領(lǐng)域的不斷發(fā)力與國外AI芯片技術(shù)近年來不斷加深的制裁，各個行業(yè)的企業(yè)也開始合作，以共同推動AI芯片的研發(fā)和應(yīng)用，包括通信、云計算、智能制造、自動駕駛等領(lǐng)域。國內(nèi)市場對AI芯...

要說當(dāng)下什么最熱，DeepSeek絕對是當(dāng)仁不讓。憑借其強大的語言理解和生成能力，以及免費開放的策略，DeepSeek迅速吸引了大量用戶，成為全球關(guān)注的焦點。然而，隨著用戶數(shù)量的激增，DeepSeek官網(wǎng)的聯(lián)網(wǎng)搜索和深度思考功能經(jīng)常出現(xiàn)“服務(wù)器繁忙”的提示，嚴(yán)重影響了用戶體驗。除了官方，還有辦法擁有滿血、可聯(lián)網(wǎng)的DeepSeek嗎？答案是肯定的。比如近期移動云就推出了DeepSeek系列模型的免費體驗，通過接入云服務(wù)商的推理API，用戶...

一、背景2024年9月OpenAI發(fā)布的o1preview模型展現(xiàn)出了在解決復(fù)雜問題上的強大邏輯思維能力。相比之前傳統(tǒng)的Chat類模型，o1類模型在解決問題時會構(gòu)建出長序列的思維鏈chainofthought（CoT）進行推理，通過問題拆解、中間步驟驗證、思維探索等方法，最終找到問題的正確解答方法。OpenAI對o1模型的介紹中也著重強調(diào)了CoT的重要性【1】。類似于人類在回答一個困難問題時可能會思考很長時間，o1在解決問題時也采用了鏈?zhǔn)剿季S。通過強...

1.引言隨著大模型在多模態(tài)理解、邏輯推理等方面的進一步發(fā)展，Agent或?qū)⒃?025年迎來大規(guī)模落地應(yīng)用，替代人類自主解決越來越多的日常工作。人工智能（AI）專家普遍認(rèn)為，2025年將是智能體（agent）爆發(fā)之年。2024年底，Gartner也將agenticAI列入了2025年十大技術(shù)趨勢之一，并預(yù)測2028年將至少有15%的日常工作決策由agenticAI自主完成，而這一數(shù)字在2024年為0。在CES2025，黃仁勛也強調(diào)2025年Agent將會有許多商業(yè)化應(yīng)用。本文從...

1.什么是人臉識別？人臉識別技術(shù)，是基于人的臉部特征信息進行身份識別的一種生物識別技術(shù)。用攝像機或攝像頭采集含有人臉的圖像或視頻流，并自動在圖像中檢測和跟蹤人臉，進而對檢測到的人臉進行臉部的一系列相關(guān)技術(shù)，通常也叫做人像識別、面部識別。人臉識別技術(shù)主要是通過人臉圖像特征的提取與對比來進行的。人臉識別系統(tǒng)將提取的人臉圖像的特征數(shù)據(jù)與數(shù)據(jù)庫中存儲的特征模板進行搜索匹配，通過設(shè)定一個閾值，當(dāng)相似度超過...

微軟“Tay”項目2016年3月，微軟發(fā)布了一個名為Tay的新項目。微軟設(shè)計Tay的初衷是為“18至24歲的美國年輕人提供娛樂服務(wù)的聊天機器人”。這是一個有趣的名字，代表著早期人工智能實驗的輕松嘗試。Tay旨在模仿一位19歲的美國女孩的語言模式，并通過與Twitter、Snapchat及其他社交應(yīng)用上的用戶互動來學(xué)習(xí)。這款聊天機器人是為了進行真實環(huán)境下的對話理解研究而開發(fā)的。然而，僅在發(fā)布幾小時后，問題就顯現(xiàn)了。TechCrunch評論道：...

概念Ray是一個開源的高性能分布式計算框架，旨在簡化大規(guī)模分布式應(yīng)用的開發(fā)和運行。它提供了靈活的任務(wù)調(diào)度、資源管理以及并行計算能力，使開發(fā)者能夠輕松實現(xiàn)從單機到多節(jié)點的計算擴展。Ray支持多種場景，包括分布式機器學(xué)習(xí)訓(xùn)練、強化學(xué)習(xí)、超參數(shù)優(yōu)化、大規(guī)模數(shù)據(jù)處理和實時模型部署等。Ray的核心概念是通過統(tǒng)一的API，使開發(fā)者專注于邏輯開發(fā)，而不必關(guān)心底層的分布式實現(xiàn)細節(jié)。通過模塊化設(shè)計，Ray集成了多個功能強大的庫...

一、環(huán)境準(zhǔn)備1.前置條件首先準(zhǔn)備好訓(xùn)練機器和數(shù)據(jù)，筆者采用了32節(jié)點910BNPU，300萬網(wǎng)頁訓(xùn)練數(shù)據(jù)。2.環(huán)境配置環(huán)境安裝，首先安裝多模態(tài)訓(xùn)練框架msswift，安裝torchnpu及deepspeed。安裝msswift(當(dāng)前推薦從源碼安裝,待發(fā)版后可直接pip安裝)gitclonehttps:github.commodelscopeswift.gitcdswiftpipinstalle'.[llm]'安裝torchnpupipinstalltorchnpudecorator安裝deepspeedpipinstalldeepspeed完整python依賴版本見文末附錄3.環(huán)境驗...

1.基于傳統(tǒng)機器學(xué)習(xí)的范式（第一范式）在早期的自然語言處理（NLP）研究中，神經(jīng)網(wǎng)絡(luò)尚未被引入。在這個時期，NLP處理方法通常需要從自然語言語料庫中提取各種特征，例如詞性標(biāo)注、命名實體識別和短語結(jié)構(gòu)分析。然后，使用特定的規(guī)則或數(shù)學(xué)、統(tǒng)計學(xué)模型來對提取出的特征進行匹配和應(yīng)用。例如，可以通過詞性標(biāo)注和短語結(jié)構(gòu)分析提取文本中的關(guān)鍵信息，然后利用數(shù)學(xué)模型，如隱馬爾可夫模型或貝葉斯網(wǎng)絡(luò)，來執(zhí)行序列分類和序列標(biāo)注...

1.背景這次指的大型語言模型（LLMs）主要說的是采用Transformers架構(gòu)的模型，該架構(gòu)在訓(xùn)練階段具有高度的并行性。然而，在實際應(yīng)用中，高效地部署這些模型面臨一些挑戰(zhàn)。這是因為生成推理是逐個token進行的，而每個token的計算都依賴于先前生成的標(biāo)記。因此，支持大規(guī)模訓(xùn)練的模型需要仔細考慮并行布局和內(nèi)存優(yōu)化，以實現(xiàn)所需的可擴展性和高效的低延遲推理。從而更好地支持大規(guī)模訓(xùn)練的模型在實際應(yīng)用中實現(xiàn)高效的低延遲推理，...

一、大模型概述1.什么是大模型本文的大模型特指的是大規(guī)模數(shù)據(jù)訓(xùn)練得到的預(yù)訓(xùn)練模型，對于大模型，2021年8月李飛飛聯(lián)合100多名專家發(fā)布了一份研究報告《OntheOpportunitiesandRiskofFoundationModels》，他們將大模型統(tǒng)一命名為fundationmodel，也可以稱之為基石模型，屬于深度學(xué)習(xí)的一種。此外，從命名就可以看出，大模型的研究已經(jīng)在AI領(lǐng)域形成了里程碑式的影響。那么什么樣的模型可以稱為大模型，應(yīng)可以包括3個方面：模型的...

數(shù)據(jù)集是大模型競爭的關(guān)鍵要素之一，AI大模型的突破得益于高質(zhì)量數(shù)據(jù)的發(fā)展。訓(xùn)練大模型需要大規(guī)模、高質(zhì)量、多模態(tài)的數(shù)據(jù)集，通常需要從各個領(lǐng)域和多個數(shù)據(jù)源收集數(shù)據(jù)，這些數(shù)據(jù)可以是文本、圖像、語音、視頻等多種形式。大語言模型訓(xùn)練使用的數(shù)據(jù)集規(guī)模爆發(fā)式增長。從2018年GPT1數(shù)據(jù)集約為4.6GB，2020年GPT3數(shù)據(jù)集達到了753GB，而ChatGPT的數(shù)據(jù)集為超萬億單詞的人類語言數(shù)據(jù)集（約45TB）。OpenAI并沒有公開訓(xùn)練ChatGPT的相關(guān)...

1.核心云原生組件容器化技術(shù)是云原生的核心，它通過將應(yīng)用及其依賴項打包到一個輕量級、獨立的容器中，確保了應(yīng)用在不同環(huán)境中的一致運行。作為兩種主流的容器引擎，Docker和containerd廣泛應(yīng)用于AI模型的開發(fā)和部署。Docker提供了簡便的容器化工具鏈，而containerd則作為一個高效、專注的容器運行時，為Kubernetes等平臺提供底層支持。容器化AI模型可以在本地開發(fā)環(huán)境與云端無縫切換，減少環(huán)境差異帶來的問題。AI應(yīng)用通常由多...

ChatGTP、LLaMA2等通用大模型具備優(yōu)秀的推理性能，但在面對復(fù)雜多變的業(yè)務(wù)場景時，往往難以滿足多樣化的需求。ChatGPT等通用大模型通常需要經(jīng)過復(fù)雜漫長的訓(xùn)練過程，預(yù)訓(xùn)練期間需要巨大的算力和存儲消耗，大多場景下從0到1訓(xùn)練一個模型不僅成本高昂，而且沒有必要，因此基于預(yù)訓(xùn)練的模型并對其進行微調(diào)成為有價值的研究方向。微調(diào)預(yù)訓(xùn)練的通用大模型，不僅可以節(jié)約成本，也可以使模型更符合特定領(lǐng)域的需求，變得更定制化、專業(yè)...

1.標(biāo)準(zhǔn)Transformer經(jīng)典Transformer模型(如上圖所示)，它是由編碼器（藍框）和解碼器（綠框）組成，標(biāo)準(zhǔn)VisionTransformer(ViT)[2]主要應(yīng)用了其中的編碼器,編碼器模塊主要由一個MultiHeadSelfAttention(MHA)和一個MultilayerPerceptron(MLP)組成。2.視覺Transformer標(biāo)準(zhǔn)Transformer編碼器的輸入是一維embedding，為了能將該編碼器應(yīng)用于圖像任務(wù)，將尺寸為(H,W,C)的圖像切分成尺寸為(P,P,C)的圖像塊，一共得到個圖像塊，reshape...

1.概念Kubeflow是一個機器學(xué)習(xí)平臺，旨在簡化ML模型的開發(fā)、訓(xùn)練、部署和管理。它提供了一系列工具和組件，包括JupyterNotebook、TFJob、Katib（超參數(shù)調(diào)優(yōu)）、KFServing（模型服務(wù)）等，使用戶可以在Kubernetes集群上輕松運行和管理機器學(xué)習(xí)工作流。Volcano是一個Kubernetes調(diào)度系統(tǒng)，專為批處理、HPC、AI和大數(shù)據(jù)工作負(fù)載設(shè)計。它通過提供先進的調(diào)度策略、資源公平分配和作業(yè)管理功能，優(yōu)化了資源利用率和任務(wù)執(zhí)行效率。Volca...

一、TensorRT簡介TensorRT是由C++、CUDA、python三種語言編寫成的庫，有助于在NVIDIAGPU上進行高性能推理?；谀壳爸髁鞯纳疃葘W(xué)習(xí)框架得到的模型都可通過TensorRT實現(xiàn)推理加速。圖1TensorRT轉(zhuǎn)換過程2021年7月，NVIDIA發(fā)布了TensorRT8.0版本，新版本極大提升了Transformers結(jié)構(gòu)的推理新能。TensorRT性能優(yōu)化主要依賴下面兩種方式：1、權(quán)重與激活精度校準(zhǔn)：在推理中使用FP16或者INT8精度計算，通過降低計算精度，提高計算效率，...