微軟近日對(duì)其開發(fā)者工具進(jìn)行了大量更新，試圖讓生成式AI開發(fā)者的工作更輕松。

軟件和云巨頭微軟表示，這些更新將有助于團(tuán)隊(duì)構(gòu)建能力更強(qiáng)的、知識(shí)更豐富的AI模型，包括專門的Copilot，可以完成更廣泛的企業(yè)相關(guān)任務(wù)。這次微軟在Microsoft Build 2024上發(fā)布的公告還包括了對(duì)Microsoft Azure AI Search以及Azure OpenAI Service的一些重大增強(qiáng)，去年推出的Azure AI Studio平臺(tái)也全面上市。

最受生成式AI開發(fā)者歡迎的更新之一就是Microsoft Azure AI Search中的新搜索相關(guān)性功能。這是一個(gè)用于檢索增強(qiáng)生成（RAG）和企業(yè)搜索的數(shù)據(jù)檢索系統(tǒng)，使AI模型能夠利用客戶的私人數(shù)據(jù)。微軟在Build大會(huì)上宣布支持先進(jìn)的搜索技術(shù)，包括混合搜索和重新排名，以及新服務(wù)提高了存儲(chǔ)容量以及增加了矢量索引大小，使用戶可以更輕松地?cái)U(kuò)展他們的生成式AI應(yīng)用。

微軟解釋說(shuō)，這些增強(qiáng)功能將有助于為生成式AI模型返回相關(guān)性更高的搜索結(jié)果，從而提高響應(yīng)的準(zhǔn)確性。此外微軟還宣布了新的數(shù)據(jù)和處理集成，這得益于增加了內(nèi)置的圖像矢量化功能以幫助本機(jī)圖像搜索，以及集成了OneLake以幫助將Azure AI Search和Microsoft Fabric中的數(shù)據(jù)進(jìn)行連接。

微軟在去年11月推出了Azure AI Studio的預(yù)覽版，為開發(fā)者提供了在一個(gè)地方創(chuàng)建一系列生成式AI體驗(yàn)所需的一切。Azure AI Studio作為Azure OpenAI Service一個(gè)組成部分，有助于訪問(wèn)廣泛的大型語(yǔ)言模型、RAG數(shù)據(jù)集成工具，以及智能搜索功能、全生命周期模型管理和AI安全工具。

Azure AI Studio現(xiàn)已全面上市，新增了一些強(qiáng)大的新功能，包括微軟所謂的“代碼優(yōu)先開發(fā)體驗(yàn)”，是通過(guò)與Azure Developer CLI (azd)和AI Toolkit for Microsoft Visual Studio Code工具集成引入的。用戶在這個(gè)平臺(tái)上很快就能夠通過(guò)新模型即服務(wù)功能訪問(wèn)最新的基礎(chǔ)模型，包括OpenAI目前最強(qiáng)大的LLM GPT-4o新模型。

微軟承諾，Azure OpenAI Service本身也增加了大量新功能，包括新的Assistants API，可以幫助開發(fā)者打造更高級(jí)的虛擬助手和聊天機(jī)器人，并且具有更細(xì)致的理解力和響應(yīng)能力。

參考架構(gòu)和定制的生成式AI模型

在AI開發(fā)方面，微軟發(fā)布了一系列參考架構(gòu)以及實(shí)施指南，幫助客戶設(shè)計(jì)和優(yōu)化的智能的AI應(yīng)用。微軟表示，這么做是為了讓開發(fā)團(tuán)隊(duì)簡(jiǎn)單地利用Azure模版和實(shí)踐作為一種藍(lán)圖，快速構(gòu)建更可靠的、更具成本效益和合規(guī)性的私有聊天機(jī)器人。

微軟表示，Azure OpenAI Service的參考架構(gòu)即將推出，可以幫助團(tuán)隊(duì)快速啟動(dòng)聊天機(jī)器人的開發(fā)工作。新的著陸區(qū)加速器旨在標(biāo)準(zhǔn)化和自動(dòng)化支持這些應(yīng)用所需的云基礎(chǔ)設(shè)施部署。此外，開發(fā)者可以使用云指南和服務(wù)指南，后者提供了關(guān)于設(shè)置交付智能應(yīng)用的Azure服務(wù)的更精確說(shuō)明。

此外微軟還宣布了一種名為“自定義生成”的新模型類型，即將推出預(yù)覽版，旨在讓客戶可以從單個(gè)文檔開始著手，該服務(wù)將指導(dǎo)他們完成架構(gòu)定義和模型創(chuàng)建的過(guò)程。

它的主要優(yōu)點(diǎn)是無(wú)需對(duì)數(shù)據(jù)進(jìn)行大量標(biāo)記，因此用戶能夠以各種格式和模板向客戶生成式AI模型提供更復(fù)雜的文檔。微軟表示，通過(guò)使用大型語(yǔ)言模型提取相關(guān)數(shù)據(jù)字段，只有當(dāng)特定字段不正確時(shí)，用戶才需要更正模型的輸出。通過(guò)這種方法，模型就能夠隨著新樣本添加到訓(xùn)練數(shù)據(jù)集中而進(jìn)行調(diào)整，從而不斷提高響應(yīng)的準(zhǔn)確性和相關(guān)性。

Phi-3-視覺

微軟通常是利用和OpenAI的密切合作關(guān)系，為開發(fā)者提供機(jī)會(huì)訪問(wèn)最強(qiáng)大的大型語(yǔ)言模型。但同時(shí)微軟自己也啟動(dòng)了一些項(xiàng)目，例如Phi系列，規(guī)模較小的大型語(yǔ)言模型，旨在支持筆記本電腦、智能手機(jī)和平板電腦等設(shè)備上的AI處理。Phi-3-vision現(xiàn)已推出預(yù)覽版，是該家族的最新型號(hào)。

這是一種新的多模式大型語(yǔ)言模型，旨在支持視覺、圖表、圖形和表格推理。換句話說(shuō)，它可以理解所看到的內(nèi)容，無(wú)論是周圍世界的視圖、圖像還是各種文檔。微軟表示，它可以轉(zhuǎn)換輸入的圖像和文本并輸出響應(yīng)，解釋它所看到的內(nèi)容。

例如，用戶可以詢問(wèn)有關(guān)圖表或特定圖像的問(wèn)題，Phi-3-vision將做出準(zhǔn)確回答。該模型與Phi-3-small和Phi-3-medium一起作為Azure AI Studio模型即服務(wù)目錄的一部分提供給用戶。

Azure AI Speech

Azure AI Speech獲得了許多新的功能，用于構(gòu)建更高質(zhì)量的語(yǔ)音應(yīng)用，而且現(xiàn)在已經(jīng)開始提供預(yù)覽版。

其中包括一項(xiàng)新的語(yǔ)音分析功能，針對(duì)那些從音頻和視頻數(shù)據(jù)中提取洞察的模型，實(shí)現(xiàn)端到端的工作流程自動(dòng)化。它集成了轉(zhuǎn)錄、摘要、語(yǔ)音識(shí)別、說(shuō)話人分類、情感分析等功能，旨在處理客戶反饋、播客、呼叫中心錄音、采訪等內(nèi)容。

Azure AI Speech也將提供視頻配音功能。據(jù)微軟稱，這是一項(xiàng)新服務(wù)，可以把視頻文件翻譯成多種受支持的語(yǔ)言，幫助企業(yè)通過(guò)視頻內(nèi)容吸引全球觀眾。用戶可以通過(guò)上傳一個(gè)或一系列視頻來(lái)創(chuàng)建配音管道，Azure AI Speech可以自動(dòng)把內(nèi)容翻譯成所選語(yǔ)言。

AI安全更新

AI安全始終是一個(gè)重要主題，微軟通過(guò)更新Azure AI Content Safety產(chǎn)品展示了自己對(duì)AI安全的重視。

其中的新功能包括自定義類別，可以用于為生成式AI應(yīng)用創(chuàng)建自定義的過(guò)濾器，因此開發(fā)者就可以根據(jù)企業(yè)負(fù)責(zé)任的AI政策過(guò)濾輸出內(nèi)容。微軟表示，它將幫助用戶開發(fā)出一種更精確的、相關(guān)性更高的內(nèi)容安全方法，提供標(biāo)準(zhǔn)部署和快速部署選項(xiàng)，后者適用于需要在一小時(shí)內(nèi)快速解決的事件。

Microsoft Azure OpenAI Service中提供的Prompt Shields，以及AI Studio and OpenAI Service中的Groundedness Detection功能，為大型語(yǔ)言模型提供了額外的內(nèi)容過(guò)濾工具。微軟表示，這些工具旨在緩解惡意提示注入攻擊方面的“關(guān)鍵進(jìn)展”（在這種攻擊事件中攻擊者的目的是操縱生成式AI模型），以便他們產(chǎn)生“幻覺”，生成錯(cuò)誤或不準(zhǔn)確的響應(yīng)。

針對(duì)教育領(lǐng)域的生成式AI

最后微軟表示，正在和非營(yíng)利教育組織Khan Academy合作，探索生成式AI在教育領(lǐng)域的潛力。

微軟的合作伙伴正在計(jì)劃做一些有趣的事情。例如，微軟向所有美國(guó)K-12教育工作者免費(fèi)提供Khanmigo for Teachers，一款A(yù)I驅(qū)動(dòng)的教學(xué)助手，可以幫助教師騰出時(shí)間與學(xué)生互動(dòng)。除了提供對(duì)該服務(wù)的免費(fèi)訪問(wèn)之外，微軟還提供了額外的Azure資源，以確保它可以擴(kuò)展以支持預(yù)期的新用戶涌入。

與此同時(shí)，可汗學(xué)院表示，它正在與微軟合作，探索生成式人工智能如何利用最新版本的 Phi-3 來(lái)改善數(shù)學(xué)輔導(dǎo)，Phi-3 正在非營(yíng)利組織的私人教育內(nèi)容上接受培訓(xùn)。