還在為復雜的Windows設置頭疼？微軟來重新定義設置界面交互了。

全新發(fā)布的設備端小語言模型Mu，讓Windows 11的設置也擁有了自己的AI Agent。

有了它，查找和更改PC設置就變得容易得多，現(xiàn)在只需要一個簡單的問句，例如：

我的鼠標指針太小。

Mu就會立馬推薦解決步驟，一鍵點擊應用就可以自動執(zhí)行任務，獲得一個Plus版指針。

或者想要聲控電腦？

也是直接在搜索欄輸入自己的需求就能夠完成設置。

這下終于可以不用到處求助度娘或小紅薯，某某功能又該怎么設置？聽懂的都淚目了TT。

Mu將面向Copilot+PC，實現(xiàn)將自然語言查詢直接映射到設置函數(shù)調(diào)用，本地運行相當高效，每秒能提供超100個token。

性能堪比微軟的得意之作Phi模型，但只有它的十分之一大小，約為330M。

該功能可以在Windows 11 預覽版的“設置”菜單的查詢處找到，需要是搭載Snapdragon的Copilot+電腦，后續(xù)還將拓展到AMD和Intel?支持的PC。

溫馨提示，現(xiàn)在只支持使用英語對話～

在設置中啟用Agent

Mu是一種高效的330M編碼器-解碼器模型，針對小規(guī)模部署專門進行了優(yōu)化。

模型基于Transformer架構(gòu)搭建，意味著編碼器將會把輸入轉(zhuǎn)換為固定長度的潛在表達，然后解碼器生成輸出token。

通過將輸入token和輸出token分離，Mu的一次性編碼顯著降低了計算和內(nèi)存需求，具有更低的延遲和更高的吞吐量。

與Phi-Silica一樣，Mu旨在NPU上高效運行，并通過微調(diào)模型架構(gòu)和參數(shù)形狀完成NPU適應：

• 模型架構(gòu)調(diào)整：選擇與NPU偏好的張量尺寸和向量化單元相匹配的層維度（如隱藏層大小和前饋網(wǎng)絡寬度），確保矩陣乘法等操作能以峰值效率運行。
• 參數(shù)形狀變化：對編碼器和解碼器之間的參數(shù)采用2/3–1/3的比例分配，例如一個配置中包含32個編碼器層與12個解碼器層，以確保最大化單位參數(shù)的性能表現(xiàn)。

為了減少總參數(shù)數(shù)量，Mu在某些組件中采取權重共享方法，節(jié)省內(nèi)存空間，并提高編碼和解碼詞匯表的一致性。

另外，Mu將操作限制在僅運行支持的NPU優(yōu)化算子，避免無效操作，充分利用NPU的加速能力。

Mu還添加了三個關鍵的transformer升級，分別是pre- and post-LN、RoPE和GQA。

1. pre- and post-LN（雙層歸一化）：在每個子層前后進行標準化。
2. RoPE（旋轉(zhuǎn)位置嵌入）：通過復值旋轉(zhuǎn)將相對位置嵌入注意力中。
3. GQA（分組查詢注意力）：將查詢進行分組，每個組內(nèi)共享一組鍵、值。

Mu在Azure機器學習上使用NVIDIA A100 GPU進行訓練，依次先在數(shù)千億高質(zhì)量教育token上預訓練，再從Phi模型中蒸餾知識，并結(jié)合特定任務數(shù)據(jù)和LoRA微調(diào)。

最終實現(xiàn)Mu盡管只是幾億個參數(shù)的微小尺寸，只有Phi-3.5-mini的十分之一，但性能卻不相上下，能處理長輸入上下文和快速輸出。

此外為了在設備端高效運作，Mu運用了專為Copilot+PC上的NPU設計的模型量化技術PTQ，將模型權重和激活從浮點轉(zhuǎn)換為整數(shù)表示，主要是8位和16位。

微軟同時還與芯片合作商協(xié)作優(yōu)化，包括調(diào)整數(shù)學運算符、與特定硬件的執(zhí)行模式保持一致等，使其可以在邊緣設備上進行高效推理。

例如下面Mu利用維基百科在邊緣設備上運行問答任務。

在設置中還通過將訓練樣本擴展至3.6M，將50個設置增加到數(shù)百個，對Mu進行微調(diào)，實現(xiàn)了不到500毫秒的響應時間和精度要求。

另外該模型也更適合于多單詞查詢。對于短詞或部分詞的模糊輸入，“設置”應用將繼續(xù)在搜索框中顯示詞法和語義搜索結(jié)果。

Copilot+PC近期動作頻頻

Copilot+PC是微軟為下一波個人計算浪潮設計的野心之作，由NPU支持、AI驅(qū)動，旨在簡化重塑用戶工作流程，并相繼推出了多款AI工具。

例如Recall功能可以幫助用戶在幾秒鐘內(nèi)回溯當前步驟，快速查找并返回應用程序、網(wǎng)站、圖像或文檔。

在AI驅(qū)動下，它也擁有更好的自然語言搜索功能，無論目標文檔或圖像是位于文件資源管理器還是設置中。

最近同時推出的Click to Do功能則可以幫助快捷保存文本或圖像，可以從圖像中復制文本到摘要文本，甚至從圖像中快速刪除對象或背景，在提高工作效率的同時也會繼續(xù)保持流程運行。

這下可以一邊利用Click to Do快速安排會議或者將識別的電子郵件在Microsoft Teams中發(fā)起聊天，一邊繼續(xù)工作，或者偷個懶，將屏幕上的表格信息直接發(fā)送給Microsoft Excel，工作效率蹭蹭暴漲。

另外Copilot+PC最近還專門為AI照片、畫圖等編輯工具引入新功能。

例如重新點亮照片的Photos relight，只需單擊選擇喜歡的內(nèi)置燈光預設，就可以為照片添加創(chuàng)意效果。

單個光源也可以進行調(diào)節(jié)，用戶可以自行改變光線朝向焦點的方向和接近度，以及調(diào)整顏色偏好和效果強度。

微軟為Paint應用程序新增了貼紙生成器，一個簡單的文本prompt就可以創(chuàng)建自定義數(shù)字貼紙，還可以利用AI對畫布上的單個特定元素進行定位編輯。

屏幕截圖后，是不是總需要反復裁剪，才能滿足需要？

現(xiàn)在Copilot+PC推出了可以完美截圖的AI工具，自動捕捉屏幕內(nèi)容區(qū)域，對齊視圖突出內(nèi)容。

另外還有可以直接從圖像中提取和復制文本的文本提取器，從屏幕任何位置都能捕獲顏色RGB值的顏色選擇器……

可以說，微軟現(xiàn)在正對Copilot+PC進行大刀闊斧的改進，希望用戶的體驗可以更直觀、更易于訪問也更有用。

不過就像廣大網(wǎng)友們的共同呼聲，什么時候才能全windows用戶都能享受到哇。

那么你會為了這些新功能，買臺Copilot+PC嗎？