“歐米伽未來(lái)研究所”關(guān)注科技未來(lái)發(fā)展趨勢(shì)，研究人類(lèi)向歐米伽點(diǎn)演化過(guò)程中面臨的重大機(jī)遇與挑戰(zhàn)。將不定期推薦和發(fā)布世界范圍重要科技研究進(jìn)展和未來(lái)趨勢(shì)研究。

Questel是一家世界著名端到端知識(shí)產(chǎn)權(quán)解決方案提供商，為超過(guò)20,000家客戶和150萬(wàn)用戶提供服務(wù)，覆蓋30個(gè)國(guó)家。主要提供軟件套件，用于發(fā)明和知識(shí)產(chǎn)權(quán)資產(chǎn)的搜索、分析和管理。

簡(jiǎn)述

深度學(xué)習(xí)和大型語(yǔ)言模型（LLMs）專利的關(guān)鍵趨勢(shì)圖示

深度學(xué)習(xí)領(lǐng)域知識(shí)產(chǎn)權(quán)保護(hù)的激烈競(jìng)爭(zhēng)，全球DL領(lǐng)域的專利活動(dòng)顯著增長(zhǎng)，自2017-2018年以來(lái)，LLMs逐漸嶄露頭角。2022年OpenAI推出ChatGPT標(biāo)志著一個(gè)重要的轉(zhuǎn)折點(diǎn)，加速了公眾認(rèn)知以及專利申請(qǐng)的步伐。這場(chǎng)全球范圍內(nèi)的知識(shí)產(chǎn)權(quán)競(jìng)爭(zhēng)凸顯了其戰(zhàn)略重要性，其中中國(guó)和美國(guó)領(lǐng)先：

• 中國(guó)：以百度等企業(yè)為核心，由頂尖高校支持的集中式創(chuàng)新生態(tài)系統(tǒng)。
• 美國(guó)：多元化、分散式的創(chuàng)新格局，由IBM、谷歌和微軟等科技巨頭推動(dòng)。

LLM領(lǐng)域的整合與機(jī)會(huì)，LLM領(lǐng)域由少數(shù)幾個(gè)主要玩家主導(dǎo)——包括谷歌、百度、騰訊、微軟、亞馬遜和阿里巴巴，其專利組合展現(xiàn)了其全球影響力。幾項(xiàng)顯著的趨勢(shì)如下：

• 谷歌、百度、微軟和騰訊正積極保護(hù)并推進(jìn)其產(chǎn)品，凸顯了這一仍被視為新興技術(shù)的市場(chǎng)成熟度。這些公司在所有列出的應(yīng)用領(lǐng)域中均為專利申請(qǐng)的領(lǐng)導(dǎo)者，展示了其全面的戰(zhàn)略和對(duì)LLM應(yīng)用全譜系的承諾。
• 醫(yī)療健康作為增長(zhǎng)領(lǐng)域：LLMs在診斷、藥物研發(fā)和個(gè)性化醫(yī)療方面推動(dòng)了突破性進(jìn)展，使醫(yī)療健康成為一個(gè)具有變革性的領(lǐng)域。
• 擴(kuò)大行業(yè)影響力：隨著計(jì)算效率和數(shù)據(jù)質(zhì)量的改進(jìn)，LLMs迅速與市場(chǎng)需求對(duì)接，正在重塑金融、教育和網(wǎng)絡(luò)安全等行業(yè)。

報(bào)告綜述

深度學(xué)習(xí)：基于實(shí)例學(xué)習(xí)而非規(guī)則學(xué)習(xí)，人工智能正在以驚人的速度變革，推動(dòng)了一場(chǎng)前所未有的創(chuàng)新浪潮，這將在本報(bào)告中詳細(xì)闡述。在AI的表面之下，是由機(jī)器學(xué)習(xí)、神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)（DL）等技術(shù)交織而成的復(fù)雜體系。這些層次相互結(jié)合，推動(dòng)了突破性的進(jìn)步，為該領(lǐng)域的快速演變作出了貢獻(xiàn)。

圖1 - 人工智能的結(jié)構(gòu)

2021年，我們?cè)陉P(guān)于深度學(xué)習(xí)的研究中引用了Gartner 2020年技術(shù)成熟度曲線（Hype Cycle），以展示AI各個(gè)部分的成熟度和發(fā)展情況。將當(dāng)時(shí)的快照與2024年的技術(shù)成熟度曲線對(duì)比，可以發(fā)現(xiàn)顯著的演變（每個(gè)階段的描述見(jiàn)附錄）。例如，“深度學(xué)習(xí)”在不到四年的時(shí)間內(nèi)，從“幻滅期”轉(zhuǎn)變?yōu)椤吧a(chǎn)力高原期”（主流采用階段）。然而，最引人注目的變化是生成式AI（Generative AI）的迅猛崛起，以大型語(yǔ)言模型（LLMs）為驅(qū)動(dòng)。2020年還只是處于“創(chuàng)新觸發(fā)”階段的生成式AI，到2024年已經(jīng)快速邁入“期望膨脹頂峰”的后期階段。在專利領(lǐng)域，這一階段尤為關(guān)鍵，應(yīng)該被視為獲得專利并加強(qiáng)專利組合的機(jī)會(huì)，以提高未來(lái)市場(chǎng)的競(jìng)爭(zhēng)優(yōu)勢(shì)。

圖1 - Gartner人工智能技術(shù)成熟度曲線2020年與2024年對(duì)比

LLM的崛起：革新信息處理和生成方式，LLMs是生成式AI熱潮的核心。這些模型由深度學(xué)習(xí)驅(qū)動(dòng)，旨在處理、理解并生成類(lèi)人文本。但其能力遠(yuǎn)不止于此——它們可以分析數(shù)據(jù)、解讀復(fù)雜模式并以一種類(lèi)似人類(lèi)的方式提供見(jiàn)解。這些模型基于包含數(shù)十億甚至數(shù)萬(wàn)億參數(shù)的海量數(shù)據(jù)集進(jìn)行訓(xùn)練，正在重新定義數(shù)據(jù)處理的可能性。

• 規(guī)模：LLMs基于龐大而多樣的數(shù)據(jù)集構(gòu)建，具備無(wú)與倫比的學(xué)習(xí)能力和適應(yīng)性。
• 語(yǔ)境掌握：它們擅長(zhǎng)理解語(yǔ)言的細(xì)微差別，從語(yǔ)義細(xì)節(jié)到整個(gè)段落的流暢性。
• 文本生成：無(wú)論是撰寫(xiě)文章、回答問(wèn)題還是生成對(duì)話，LLMs都能生成連貫、相關(guān)且吸引人的內(nèi)容。
• 多功能性：其應(yīng)用涵蓋內(nèi)容生成、翻譯、情感分析、聊天機(jī)器人等多個(gè)領(lǐng)域。

我們探討的關(guān)鍵問(wèn)題包括：

• 哪些國(guó)家處于LLM創(chuàng)新的前沿？
• 哪些公司和研究機(jī)構(gòu)正在推動(dòng)進(jìn)展，誰(shuí)在全球范圍內(nèi)處于領(lǐng)先地位？
• LLM的主要應(yīng)用領(lǐng)域是什么，相關(guān)知識(shí)產(chǎn)權(quán)歸誰(shuí)所有？

通過(guò)回答這些問(wèn)題，我們旨在提供對(duì)LLM專利格局的全面理解，挖掘新的機(jī)會(huì)和視角，以指導(dǎo)利益相關(guān)者在這一前所未有的創(chuàng)新時(shí)代做出明智的戰(zhàn)略決策。

方法論

1. 數(shù)據(jù)來(lái)源與檢索策略

本研究使用的主要數(shù)據(jù)來(lái)源是 FamPat 全球?qū)＠麛?shù)據(jù)庫(kù)，通過(guò) Orbit Intelligence 檢索工具進(jìn)行檢索。FamPat 是一個(gè)全球?qū)＠暾?qǐng)和授權(quán)專利的集合，基于簡(jiǎn)單專利族進(jìn)行組織，涵蓋全球 100 多個(gè)專利機(jī)構(gòu)，并包括來(lái)自 22 個(gè)專利局的可檢索全文，由 Questel 提供。由于每條 FamPat 記錄可能包含許多具有不同日期的單獨(dú)發(fā)布事件，本報(bào)告采用每個(gè)專利族的 最早已知首次提交專利局的日期 作為參考。這一日期被視為專利族的代表性成員日期，用于標(biāo)識(shí)專利族。

首次提交專利局（Office of First Filing, OFF） 指的是某項(xiàng)發(fā)明的第一份申請(qǐng)，當(dāng)這份申請(qǐng)?jiān)谀硨＠痔峤粫r(shí)，它會(huì)成為“優(yōu)先權(quán)申請(qǐng)”，而事件發(fā)生的日期則定義為 優(yōu)先權(quán)日期。優(yōu)先權(quán)國(guó)家是指首次提交的國(guó)家。

報(bào)告中的表格和圖表均使用優(yōu)先權(quán)日期（除非另有說(shuō)明），因?yàn)樗梢宰顪?zhǔn)確地反映發(fā)明活動(dòng)。專利來(lái)源的定義（即專利族的發(fā)源地）基于首次提交專利局（OFF）。需要注意的是，這一定義并非百分之百準(zhǔn)確，但仍然提供了一種有用且公平的方法來(lái)識(shí)別實(shí)體的通常優(yōu)先權(quán)國(guó)家，這通常與其本土專利局一致。

每個(gè)專利族與一個(gè)或多個(gè)實(shí)體相關(guān)聯(lián)，這些實(shí)體統(tǒng)稱為專利權(quán)人。如果同一專利族中的專利由多個(gè)所有者持有，則將該專利族歸屬于所有相關(guān)實(shí)體。為了提升可讀性并提供清晰的概覽，本報(bào)告對(duì)提及的申請(qǐng)人進(jìn)行了系統(tǒng)性整理，并將其歸屬于各自的母公司。子公司和關(guān)聯(lián)實(shí)體被歸入其母公司，以反映統(tǒng)一的所有權(quán)結(jié)構(gòu)。這一歸類(lèi)過(guò)程結(jié)合了自動(dòng)化（通過(guò) Orbit Intelligence 數(shù)據(jù)庫(kù)）和人工方法完成，并基于報(bào)告創(chuàng)建時(shí)公開(kāi)的最佳信息進(jìn)行操作。

2. 分類(lèi)體系

本專利分析以深度學(xué)習(xí)（DL）為中心，特別關(guān)注 大型語(yǔ)言模型（LLMs）。檢索方法結(jié)合了多種策略，包括深度學(xué)習(xí)相關(guān)的關(guān)鍵詞和技術(shù)，以及相關(guān)的專利分類(lèi)，例如 G06N3/02（使用神經(jīng)網(wǎng)絡(luò)模型的計(jì)算機(jī)系統(tǒng)）。

為了確保結(jié)果在全面性和準(zhǔn)確性之間達(dá)到平衡，檢索中采用了布爾邏輯操作符以及迭代優(yōu)化過(guò)程。這種系統(tǒng)化的方法確保了分析數(shù)據(jù)集的穩(wěn)健性和可靠性。

雖然專利未必總是明確提及具體的應(yīng)用，但對(duì)這些專利中描述的應(yīng)用進(jìn)行探索可以提供有價(jià)值的見(jiàn)解。與企業(yè)通信或營(yíng)銷(xiāo)材料相比，這種方法為當(dāng)前熱門(mén)應(yīng)用提供了一個(gè)獨(dú)特而互補(bǔ)的視角。

為了提供更深入的理解，我們參考了領(lǐng)域特定的文獻(xiàn)，匯編了一個(gè)全面的 LLMs 應(yīng)用清單。該清單突出了LLMs在各個(gè)領(lǐng)域的潛力，提供了新鮮的視角和可操作的見(jiàn)解，以幫助解讀這一快速發(fā)展的技術(shù)。應(yīng)用清單及其描述見(jiàn)報(bào)告末尾的附錄。

深度學(xué)習(xí)全球?qū)＠窬?/h3>

1. 專利申請(qǐng)趨勢(shì)

爆炸性增長(zhǎng)：深度學(xué)習(xí)的熱潮仍在繼續(xù)！我們對(duì)2011-2023年這12年的專利活動(dòng)進(jìn)行了分析，幾乎完整地呈現(xiàn)了深度學(xué)習(xí)專利活動(dòng)的顯著演化?，F(xiàn)代意義上的深度學(xué)習(xí)概念約在2011年形成，自那時(shí)以來(lái)，該領(lǐng)域已出現(xiàn)了 311,000個(gè)專利族。

在我們之前的研究中（圖中淺藍(lán)色曲線所示），深度學(xué)習(xí)專利活動(dòng)的快速增長(zhǎng)已經(jīng)令人印象深刻，尤其是在技術(shù)浪潮初期，年增長(zhǎng)率接近 50%。

最新趨勢(shì)： 截至2023年，盡管增長(zhǎng)速度略有放緩，但仍然保持了顯著的增長(zhǎng)態(tài)勢(shì)：2019-2023年的年均復(fù)合增長(zhǎng)率（CAGR）為16%。在快速變化的IT領(lǐng)域，這種超過(guò)十年的持續(xù)創(chuàng)新動(dòng)能極為罕見(jiàn)。這表明，深度學(xué)習(xí)不僅僅是一項(xiàng)獨(dú)立的技術(shù)，而是推動(dòng)一系列創(chuàng)新和應(yīng)用的基礎(chǔ)性技術(shù)。

其中，大型語(yǔ)言模型（LLM） 是這一技術(shù)革命的突出成果。得益于深度學(xué)習(xí)的進(jìn)步，LLMs迅速嶄露頭角。從圖中橙色曲線可以看出，與LLMs相關(guān)的專利族申請(qǐng)始于2020-2021年，并迅速增長(zhǎng)。

2. 發(fā)明的起源

中國(guó)在深度學(xué)習(xí)競(jìng)爭(zhēng)中的領(lǐng)先地位優(yōu)先權(quán)國(guó)家數(shù)據(jù)為專利戰(zhàn)略提供了重要洞見(jiàn)，也是判斷研發(fā)活動(dòng)主要發(fā)生地的可靠指標(biāo)。大多數(shù)申請(qǐng)人傾向于首先在本國(guó)申請(qǐng)優(yōu)先權(quán)專利。不過(guò)，為了更細(xì)致地分析，還需考慮國(guó)際專利族（IPFs） 的數(shù)量（定義見(jiàn)附錄）。

國(guó)際專利族（IPFs）： 是指專利權(quán)人選擇向國(guó)外擴(kuò)展的專利族，代表了專利的商業(yè)價(jià)值和國(guó)際關(guān)注度。這個(gè)指標(biāo)有助于減小因國(guó)內(nèi)政策支持本地申請(qǐng)而產(chǎn)生的偏差，是評(píng)估專利戰(zhàn)略和商業(yè)潛力的寶貴工具。

• 中國(guó)的優(yōu)勢(shì)地位：2023年，中國(guó)占全球深度學(xué)習(xí)專利申請(qǐng)總量的80%，并占國(guó)際專利族的40%。
• 美國(guó)的戰(zhàn)略重點(diǎn)：盡管僅占全球總申請(qǐng)量的5%，但美國(guó)貢獻(xiàn)了35%的國(guó)際專利族，穩(wěn)居第二。

中國(guó)在人工智能領(lǐng)域的領(lǐng)導(dǎo)地位得益于以下幾個(gè)關(guān)鍵因素：

1. 龐大的國(guó)內(nèi)市場(chǎng)：為技術(shù)創(chuàng)新提供豐富的應(yīng)用場(chǎng)景。
2. 政策刺激與戰(zhàn)略引導(dǎo)：政府的支持和產(chǎn)業(yè)布局推動(dòng)了技術(shù)發(fā)展。
3. 良好的市場(chǎng)生態(tài)：自給自足的供應(yīng)鏈支撐了創(chuàng)新生態(tài)系統(tǒng)。

與此同時(shí)，韓國(guó) 的專利申請(qǐng)量和國(guó)際專利族數(shù)量均顯著增長(zhǎng)，顯示出強(qiáng)勁的上升勢(shì)頭。歐洲 和 日本 也保持了重要的影響力，但在這一競(jìng)爭(zhēng)激烈的領(lǐng)域略遜于中美韓。

3. 主要玩家

自2021年我們的上一份報(bào)告發(fā)布以來(lái)，深度學(xué)習(xí)領(lǐng)域?qū)＠暾?qǐng)的排名相對(duì)穩(wěn)定，這表明主要玩家的地位正在鞏固。領(lǐng)先的實(shí)體通過(guò)顯著擴(kuò)展其專利組合繼續(xù)鞏固其優(yōu)勢(shì)：

• 百度：專利族從2,500增長(zhǎng)至6,751，增長(zhǎng)了45%，在總量和國(guó)際專利族數(shù)量上均排名第一。
• 三星：增長(zhǎng)了27%，在國(guó)際專利族數(shù)量上排名第二，是領(lǐng)域內(nèi)的重要玩家。
• 平安科技：在專利族數(shù)量上排名第四，在國(guó)際專利族數(shù)量上排名第三。
• 谷歌：專利族數(shù)量排名第九，國(guó)際專利族數(shù)量排名第四。
• 微軟：專利族數(shù)量排名第十，國(guó)際專利族數(shù)量排名第五。
• IBM：專利組合增長(zhǎng)了28%，專利族數(shù)量排名第六，國(guó)際專利族數(shù)量排名第九。
• 騰訊：專利族增長(zhǎng)了38%，但在國(guó)際專利族排名中位列第十。
• 中國(guó)國(guó)家電網(wǎng)（SGCC）：專利族總量龐大，但主要集中在中國(guó)，沒(méi)有國(guó)際專利族。

中國(guó)高校的作用：中國(guó)的高校在創(chuàng)新生態(tài)系統(tǒng)中繼續(xù)扮演重要角色，在深度學(xué)習(xí)領(lǐng)域擁有可觀的專利組合，但主要集中于國(guó)內(nèi)，國(guó)際專利族比例較低。

• 中國(guó)科學(xué)院：自2021年以來(lái)擴(kuò)展了17%。
• 浙江大學(xué)：增長(zhǎng)了15%。
• 北京工業(yè)大學(xué)：增長(zhǎng)了43%。
• 哈爾濱工業(yè)大學(xué)：以64%的增長(zhǎng)率居首。

缺席的科技巨頭：盡管一些科技巨頭（如亞馬遜、Meta（Facebook）和蘋(píng)果）在技術(shù)行業(yè)中占據(jù)主導(dǎo)地位，但它們?cè)谏疃葘W(xué)習(xí)領(lǐng)域的專利申請(qǐng)量相對(duì)較低。這并不意味著這些公司缺乏對(duì)深度學(xué)習(xí)的投入，而是它們更傾向于通過(guò)收購(gòu)人工智能初創(chuàng)公司來(lái)擴(kuò)展其技術(shù)能力。

4. 結(jié)論

深度學(xué)習(xí)領(lǐng)域的知識(shí)產(chǎn)權(quán)保護(hù)競(jìng)爭(zhēng)激烈全球深度學(xué)習(xí)專利競(jìng)爭(zhēng)的激烈程度突顯了知識(shí)產(chǎn)權(quán)保護(hù)在這一變革性領(lǐng)域中的戰(zhàn)略重要性。各國(guó)和國(guó)家聯(lián)盟必須培養(yǎng)關(guān)鍵玩家，并建立創(chuàng)新友好的生態(tài)系統(tǒng)以保持競(jìng)爭(zhēng)力。

• 中國(guó)的優(yōu)勢(shì)：以市場(chǎng)規(guī)模、政府支持和自給自足的供應(yīng)鏈為核心的組合，推動(dòng)了中國(guó)在深度學(xué)習(xí)領(lǐng)域的領(lǐng)導(dǎo)地位。百度憑借強(qiáng)大的專利組合位居首位，其背后是一個(gè)強(qiáng)大的高校和研究機(jī)構(gòu)生態(tài)系統(tǒng)。
• 其他重要貢獻(xiàn)者：美國(guó)（IBM、谷歌、微軟、英偉達(dá)和英特爾）、韓國(guó)（三星）、歐洲（博世）和日本（索尼）的持續(xù)努力將確保深度學(xué)習(xí)及其應(yīng)用的未來(lái)充滿活力和競(jìng)爭(zhēng)力。

本文轉(zhuǎn)載自 ??歐米伽未來(lái)研究所??，作者： 歐米伽未來(lái)研究所