七個登上熱榜的 GitHub 開源項目
大家好,我是Echa。
最近組織安排小編翻山越嶺跨省出差,連續(xù)斷更了2天創(chuàng)作,感覺錯過了好多美好的東西。說實話出差長途還是比較累。想友友你們了,第一時間打開頭條,發(fā)現(xiàn)好多友友私信小編,有的友友問小編還好嗎?有的問小編咋不更新內(nèi)容了?平時看你每日一更,突然沒更新好文章內(nèi)容有點不習慣,有的友友咨詢小編私信怎么不回信息了等等,在這里非常感謝友友們對小編的關(guān)心和愛戴。
小編今天給大家分享7個登上熱榜的 GitHub 開源項目,希望給友友們學習有所幫助。有空還是可以去研究研究,提升自身的技術(shù)廣度。
全文大綱
- MiniGPT-4 迷你的GPT4
- Twitter 算法開源
- OpenAssistant 全球最大的 ChatGPT 開源替代品
- iPERCore 人體運動模仿算法
- ChatGPT_JCM -OpenAI管理界面
- chatgpt-mirai-qq-bot 基于 ChatGPT 的 QQ 機器人
- AnimatedDrawings 一款非常有趣的 AI 工具
MiniGPT-4 迷你的GPT4
Github:https://github.com/Vision-CAIR/MiniGPT-4
MiniGPT-4是一個具有圖像理解能力的開源聊天機器人,基于+Vicuna-13B+LLM+和+BLIP-2視覺語言模型。研究團隊首先在四張+Nvidia+A100顯卡上用大約500萬對圖像文本對+MiniGPT-4進行了十個小時的訓練。構(gòu)建聊天生態(tài)系統(tǒng)更具挑戰(zhàn)性且在經(jīng)濟上不可持續(xù),但會對用戶產(chǎn)生強烈的鎖定效應(yīng)。
相比ChatGPT,GPT-4展示出了非凡的多模態(tài)能力,它可以利用手寫文本生成網(wǎng)站并且還能夠識別出圖片中的幽默元素。這些優(yōu)秀的能力在以前的視覺語言模型中很難實現(xiàn)。**對于GPT-4驚人的多模態(tài)生成能力,其主要原因是使用了更先進的大型語言模型 (LLM)**。那么能否利用目前比較先進的大型LLM進行微調(diào)從而盡可能達到GPT-4的性能呢?那么今天給大家分享的這篇文章就從該角度出發(fā),提出了MiniGPT-4,該模型在文本方面可以達到90% ChatGPT的能力,在視覺感知方面,同樣具備與GPT-4的多模態(tài)功能。
項目作者認為,GPT-4 所實現(xiàn)的多模態(tài)能力,在以前的視覺 - 語言模型中很少見,因此認為,GPT-4 先進的多模態(tài)生成能力,主要原因在于利用了更先進的大型語言模型。
為了驗證這一想法,團隊成員將一個凍結(jié)的視覺編碼器與一個凍結(jié)的 Vicuna 進行對齊,造出了 MiniGPT-4。
在MiniGPT-4訓練階段,作者提出了一種兩階段訓練方法。在第一階段,因為在大量對齊的圖像-文本對上對進行模型預(yù)訓練,以獲取視覺語言知識。在第二階段,使用較小但高質(zhì)量的圖像文本數(shù)據(jù)集對預(yù)訓練模型進行微調(diào),以增強模型的生成可靠性和可用性。
實驗結(jié)果,發(fā)現(xiàn) MiniGPT-4 擁有許多類似于 GPT-4 所展示的功能。 例如,MiniGPT-4 可以生成復雜的圖像描述,根據(jù)手寫文本指令創(chuàng)建網(wǎng)站,以及解釋不尋常的視覺現(xiàn)象。
如下圖:
Twitter 算法
Github:https://github.com/twitter/the-algorithm
2023年4月1號 埃隆·馬斯克在個人Twitter上轉(zhuǎn)發(fā)了其在GitHub開源Twitter的推薦算法。馬斯克表示通過公開這些算法,來提升平臺的透明度、增強用戶、客戶和媒體的信任。
馬斯克履行諾言, Twitter 推薦算法開源了,該開源項目涵蓋了推薦算法在內(nèi)的許多推特源代碼,包括用來控制用戶在 For You 時間線上看到的推文的機制。
總的來說,Twitter的推薦算法是一個個性化推薦系統(tǒng),主要運作在Twitter用戶的“For You”界面。其每天會將約5億條推文精簡到1500條,再進一步篩選后推薦到不同用戶的“For You”信息流上。
這個系統(tǒng)會預(yù)測用戶最有可能與哪些用戶互動,并且判斷Twitter上有哪些熱門的“社區(qū)”和推文。
這個系統(tǒng)如何判斷以上的問題?主要通過兩部分的數(shù)據(jù):
- --用來訓練機器學習模型的基礎(chǔ)數(shù)據(jù):即Twitter的大規(guī)模專有數(shù)據(jù),包括用戶數(shù)據(jù)、關(guān)注數(shù)據(jù)、推文內(nèi)容數(shù)據(jù)以及互動數(shù)據(jù)等。
- --在為推文相關(guān)性打分時使用的排名信息:即用戶偏好、歷史行為和時間因素等。
要完成從5億到1500的“精簡”過程并不簡單,共分為三個階段:
- 候選源采集:從不同的推薦源獲取最好的推文
- 推文排名:使用機器學習模型對每條推文進行排名
- 過濾篩選:應(yīng)用啟發(fā)式算法和過濾器,過濾掉用戶屏蔽、不適合公開瀏覽以及已經(jīng)瀏覽過的內(nèi)容
用于構(gòu)建時間線的主要組件
其主要分為三個模塊:
- DATA。數(shù)據(jù)部分主要是三大塊:用戶、推文、社交網(wǎng)絡(luò)。
- FEATRUE。特征部分除了計算用戶和推文的特征外,社交圖中的社區(qū)發(fā)現(xiàn)特征等十分重要,另外還有一些信用和安全的特征。
- HOME MIXER。執(zhí)行推薦的整個服務(wù),基于scala,執(zhí)行推文召回、粗/精排序、重/混排。
最后實現(xiàn)Timeline、Who to follow、Ads的三個任務(wù),即給用戶推文、推用戶、推廣告。
具體如下圖:
DATA數(shù)據(jù)
FEATRUE
OpenAssistant 全球最大的 ChatGPT 開源替代品
官網(wǎng)地址:https://open-assistant.io
Github:https://github.com/LAION-AI/Open-Assistant
2023年4月12日,Github上的熱門話題是Open Assistant (簡稱 OA) ,它是由 LAION-AI 開發(fā)的基于聊天的開源助手。該項目的愿景是創(chuàng)建一個可以在單個高端消費類 GPU 上運行的大型語言模型。通過些修改,Open Assistant 還應(yīng)該能夠輕松地與其他第=方應(yīng)用程序交萬,以及從數(shù)據(jù)庫和Internet 檢索信息
Open Assistant 是一個旨在讓每個人都能訪問基于聊天的大型語言模型的項目,可以理解任務(wù)并與第三方系統(tǒng)交互。它可以動態(tài)檢索信息來完成這些任務(wù)。該助手還被設(shè)計為易于擴展和個性化,并作為免費的 開源軟件Q開發(fā),支持 35 種語言。
特性
- 簡單易用:Open Assistant提供了豐富的功能和工具,并且采用了簡單的API接口,使得用戶可以輕松地構(gòu)建和定制自己的助理系統(tǒng),無需深入了解復雜的技術(shù)細節(jié)。
- 多功能支持:Open Assistant支持多種功能,包括語音識別、自然語言處理、對話管理、任務(wù)執(zhí)行等,可以用于構(gòu)建不同領(lǐng)域的語音助手、智能對話系統(tǒng)、自動客服等應(yīng)用。
- 開放源代碼:Open Assistant是一個完全開源的項目,源代碼托管在GitHub上,用戶可以自由訪問、使用、修改和分享,從而促進了項目的持續(xù)發(fā)展和社區(qū)的共享合作。
- 靈活定制:Open Assistant支持用戶自定義對話流程、任務(wù)執(zhí)行和響應(yīng)策略,可以根據(jù)用戶的需求進行靈活定制,實現(xiàn)個性化的助理系統(tǒng)。
- 大型社區(qū)支持:Open Assistant項目由LAION-AI團隊維護,并且在GitHub上擁有一個活躍的社區(qū),用戶可以通過社區(qū)獲得支持、參與討論和分享經(jīng)驗,從而加速項目的發(fā)展和改進。
我們相信,通過這樣做,我們將在語言創(chuàng)新方面掀起一場革命。就像穩(wěn)定擴散幫助世界以新方式制作藝術(shù)和圖像一樣,我們希望 Open Assistant 可以通過改進語言本身來幫助改善世界。
Open Assistant 機器學習模型是由一家德國非營利組織 LAION 運營。近日,該組織官宣現(xiàn)在可以使用 OpenAssistant 模型、訓練數(shù)據(jù)和代碼,并將該模型稱之為-全球最大的 ChatGPT 開源復制品。
OpenAssistant Conversations 數(shù)據(jù)集是通過 13000 多名志愿者的眾包努力綜合而來的。
這些數(shù)據(jù)是通過一個網(wǎng)絡(luò)應(yīng)用程序界面收集的,該界面將數(shù)據(jù)分為五個單獨的步驟來收集:
- 提示、標記提示、添加回復消息作為提示或助理、標記回復以及對助理回復進行排序。
- 可以看到,這一數(shù)據(jù)集中最常用語言的占比,英語和西班牙語占比最多。中文 2.5%。
為了評估 OpenAssistant Conversations 數(shù)據(jù)集的有效性,研究者基于 Pythia 和 LLaMA 模型微調(diào)了一下 OpenAssistant 模型。
其中,包括指令調(diào)優(yōu)的 Pythia-12B、LLaMA-13B 和 LLaMA-30B。在接下來的評估中,研究人員主要評估了 Pythia-12B 模型的性能。
與 ChatGPT 對打
為了評估 Pythia-12B 的性能,研究人員進行了一項用戶偏好研究,將其輸出與 gpt-3.5-turbo 模型的輸出進行比較。
研究顯示,OpenAssistant 的回復與 gpt-3.5-turbo(ChatGPT)的相對偏好率分別為 48.3% 和 51.7%。
行與不行,都得拉出來遛遛才知道。
iPERCore 人體運動模仿算法
Github:https://github.com/iPERDance/iPERCore
iPERCore 是人體運動模仿、外觀遷移和新視圖合成算法。只要輸入一張照片、一段視頻,就能讓特朗普跟著明星偶像“唱、跳、Rap”!
給定一張或者多張人物 A 的圖像,和一段人物 B 的視頻,就可以通過動作遷移算法自動合成一段人物 A 做任務(wù) B 動作的視頻。
看看阿川老師模仿阿坤老師等人的舞姿:
ChatGPT_JCM -OpenAI管理界面
Github:https://github.com/202252197/ChatGPT_JCM
OpenAI管理界面,聚合了OpenAI的所有接口進行界面操作(所有模型、圖片、音頻、微調(diào)、文件)等,支持Markdown格式(公式、圖表,表格)等
OpenAI 基于 BSD-3-Clause license 協(xié)議,免費且作為開源學習使用。并且不會有任何形式的賣號、付費服務(wù)、賣key等行為。謹防受騙。 項目使用Vue2進行開發(fā),給大家提供一個方便使用的OpenAI web 管理界面,有好的建議和bug歡迎大家提出來,項目會一直開源和代碼優(yōu)化,方便對openai進行入門了解使用,后期會接入后端,實現(xiàn)更豐富的功能。
如下圖:
chatgpt-mirai-qq-bot
官網(wǎng):https://chatgpt-qq.lss233.com/
Github:https://github.com/lss233/chatgpt-mirai-qq-bot
一鍵部署!真正的 AI 聊天機器人!支持ChatGPT、文心一言、Bing、Bard、ChatGLM、POE,多賬號,人設(shè)調(diào)教,虛擬女仆、圖片渲染、語音發(fā)送 | 支持 QQ、Telegram、Discord 等平臺
特性
- 圖片發(fā)送
- 關(guān)鍵詞觸發(fā)回復
- 多賬號支持
- 百度云內(nèi)容審核
- 額度限制
- 人格設(shè)定
- 支持 Mirai、 go-cqhttp、 Telegram、Discord
- 可作為 HTTP 服務(wù)端提供 Web API
- 支持 ChatGPT 網(wǎng)頁版
- 支持 ChatGPT Plus
- 支持 ChatGPT API
- 支持 Bing 聊天
- 支持 Google bard
- 支持 poe.com 網(wǎng)頁版
- 支持 文心一言 網(wǎng)頁版
- 支持 ChatGLM-6B 本地版
具體如下圖:
AnimatedDrawings
Github:https://github.com/facebookresearch/AnimatedDrawings
2021 年的時候,Meta(前身是 Facebook)團隊發(fā)布了一款非常有趣的 AI 工具,叫 Animated Drawings,它的牛逼之處,在于能借助人工智能技術(shù),讓兒童繪畫作品動起來。
Animated Drawings 這款應(yīng)用是個在線的演示項目,只需要上傳孩子的涂鴉人物就可以輕松轉(zhuǎn)變成好玩的動畫片。兒童繪畫具有奇妙的創(chuàng)造力,活力和多樣性。我們專注于他們繪制的人物圖中所有多樣性的后果,因為我們開發(fā)了一種算法,通過自動動畫將它們變?yōu)楝F(xiàn)實。它允許父母或監(jiān)護人將兒童繪畫轉(zhuǎn)換為 33 種類型的動畫,讓卡通人物動起來、跑起來、跳起來,非常有趣。
不久前,Meta 團隊正式將論文中的算法實現(xiàn)開源到了 GitHub,短短幾天,項目 Star 數(shù)便突破 3100+,增長頗為迅猛。
最后
一臺電腦,一個鍵盤,盡情揮灑智慧的人生;幾行數(shù)字,幾個字母,認真編寫生活的美好;
一 個靈感,一段程序,推動科技進步,促進社會發(fā)展。