6 月 8 日消息，國產多模態(tài)大語言模型 TigerBot 近日正式發(fā)布，包含 70 億參數和 1800 億參數兩個版本，目前已經在 GitHub 開源。

▲ 圖源 TigerBot 的 GitHub 頁面

據悉，TigerBot 帶來的創(chuàng)新主要在于：

• 提出指令完成監(jiān)督微調的創(chuàng)新算法提升模型可學習性。
• 運用 ensemble 和 probabilistic modeling 的方法實現可控事實性和創(chuàng)造性。
• 在并行訓練上突破 deep-speed 等主流框架中的內存和通信問題。

此外，該模型還針對中文語言更不規(guī)則的分布，從 tokenizer 到訓練算法上做了更適合的優(yōu)化。

研究人員陳燁在虎博科技官網表示：“該模型在只使用少量參數的情況下，就能快速理解人類提出了哪類問題。根據 OpenAI InstructGPT 論文在公開 NLP 數據集上的自動評測，TigerBot-7B 已達到 OpenAI 同樣大小模型的綜合表現的 96%。”

▲ 圖源 TigerBot 的 GitHub 頁面

據稱，其中 TigerBot-7B-base 的表現“優(yōu)于 OpenAI 同等可比模型” ，開源代碼包括基本訓練和推理代碼，雙卡推理 180B 模型的量化和推理代碼。數據包括 100G 預訓練數據，監(jiān)督微調 1G 或 100 萬條數據。

IT之家小伙伴們可以在這里找到 GitHub 的開源項目。