11 月 16 日消息，微軟 Ignite 2023 大會已于今天拉開帷幕，英偉達高管出席本次大會并宣布更新 TensorRT-LLM，添加了對 OpenAI Chat API 的支持。

IT之家今年 10 月報道，英偉達面向數(shù)據(jù)中心和 Windows PC，推出 Tensor RT-LLM 開源庫。最大的特點是，如果 Windows PC 配備英偉達 GeForce RTX GPU，TensorRT-LLM 可以讓 LLM 在 Windows PC 上的運行速度提高四倍。

英偉達在今天 Ignite 2023 大會上，宣布更新 TensorRT-LLM，添加 OpenAI 的 Chat API 支持，并增強 DirectML 功能，改善 Llama 2 和 Stable Diffusion 等 AI 模型的性能。

TensorRT-LLM 可以通過英偉達的 AI Workbench 在本地完成，開發(fā)者可以使用這個統(tǒng)一、易用的工具包，在 PC 或工作站上快速創(chuàng)建、測試和定制預(yù)訓(xùn)練的生成式 AI 模型和 LLM。英偉達還為此推出了搶先體驗注冊頁面。

英偉達將于本月晚些時候發(fā)布 TensorRT-LLM 0.6.0 版本更新，推理性能提高 5 倍，并支持 Mistral 7B 和 Nemotron-3 8B 等其它主流 LLM。

用戶可以在 8GB 顯存以上的  GeForce RTX 30 系列和 40 系列 GPU 上運行，一些便攜式 Windows 設(shè)備也能使用快速、準(zhǔn)確的本地 LLM 功能。