Windows 11很快将利用您的GPU进行生成式AI | ENBLE
Windows 11将使用GPU加速生成式人工智能技术|ENBLE加速
随着微软最新推出适用于Windows 11的智能助手Copilot，微软再次推动了生成式人工智能与Windows的整合。在正在举行的Seattle Ignite 2023开发人员大会上，微软宣布与Nvidia合作，推出TensorRT-LLM，承诺提升Windows台式机和笔记本电脑与RTX GPU的用户体验。
这个新版本将引入对新的大型语言模型的支持，使得对要求较高的人工智能工作负载更易于访问。特别值得注意的是，它与OpenAI的Chat API兼容，允许在配备8GB VRAM的PC和工作站上本地执行（而非通过云端）。
Nvidia的TensorRT-LLM库刚在上个月发布，据说它可通过RTX显卡上的张量核心提高大型语言模型（LLM）的性能。它为开发人员提供了一个Python API，可以更快地定义LLM并构建TensorRT引擎，而无需深入了解C++或CUDA。
随着TensorRT-LLM v0.6.0的发布，通过引入AI Workbench，定制生成式人工智能项目的复杂性将被简化。这是一个统一的工具包，可快速创建、测试和自定义预训练的生成式人工智能模型和LLM。这个平台还有望让开发人员简化合作和部署，确保高效和可扩展的模型开发。
为支持AI开发人员的重要性，Nvidia和微软还发布了DirectML增强功能。这些优化加速了像Llama 2和Stable Diffusion这样的基础AI模型，为开发人员提供了更多的跨厂商部署选项，并为性能设定了新的标准。
TensorRT-LLM库的新更新还承诺了推论性能的大幅提升，速度快了多达五倍。此次更新还扩展了对其他热门LLM的支持，包括Mistral 7B和Nemotron-3 8B，并将快速而准确的本地LLM的能力扩展到更广泛的便携式Windows设备范围。
通过新的包装器，将TensorRT-LLM与OpenAI的Chat API在Windows上整合，将允许数百个基于AI的项目和应用在配备RTX的PC上本地运行。这有可能消除依赖云服务的需要，并确保Windows 11 PC上的私有和专有数据的安全性。
Windows 11 PC上的AI的未来仍有很长的路要走。随着AI模型的越来越多可用，并且开发人员不断创新，利用Nvidia的RTX GPU的能力可能会改变事态。然而，现在还为时过早，无法确定这是否将是微软迫切需要的最后一块拼图，以完全开放Windows PC上的AI功能。
