11月16日,星期四 12:00
火讯财经讯,据IT之家11月16日报道,英伟达在今天Ignite2023大会上,宣布更新TensorRT-LLM,添加OpenAI的ChatAPI支持,并增强DirectML功能,改善Llama2和StableDiffusion等AI模型的性能。TensorRT-LLM可以通过英伟达的AIWorkbench在本地完成,开发者可以使用这个统一、易用的工具包,在PC或工作站上快速创建、测试和定制预训练的生成式AI模型和LLM。英伟达将于本月晚些时候发布TensorRT-LLM0.6.0版本更新,推理性能提高5倍,并支持Mistral7B和Nemotron-38B等其它主流LLM。