09月19日,星期二 10:45
火讯财经讯,据IT之家9月19日报道,AI软件公司Anyscale周一宣布将英伟达AI引入Ray开源和Anyscale平台中。英伟达AI还将在AnyscaleEndpoints中运行,该服务可帮助应用程序开发人员使用流行的开源模型(如CodeLlama、Falcon、Llama2、SDXL等)嵌入LLMs到其应用程序中。据悉,英伟达TritonInterenceServer软件支持在GPU、CPU和其他处理器上跨云、数据中心、边缘和嵌入式设备进行推理。当与Ray集成时,开发人员可以提高来自各种框架的AI模型(包括TensorRT、TensorFlow、PyTorch、ONNX、OpenVINO等)的效率。Anyscale首席执行官兼联合创始人RobertNishihara在一份声明中表示:“我们与英伟达的合作将为Anyscale的产品组合带来更多性能和效率,以便开发人员随处创建具有前所未有速度和效率的LLMs和生成AI应用程序。”