06月01日,星期一 09:06
火讯财经讯,Tether AI研究团队宣布开源TurboQuant生产版本,该版本已集成至QVAC SDK 0.12.0。TurboQuant源自Google Research的内存压缩算法,可将AI运行时KV缓存最高压缩5倍,同时保持接近未压缩模型的输出质量。这意味着笔记本、手机等边缘设备无需上传数据到云端即可处理更长对话、更大文件及更复杂任务。此次开源包含完整量化流水线、主流推理框架适配器和开发者文档,面向消费级硬件、边缘设备及点对点网络部署AI的开发者和初创团队。