09月27日,星期三 10:30
火讯财经讯,据IT之家9月27日消息,DeepMind研究人员日前评估大型语言模型(LLM)的压缩能力时,发现这些模型的“压缩能力”相当惊人,除了常规文字资料外,还可以压缩图像音频,相关内容已经发布在ArXiv上。据悉,DeepMind在研究中,使用了一个名为“Chinchilla70B”的模型,虽然这个模型主要使用文字训练,但是研究人员发现该模型也可用于压缩ImageNet图片,可将文件压缩至原始大小的43.3%,甚至可将LibriSpeech语音样本压缩至原始的16.4%。DeepMind的研究证明,模型的“预测”能力和“压缩”能力之间存在“等价性”,因此研究人员可以使用任何压缩算法,建立一个更加强大的条件生成模型。研究还发现,若要将模型用于压缩上,模型并非越大越好,过大的模型可能反而对压缩能力产生负面影响。