09月27日,星期三 07:30
火讯财经讯,据站长之家9月27日消息,近日,蚂蚁集团代码大模型CodeFuse-CodeLlama-34B4bits量化版本发布。据悉,该模型是CodeFuse-CodeLlama-34B模型的4bits量化版本,后者是通过QLoRA对基座模型CodeLlama-34b-Python进行多代码任务微调而得到的代码大模型,模型输入长度为4K。经4bits量化后,CodeFuse-CodeLlama-34B-4bits可用单张A10(24GB显存)或者RTX4090(24GB显存)加载,同时,量化后的模型在Humanevalpass@1指标上仍取得了73.8%的表现。