01月17日,星期三 02:30
火讯财经讯,据IT之家1月17日报道,商汤科技与上海AI实验室联合香港中文大学和复旦大学今日发布了新一代大语言模型书生・浦语2.0(InternLM2)。据介绍,InternLM2是在2.6万亿token的语料上训练得到的。沿袭第一代书生・浦语(InternLM)设定,InternLM2包含7B及20B两种参数规格及基座、对话等版本,继续开源,提供免费商用授权。目前,浦语背后的数据清洗过滤技术已经历三轮迭代升级,号称仅使用约60%的训练数据即可达到使用第二代数据训练1Ttokens的性能表现。据介绍,通过拓展训练窗口大小和位置编码改进,InternLM2支持20万tokens的上下文,能够一次性接受并处理约30万汉字(约五六百页的文档)的输入内容。InternLM2在20B参数的中等规模上,整体表现接近ChatGPT。