04月23日,星期天 11:45
火讯财经讯,据VentureBeat报道,总部位于加州的专注于建立去中心化云和开源模式的公司Together近日宣布了RedPajama计划。据悉,RedPajama是Together、Ontocord.ai、ETHDS3Lab、斯坦福CRFM、HazyResearch和MILA魁北克人工智能研究所之间的一个合作项目,旨在创建领先的、完全开源的大型语言模型(LLM)。其训练将基于LLaMA的1.2万亿token数据集。这些数据使任何组织都能对模型进行预训练,并可获得许可。在未来几周,Together将发布一整套LLM和基于RedPajama数据集的指令调整版本。该公司强调,即将推出的模型将是完全开源的,并且在商业上是可行的。