06月13日,星期二 12:15
火讯财经讯,据IT之家6月13日报道,近日,阿联酋科技创新研究所(TII)打造出了400亿参数的语言模型Falcon-40B,在HuggingFace的OpenLLM排行榜上排名第一,并持续霸榜,赢过此前LLaMA、StableLM和RedPajama等竞争者。据称,Falcon-40B使用了384颗GPU来进行2个月的训练、利用将近5亿个Token训练而成。为提高训练过程的质量,团队还自己组建了一套工作流程来筛选出“最高质量的的资料”供给AI模型训练。经多个基准测试,表现比LLaMA、Vicuna和Alpaca更加出色。此外,团队还采用了“多重查询注意力”(Multiqeryattention)机制,来提高模型的效率。“多重查询注意力”机制即模型可以对每个Token进行多个查询,来更好表示同一序列中,不同token之间的关系,以在加速模型运算效率的同时,降低模型的复杂性,进而提高模型整体的可维护性。阿联酋科技创新研究所首席执行官RayO.Johnson博士表示:“2023年将是人工智能之年。Falcon模型对我们来说具有里程碑意义,但这仅仅是个开始”。