11月20日,星期一 02:30
火讯财经讯,据站长之家11月20日报道,MIT研究团队近日推出了语言模型MechGPT,能够在力学和材料建模领域跨足各种尺度、学科和模态。MechGPT通过利用预训练语言模型进行两步处理,提出了一种创新方法,能够从科学文本中提取关键信息,并生成连贯的问题-答案对,特别适用于材料科学领域。该模型的培训过程采用PyTorch和HuggingFace生态系统,基于Llama2变压器架构,包含40个变压器层,并通过低秩适应(LoRA)和4位量化等创新技术提高了模型的性能。