米哈游、复旦发布，具备感知、大脑、行动的大语言模型“智能体”

原文来源：AIGC开放社区

图片来源：由无界 AI生成

ChatGPT等大语言模型展示了前所未有的创造能力，但距AGI（通用人工智能）还有很大的距离，缺少自主决策、记忆存储、规划等拟人化能力。

为了探索大语言模型向AGI演变，进化成超越人类的超级人工智能，米哈游与复旦NLP研究团队联合发布了一篇基于大语言模型的“智能体”论文。将具备感知、大脑和行动三大功能的智能体，投放在文本、沙盒游戏等实验环境中让其自行活动。

结果显示，这些智能体具备自主感知、计划、决策和交流等拟人化能力，例如，当周围环境变得困难、艰苦时，智能体会自动调整策略和行动力；在社会模拟环境中，智能体会表现出同情等拟人化情感；当两个陌生智能体通过简单交流后，会记住彼此。

该技术框架与之前斯坦福大学、清华大学发布的AI代理游戏模拟实验类似，都是在大语言模型的基础之上构建功能更强大的AI机器人，这为行业的发展起到了推动作用。

论文地址：https://arxiv.org/abs/2309.07864

Github：https://github.com/WooooDyy/-Agent-Paper-List

根据论文介绍，智能体主要由感知、决策与控制以及执行三大模块组成，通过感知环境、做出智能决策然后执行具体的行动。

感知模块

感知模块用于从环境中获取各种信息,相当于人的感官。可以包含多种传感器,获取不同类型的数据,例如，摄像头获取图像信息,麦克风获取语音信息等。

感知模块预处理这些原始数据,转化为智能体可以理解的数字表示,以供后续模块使用。常用的感知传感器包括:

图像传感器:摄像头、RGB-D 摄像机等,用来获取视觉信息。

声音传感器:麦克风,获取语音、环境声音等音频信息。

位置传感器:GPS、INS(惯性导航系统)等,获知智能体自身位置。

触觉传感器:触觉 ARRAY、触觉手套等,获取物体接触时的触觉反馈。

温度、湿度、气压等环境传感器,获取环境参数信息。

感知模块需要对原始数据进行预处理,例如，图像去噪、声音降噪、格式转换等,以生成可供后续模块使用的规范化数据。同时,感知模块还可以进行特征提取,如从图像中提取边缘、纹理、目标区域等视觉特征。

决策与控制模块

该模块是智能体的“大脑”,对感知模块获取的数据进行处理、分析,并做出相应决策。可细分为以下子模块:

知识库/记忆:储存各类先验知识、经验,以及执行过程中的观测、经历等信息。

推理/规划:分析当前环境,根据目标任务制定行动方案。如路径规划、动作序列规划等。

决策:根据当前环境状态、知识和推理结果,做出最优决策。

控制:将决策结果转换为控制指令,向执行模块下达执行命令。

决策与控制模块的设计是智能体技术的关键。早期使用基于逻辑和规则的符号方法,近年来深度学习技术成为主流。模块的输入是感知获取的各类数据,输出是对执行模块的控制指令。

执行模块

执行模块接收控制指令,并将之转换为具体的环境交互行为,以实现相应任务。它相当于人的“四肢”。执行模块连接智能体的 “效应器”,根据控制指令驱动效应器实施行动改变环境。主要效应器包括:

运动执行机构:机械臂、机器人底盘等,改变智能体自身位置或进行物体操作。

语音/文本输出:语音合成器、显示器等,以语音或文本形式与环境交互。

工具/设备操作接口:控制各类设备、工具,扩展智能体的环境操作能力。

执行模块的具体设计与智能体的物理形式相关。例如，服务型智能体只需文本或语音接口,而机器人需要连接并精确控制运动机构。执行的准确性和弹性是影响任务成功的关键。

在测试实验中，研究人员主要进行了任务、创新和生命周期管理三大类实验，来观察智能体在不同环境中的表现。

任务实验

研究人员构建了文本游戏和生活场景两个模拟环境,来测试智能体完成日常任务的能力。文本游戏环境使用自然语言描述虚拟世界,智能体需要通过阅读文字描述来感知周围环境并采取行动。

生活场景模拟则更加真实和复杂,智能体需要利用常识知识来更好地理解命令,例如，在房间黑暗时主动打开灯光。

实验结果表明,智能体可以利用其强大的文本理解生成能力,在这些模拟环境中有效地分解复杂任务,制定计划,并与动态变化的环境互动,最终完成预定目标。

创新实验

研究人员探索了智能体在专业领域如科学创新的潜力。由于这些领域存在数据稀缺性和专业领域知识理解难度等挑战,研究人员测试了为智能体配备各类通用工具或专业工具的方案,来提升其对复杂领域知识的理解能力。

实验表明,智能体可以利用搜索引擎、知识图谱等工具进行在线研究,并与科学仪器设备接口,完成材料合成等实际操作。这使其成为颇具潜力的科学创新助手。

生命周期实验

研究人员使用开放世界游戏Minecraft来测试智能体的持续学习和生存能力。智能体从最基础的活动如开采木材和制作工作台开始,逐步探索未知环境,获得更复杂的生存技能。

实验中,智能体使用进行高层次计划制定,并可以根据环境反馈不断调整策略。结果表明,智能体可以在完全自主的情况下开发技能,持续适应新的环境,展现出强大的生命周期管理能力。

此外，在社会模拟方面,研究人员探讨了智能体是否会表现出人格和社交行为,并测试了不同的环境设置。结果表明智能体可以展现出某些层次的认知能力、情感和性格特质。在模拟社会中,智能体之间会出现自发的社交活动和群体行为。