简介：NVIDIA AI研究科学家Jim Fan在TED演讲中提出，人工智能的下一个重大挑战是“基础代理”，即具备广泛技能、多身体控制及现实感知能力的智能体。他分享了Voyager、MetaMorph及IsaacSim等项目，展示了AI在技能扩展、具身化控制及现实模拟方面的进展。
在人工智能领域，每一次的技术革新都预示着未来的无限可能。近日，NVIDIA AI研究科学家Jim Fan在TED上的一次演讲，再次将人们的目光聚焦到了人工智能的下一个重大挑战上——“基础代理”（Foundation Agent）。这一概念不仅揭示了AI技术发展的新方向，更预示着一个自主控制新时代的到来。
Jim Fan在演讲中明确指出，当前针对一般能力的人工智能代理的研究主要围绕三个核心维度：技能（能力）、具身化（身体形式或体现）以及现实（感受现实和反应）。而基础代理，正是旨在在这三个维度上同时实现强大能力的AI智能体。
他提到，过去像AlphaGo这样的AI虽然能在特定领域（如围棋）取得卓越成就，但其技能范围过于狭窄。相比之下，基础代理将能够掌握广泛的技能，控制多种身体形态，并适应不同的现实环境。这样的AI智能体不仅能够在虚拟世界中游刃有余，更有望在未来渗透到无人机、仿人机器人等现实世界的各个领域。
为了阐述基础代理在技能维度上的潜力，Jim Fan分享了他领导的Voyager项目。Voyager是一个在《我的世界》游戏中能够大规模扩展多种技能的AI智能体。通过设定一个高层目标（如“尽可能获得多的独特物品”），Voyager能够自主地在游戏中探索、学习并解锁各种技能，如开采材料、对抗怪物、制作食谱等。
Voyager的核心创新在于将编码作为行动。它利用GPT-4等语言模型生成JavaScript代码片段，作为游戏中的可执行技能。同时，通过“自我反思”机制，Voyager能够不断根据反馈调整代码，优化行动策略。这一过程中，Voyager不仅能够掌握已有技能，还能发现新的技能，展现出了终身学习的能力。
在具身化维度上，Jim Fan介绍了MetaMorph项目。这是一个能够同时控制成千上万个具有不同手臂和腿部配置的机器人的基础模型。MetaMorph通过创造特殊的词汇表来描述身体部位，并将这些词汇输入到类似ChatGPT的Transformer结构中，从而生成电机控制指令。
MetaMorph的展示中，它成功控制了数千个机器人上下楼梯、穿越复杂地形以及避开障碍物。这一成果不仅展示了AI在具身化控制方面的巨大潜力，更为未来机器人在不同领域的应用提供了可能。
在现实维度上，IsaacSim作为NVIDIA的模拟平台，发挥了至关重要的作用。IsaacSim能够加速物理模拟到比实时快1000倍以上，使得AI智能体能够在虚拟环境中进行高强度的训练和学习。
通过IsaacSim，AI智能体可以迅速掌握各种技能，并适应不同的现实环境。例如，一个机器人手在IsaacSim中仅需三天的模拟时间，就能完成在现实中需要十年才能完成的刻苦练习。这一能力不仅大大提高了AI智能体的训练效率，更为其在实际应用中的表现提供了有力保障。
Jim Fan在演讲中强调，训练基础代理将与训练ChatGPT非常相似。ChatGPT是文本输入、文本输出的模型，而基础代理则是具身化提示和任务提示输入、行动输出的模型。
他坚信，未来所有可以移动的东西都将实现自主控制。这意味着，从无人机到仿人机器人，从家庭助手到工业生产线，基础代理将无处不在地渗透到我们的日常生活中，为人类社会带来前所未有的变革。
在探讨基础代理的过程中，我们不得不提到NVIDIA在AI领域的重要布局——千帆大模型开发与服务平台。该平台为开发者提供了强大的工具和资源，用于构建和训练各种AI模型，包括基础代理这样的复杂智能体。
通过千帆大模型开发与服务平台，开发者可以更加高效地利用NVIDIA的先进技术和资源，推动AI技术的不断创新和发展。同时，该平台也为AI技术的商业化应用提供了有力支持，使得AI技术能够更好地服务于人类社会。
Jim Fan在TED上的演讲不仅为我们揭示了人工智能探索中的下一个重大挑战——基础代理，更为我们描绘了一个充满无限可能的未来。随着技术的不断进步和创新，我们有理由相信，基础代理将成为推动人类社会发展的重要力量，为我们的生活带来更加便捷、智能和美好的体验。
在这个过程中，NVIDIA及其千帆大模型开发与服务平台无疑将扮演至关重要的角色。它们不仅为AI技术的研究和发展提供了强大的支持，更为我们探索未知、创造未来的勇气和信心注入了新的动力。