Isaac Sim 可视化
案例介绍
NVIDIA Isaac Sim是基于NVIDIA Omniverse构建的机器人仿真平台，本文是在开发机上基于isaac sim实现可视化能力的实践教程
NVIDIA Isaac Sim是基于NVIDIA Omniverse构建的机器人仿真平台，支持从URDF、MJCF和CAD等常见格式导入机器人系统。通过GPU加速物理引擎来实现精确仿真，并支持大规模、多传感器RTX渲染。集成数据生成、强化学习、ROS集成和数字孪生模拟等端到端工作流程。其优势包括：
- 资产导入&导出：支持从非USD格式导入机器人和环境，或将其导出为非USD格式；
- 机器人微调：优化机器人的物理精度、计算效率或真实感；
- 机器人仿真：提供全流程运动控制工具链，如控制器、运动生成和运动学求解器以及策略集成接口；
- 传感器系统：支持RTX和物理学传感器。
官方地址：
https://docs.isaacsim.omniverse.nvidia.com/4.5.0/index.html
部署环境要求&最佳实践建议
| 部署要求 | 最佳实践 | |
|---|---|---|
| CPU | 建议8核及以上 | 按需 |
| 内存 | 建议64G及以上 | 按需 |
| GPU | Isaac Sim : / L20等 支持RT Core的NVIDIA GPU卡 1卡及以上 | 按需 |
| CDS | 按需 | 按需 |
| 其它 | 无 | 无 |
使用需知：
- Isaac Sim 的仿真渲染依赖DLSS（超采样技术，Deep Learning Super Sampling），因此推荐使用GeForce RTX系列显卡
- 本案例使用L20等Ada Lovelace架构三代RT Core的显卡，且使用的BLB网络带宽为50Mbps时，无噪点，无卡顿，表现更为符合期望
- isacc官方要求，显卡驱动版本需要高于535.129 ，如果Ubuntu版本>=22.04.5 kernel 6.8.0-48-generic，则驱动至少要求在535.216.01以上
- 535驱动版本中（550无此问题），含535.255及以上的驱动版本，存在一个已知的显卡驱动判断错误，需要添加--/rtx/verifyDriverVersion/enabled=false参数，跳过显卡驱动判断（操作方式见后续步骤）
- 官方未对cuda和cudnn有限制，不同的cuda版本和cudnn版本是否对可视化界面的表现有影响未验证
- 由于该工具的较多场景需要访问外网，可以通过设置服务网卡，并设置HTTPS网络代理支持访问。服务网卡的配置参考
- 建议在距离您最近的地域创建开发机实例使用当前方案。如果远程桌面不流畅，建议配置 RDP 比特率为16位
使用说明
本文会先介绍如何【启动可视化客户端】，然后以【执行官方四足和人形可操作演示】、【宇树GR1机器人简易操作演示】两个例子，简单介绍Isaac Sim的使用。
在试用案例之前，请确保已挂载了案例所需的数据集，否则脚本无法正常运行，可在脚本内更改数据集地址配置
1. 创建与登录开发机
1.1 从快速开始创建一个【Isaac Sim可视化】开发机实例
点击在开发机中打开，创建开发机，主要配置如下：
-
资源配置：
- GPU选择： 建议使用 NVIDIA L20
- CPU/内存：推荐8核64G及以上，保证运行所需的基础资源配置
- 启动自定义端口，选择支持公网访问的BLB（建议选择网络带宽≥50Mbps的BLB，带宽越大越好，越少共享复用越好）
-
新增访问端口：
- 服务名称：rdp
- 开发机容器监听端口：3389
- BLB监听端口：随机分配即可
1.2 登录开发机
填写完表单，提交后，在开发机列表可见创建的开发机，等待资源调度并部署成功后，点击登录，即可进入开发机webIDE
主要路径介绍
- Isaac Sim USD资产挂载路径：/mnt/bos/isaac-sim，该目录下存有Isaac Sim预置的部分USD资产。
1.3 验证GPU硬件和显卡驱动版本
根据部署环境要求成功创建开发机后，点击登录开发机，进入开发机webIDE，打开Terminal界面：
在打开的Terminal界面内输入以下命令，确认NVIDIA的GPU硬件和显卡驱动版本
1nvidia-smi执行结果查看，红圈中是显卡驱动版本和GPU硬件型号
请参考我们下面提出的建议，选择驱动版本
- isacc官方要求，显卡驱动版本需要高于535.129 ，如果Ubuntu版本>=22.04.5 kernel 6.8.0-48-generic，则驱动至少要求在535.216.01以上
- 535驱动版本中（550无此问题），含535.255及以上的驱动版本，存在一个已知的显卡驱动判断错误，需要添加--/rtx/verifyDriverVersion/enabled=false参数，跳过显卡驱动判断（操作方式见后续步骤）
- 官方未对cuda和cudnn有限制，不同的cuda版本和cudnn版本是否对可视化界面的表现有影响未验证
如显卡驱动不符合建议，建议联系售后支持同学重装节点驱动
2. 配置访问Isaac Sim环境
登录开发机，进入开发机webIDE，打开Terminal界面
2.1 设置RDP远程桌面登陆的账号密码
使用chpasswd工具设置RDP远程桌面登陆的账号密码
1echo "root:xrdp-aihc" | chpasswd其中，
root：为设置用户名。xrdp-aihc：为登陆密码，请替换为你的密码。chpasswd：Linux 系统中一个用于批量设置或者更新用户密码的实用命令行工具，支持从标准输入或指定的文件中读取用户名和密码的组合，然后自动完成密码修改
2.2 启动RDP服务
启动 RDP 服务
1/usr/bin/supervisord -c /etc/supervisor/conf.d/xrdp.conf2.3 通过桌面客户端访问
在本地电脑或者需要连接开发机Isaac SIm环境的电脑，安装Windows App。以Mac为例，从app store安装
本次安装后，
- 在Windows APP 中依次点击右上角的**加号** 和 **添加电脑** 菜单，新建远程连接
- 将从开发机复制的 RDP 的公网地址加端口（公网地址可从开发机详情页的自定义端口配置区域获取）输入到访问地址栏
- 输入2.1步骤中中设置的用户名和密码
- 登陆远程桌面
2.3 启动isaac-sim
在上面已经打开的RDP界面中，执行如下操作，从命令行启动isaac-sim客户端IsaacSim可视化界面：
可视化界面为先出现窗口边框，加载过程结束后再出现窗口内容，创建开发机第一次加载可能会需要几分钟(下载一些服务依赖)，之后再启动一般需要十秒左右。另外，IsaacSim在初始化和使用过程中可能会访问外网，建议设置HTTP和HTTPS网络代理
1# 先设置网络代理，再启动isaac-sim服务
2/isaac-sim/isaac-sim.sh --allow-root请使用nvidia-smi命令查看显卡驱动版本，如显卡驱动版本为535.261.03则建议使用
1# 先设置网络代理，再启动isaac-sim服务
2/isaac-sim/isaac-sim.sh --allow-root --/rtx/verifyDriverVersion/enabled=false启动结果：
命令行出现红框内字样，说明启动成功
如果您的远程桌面在运行过程中出现卡顿现象，建议您降低远程连接的分辨率和颜色质量
3. 案例演示
3.1 执行官方四足和人形可操作演示
3.1.1 步骤一：开启机器人案例选项卡
3.1.2 步骤二：加载Humanoid人形机器人案例
点击Load按钮加载，Reset按钮重置案例（或选择右侧的Quadruped四足机器人案例，也是点击Load按钮加载，Reset按钮重置案例）
一般来说，对一个模型或者脚本点击Load按钮，客户端窗口会停止响应一些时间进行网络加载
但在开发机刚新建时，这里的加载时间过长，也有几率是客户端卡死
如果客户端卡死，则可以点击右上角的x关闭客户端后，在命令行再次执行命令启动，一般一到两次之后，一旦有一次Load成功，之后客户端就不会再卡死
3.1.3 步骤三：操作机器人
窗口缩放操作：
- 在窗口内使用鼠标滚轮
Humanoid人形机器人操作：
- 前进：向上箭头/数字键 8
- 左转：左箭头/数字 4
- 右转：右箭头/数字 6
Quadruped四足机器人操作：
- 前进：向上箭头/数字键 8
- 后退：后退箭头/数字 2
- 向左移动：左箭头/数字 4
- 向右移动：右箭头/数字键 6
- 左转：N / NUM 7
- 右转：M / NUM 9
3.1.4 运行效果图片&视频
3.2 宇树GR1机器人简易操作演示
3.2.1 步骤一： 在Assets中找到GR1机器人，并加载到工作空间中
操作步骤：
操作结果：
3.2.2 步骤二： 使用Physics Inspector工具，对关节进行简易操作
操作步骤：
额外步骤：
如果按照上面操作后，Physics Inspector显示成下面的样子，则需要点击一下【Re-Enable authoring】按钮，就会显示关节角度界面
操作结果图片&视频：
