113 lines
3.7 KiB
Markdown
113 lines
3.7 KiB
Markdown
# Isaac Sim Agent
|
||
|
||
Isaac Sim Agent 是一个基于 NVIDIA Isaac Sim 的机器人任务生成和数据采集系统。该系统支持任务模板划分、任务实例生成、数据采集和回放功能。
|
||
|
||
## 系统架构
|
||
|
||
系统包含以下主要组件：
|
||
- **任务模板划分器** (TaskTemplatesDivider): 将大型任务模板划分为多个子任务
|
||
- **任务生成器** (TaskGenerator): 从任务模板生成具体的任务实例
|
||
- **数据生成器** (DataGenerator): 在 Isaac Sim 中执行任务并采集数据
|
||
- **数据回放器** (DataReplayer)（暂未接入）: 回放已采集的数据
|
||
- **回放初始化器** (ReplayInitializer)（暂未接入）: 为数据回放准备环境
|
||
|
||
## 1 安装依赖
|
||
|
||
安装以下依赖：
|
||
```bash
|
||
pip install pin -i https://pypi.tuna.tsinghua.edu.cn/simple
|
||
pip install numpy==1.26 -i https://pypi.tuna.tsinghua.edu.cn/simple
|
||
pip install scikit-learn -i https://pypi.tuna.tsinghua.edu.cn/simple
|
||
pip install grasp_nms -i https://pypi.tuna.tsinghua.edu.cn/simple
|
||
pip install open3d -i https://pypi.tuna.tsinghua.edu.cn/simple
|
||
pip install git+https://git.hofee.cn/hofee/pyboot.git
|
||
```
|
||
|
||
执行 `pb scan` 检查依赖是否完整，若缺少某一依赖，安装对应依赖。
|
||
|
||
## 2 配置说明
|
||
|
||
### 2.1 任务模板划分配置 (divide_task_config.yaml)
|
||
```yaml
|
||
runner:
|
||
workspace:
|
||
name: "divide_task"
|
||
root_dir: "workspace"
|
||
divide:
|
||
input_task_templates_root_dir: "/path/to/input/task/templates"
|
||
output_task_templates_dir: "" # 为空则默认在workspace/divide_task/task_templates
|
||
output_template_targets_dir: "" # 为空则默认在workspace/divide_task/template_targets
|
||
divide_num: 100 # 每个进程划分任务数量
|
||
total_nums: 10000 # 总任务模板数量
|
||
```
|
||
|
||
### 2.2 任务生成配置 (generate_task_config.yaml)
|
||
```yaml
|
||
runner:
|
||
workspace:
|
||
name: "generate_task"
|
||
root_dir: "workspace"
|
||
generate:
|
||
input_data_root: "/path/to/input/data"
|
||
input_target_task_templates_path: "workspace/divide_task/template_targets/task_template_target_0.json"
|
||
output_task_root_dir: "" # 为空则默认在workspace/generate_task/task_root_dir
|
||
output_generate_result_path: "" # 为空则默认在workspace/generate_task/generate_result_path.json
|
||
```
|
||
|
||
### 2.3 数据生成配置 (generate_data_config.yaml)
|
||
```yaml
|
||
runner:
|
||
workspace:
|
||
name: "generate_data"
|
||
root_dir: "workspace"
|
||
generate:
|
||
input_data_root: "/path/to/input/data"
|
||
input_target_task_path: "workspace/generate_task/generate_result_path.json"
|
||
server_url: "localhost:50051" # Isaac Sim 服务器地址
|
||
```
|
||
|
||
## 3 使用流程
|
||
|
||
### 3.1 划分任务模板
|
||
在 `configs/divide_task_config.yaml` 里配置任务模板输入目录、整理好的任务模板输出目录（为空则默认在workspace/divide_task/task_templates）、用于多机生产的划分后的Task Template列表（为空则默认在workspace/divide_task/template_targets）
|
||
|
||
```bash
|
||
pb run divide_task
|
||
```
|
||
|
||
### 3.2 生成任务实例
|
||
从指定任务模版生成任务实例：
|
||
|
||
```bash
|
||
pb run generate_task
|
||
```
|
||
|
||
### 3.3 生成数据
|
||
从指定任务实例表里依次运行任务实例（目前只支持运行同一个任务模板下的多个任务实例）：
|
||
|
||
```bash
|
||
pb run generate_data
|
||
```
|
||
|
||
### 3.4 数据回放（暂未接入）
|
||
回放已生成的数据：
|
||
|
||
```bash
|
||
pb run replay
|
||
```
|
||
|
||
## 4 工作空间结构
|
||
|
||
```
|
||
workspace/
|
||
├── divide_task/ # 任务模板划分输出
|
||
│ ├── task_templates/ # 整理后的任务模板
|
||
│ └── template_targets/ # 划分后的任务模板目标
|
||
├── generate_task/ # 任务生成输出
|
||
│ ├── task_root_dir/ # 生成的任务实例
|
||
│ └── generate_result_path.json # 生成结果路径
|
||
└── generate_data/ # 数据生成输出
|
||
└── [生成的数据文件]
|
||
```
|
||
|