搜索引擎网站盈利模式厦门seo优
文章目录
- 1. RLDS Dataset
- 2. 处理成numpy格式
- 3. 存储桶
1. RLDS Dataset
从 Octo 里面找到数据下载的代码
rlds_dataset_mod github
按照官网代码配置环境后，修改 prepare_open_x.sh，相当于只用 gsutil 下载数据：
DOWNLOAD_DIR=/mnt/data/wangsen/world_model/data/OXE_srcfor tuple in "${DATASET_TRANSFORMS[@]}"; do# Extract strings from the tuplestrings=($tuple)DATASET=${strings[0]}VERSION=${strings[1]}TRANSFORM=${strings[2]}mkdir ${DOWNLOAD_DIR}/${DATASET}gsutil -m cp -r gs://gresearch/robotics/${DATASET}/${VERSION} ${DOWNLOAD_DIR}/${DATASET}# python3 modify_rlds_dataset.py --dataset=$DATASET --data_dir=$DOWNLOAD_DIR --target_dir=$CONVERSION_DIR --mods=$TRANSFORM --n_workers=$N_WORKERS --max_episodes_in_memory=$MAX_EPISODES_IN_MEMORY# rm -rf ${DOWNLOAD_DIR}/${DATASET}# mv ${CONVERSION_DIR}/${DATASET} ${DOWNLOAD_DIR}
done
可能要用：
pip install gsutil
2. 处理成numpy格式
ivideogpt/datasets
python datasets/oxe_data_converter.py
3. 存储桶
gresearch
