Nuscenes 完整版数据集批量下载

Nuscenes 完整版数据集批量下载

需求: 高速下载Nuscenes完整版数据集。之前mini版本尝鲜版,采用google浏览器自带工具下载,速度慢,且容易断。

1. 数据地址

官方地址:https://www.nuscenes.org/nuscenes

2. 获取下载链接

参考如何得到需要下载文件的链接(路径)

具体步骤
1)点击Asia,然后取消下载。

Nuscenes 完整版数据集批量下载
2)浏览器点击右上角三个点控制按钮,然后点击Downloads。
3)在弹出的Downloads页面,按F12,打开浏览器控制台。
4)点击控制台左上角 方格箭头按钮,然后移动鼠标到左侧的地址上,右侧会出现链接地址。
Nuscenes 完整版数据集批量下载
5)右击链接,选择复制链接地址。
Nuscenes 完整版数据集批量下载

; 3. 制作下载脚本

参考
1.ubuntu20.04 批量下载 NuScenes V1.0 full 数据集
2.linux系统下nuScenes数据集快速下载方法

选择要下载的文件夹,新建脚本dataset.sh,内容如下,主要格式为:wget -c -O [数据集名字] [网页下载链接]。
这里下载了完整的训练数据集中的lidar模态部分。

wget -c -O v1.0-trainval01_blobs_lidar.tgz "https://s3.ap-southeast-1.amazonaws.com/asia.data.nuscenes.org/public/v1.0/v1.0-trainval01_blobs_lidar.tgz?AWSAccessKeyId=AKIA6RIK4RRMFUKM7AM2&Signature=buHbpzZWUVrSzlvJsSXphQVZd%2B8%3D&Expires=1656905855"
wget -c -O v1.0-trainval02_blobs_lidar.tgz "https://s3.ap-southeast-1.amazonaws.com/asia.data.nuscenes.org/public/v1.0/v1.0-trainval02_blobs_lidar.tgz?AWSAccessKeyId=AKIA6RIK4RRMFUKM7AM2&Signature=aCeQIJg4%2B6pR8G3ykqh4rpk8Hyo%3D&Expires=1656906112"
wget -c -O v1.0-trainval03_blobs_lidar.tgz "https://s3.ap-southeast-1.amazonaws.com/asia.data.nuscenes.org/public/v1.0/v1.0-trainval03_blobs_lidar.tgz?AWSAccessKeyId=AKIA6RIK4RRMFUKM7AM2&Signature=JQCfIXeOIy3dv0s5LnNZIvRAmrA%3D&Expires=1656906204"
wget -c -O v1.0-trainval04_blobs_lidar.tgz "https://s3.ap-southeast-1.amazonaws.com/asia.data.nuscenes.org/public/v1.0/v1.0-trainval04_blobs_lidar.tgz?AWSAccessKeyId=AKIA6RIK4RRMFUKM7AM2&Signature=SGen1IV7ZFwPz5BQ8YqkplCXvXk%3D&Expires=1656906246"
wget -c -O v1.0-trainval05_blobs_lidar.tgz "https://s3.ap-southeast-1.amazonaws.com/asia.data.nuscenes.org/public/v1.0/v1.0-trainval05_blobs_lidar.tgz?AWSAccessKeyId=AKIA6RIK4RRMFUKM7AM2&Signature=HynZB1K4AAkMhAZ%2FOVcpDTxnEPI%3D&Expires=1656906327"
wget -c -O v1.0-trainval06_blobs_lidar.tgz "https://s3.ap-southeast-1.amazonaws.com/asia.data.nuscenes.org/public/v1.0/v1.0-trainval06_blobs_lidar.tgz?AWSAccessKeyId=AKIA6RIK4RRMFUKM7AM2&Signature=qH52r4P4MltaDXw68HS64xrZZbg%3D&Expires=1656906361"
wget -c -O v1.0-trainval07_blobs_lidar.tgz "https://s3.ap-southeast-1.amazonaws.com/asia.data.nuscenes.org/public/v1.0/v1.0-trainval07_blobs_lidar.tgz?AWSAccessKeyId=AKIA6RIK4RRMFUKM7AM2&Signature=rM6gmdUjwh%2BRe1kIsQ3TibIq6Js%3D&Expires=1656913003"
wget -c -O v1.0-trainval08_blobs_lidar.tgz "https://s3.ap-southeast-1.amazonaws.com/asia.data.nuscenes.org/public/v1.0/v1.0-trainval08_blobs_lidar.tgz?AWSAccessKeyId=AKIA6RIK4RRMFUKM7AM2&Signature=Di988OpbFNQApXNRJyWdokpj2cM%3D&Expires=1656913042"
wget -c -O v1.0-trainval09_blobs_lidar.tgz "https://s3.ap-southeast-1.amazonaws.com/asia.data.nuscenes.org/public/v1.0/v1.0-trainval09_blobs_lidar.tgz?AWSAccessKeyId=AKIA6RIK4RRMFUKM7AM2&Signature=8Th2Z%2FbELaQ16Pv7A%2FjwTYVTN6k%3D&Expires=1656913078"
wget -c -O v1.0-trainval10_blobs_lidar.tgz "https://s3.ap-southeast-1.amazonaws.com/asia.data.nuscenes.org/public/v1.0/v1.0-trainval10_blobs_lidar.tgz?AWSAccessKeyId=AKIA6RIK4RRMFUKM7AM2&Signature=Kc%2FF685kVVJG%2FenjmWQt2kHnyKM%3D&Expires=1656913104"

注意:上述脚本地址可能有问题, 因为nuscenes定期会更换下载地址,故需要采用2中提供的方法 重新粘贴下载地址

4. 使用脚本开始下载数据

bash dataset.sh

注意:如果中途断掉,重新执行脚本即可。

5. 校验、解压数据

5.1 校验

md5sum v1.0-trainval07_blobs_lidar.tgz
## 结果,运行过程比较慢,稍微等待几分钟
md5: 30672d212a2cecde92c28ee473aa76d1  v1.0-trainval07_blobs_lidar.tgz

5.2 解压数据

命令: tar -zvxf nuscenes数据.tgz [-C 保存文件路径]

tar -zvxf v1.0-trainval03_blobs.tgz

Original: https://blog.csdn.net/weixin_36354875/article/details/125618928
Author: Darchan
Title: Nuscenes 完整版数据集批量下载

原创文章受到原创版权保护。转载请注明出处:https://www.johngo689.com/520492/

转载文章受原作者版权保护。转载请注明原作者出处!

(0)

大家都在看

亲爱的 Coder【最近整理,可免费获取】👉 最新必读书单  | 👏 面试题下载  | 🌎 免费的AI知识星球