消息快播:OpenCV众筹了一款ROS2机器人rae,开源、功能强、上手简单。来瞅瞅~
编辑:OAK中国
来源:oakchina.cn
版权说明:转载请注明出处
前言
Hello,大家好,这里是OAK中国,我是助手君。
我们知道OAK的开源生态非常好,经常有用户在github等网站分享自己的项目,同时官方的demo示例也在不断增加。根据助手君目测,示例应该已经超过50个了!(准确数据,大家可查看💁此处,自己数啦)
所以本期内容,我们就来看看用OAK可以做哪些上手即用的示例。内容会不定期更新,请点赞提醒我更新内容哦!💖
*
– 前言
– 1.卡通化图片
– 2.年龄性别识别
– 3.实时模糊人脸
– 4.计算主机上的空间坐标
– 5.点云
– 6.分类存储JPEG图片
– 7.训练数据收集脚本
– 8.口罩检测
– 9. 在DepthAI上用密度图进行人群计数
– 10.累积行人计数
– 11.Deeplabv3深度图
– 12.深度驱动聚焦
– 13.depth-mbnv2
– 14.在更高的分辨率框架上显示检测结果
– 15.人脸识别
– 16.人脸网格
– 17.FastDepth
– 18.疲劳检测
– 19.烟火检测
– 20.full-fov-nn
– 21.情绪识别
– 22.注视估计
– 23.头部姿态检测
– 24.人机安全
– 25.人体姿态估计
– 26.社交距离
– 27. 车辆车牌识别
– 28. 人脸检测
– 29.立体神经推理结果可视化
– 30.人物跟踪
– 31.手掌检测
– 32.OCR
– 33.行人重识别
– 34.无损缩放
– 36.道路分割
– 37.yolox安全帽检测
– 38.边缘检测
– 39.文字模糊处理
– 40.彩色点云
– 41.车道线检测
– 42. OAK for Unity
– 43.多OAK设备示例
– 44.人体跟踪器
– 45.显示器检测
– 46.二维码检测
– 47.YOLO示例
– 48.WLS滤波
– 49.同步
– 50.color-isp-raw
– 51.自定义模型
– 52.Objectron三维物体检测
– 53.Gen2-foxglove
– 54.gen2-roboflow-integration
– 55.异常检测gen2-anomaly-detection
– 56.盒子测量
– 参考资料
; 1.卡通化图片
将输入的图片卡通化。
代码
; 2.年龄性别识别
; 3.实时模糊人脸
; 4.计算主机上的空间坐标
这个例子显示了如何在主机上计算一个ROI的空间坐标,并从设备上获得深度帧。其他选择是使用SpatialLocationCalculator来计算设备上的空间坐标。
如果你在主机上已经有了深度帧和ROI(感兴趣的区域,如物体的边界框)/POI(感兴趣的点,如特征/关键点),那么在主机上计算该区域/点的空间坐标可能更容易,而不是将深度/ROI送回设备。
注意应避免使用单点/微小的ROI(如3×3),因为深度帧可能有噪音,所以你应该使用至少10×10深度像素的ROI。还要注意,为了最大限度地提高空间坐标的准确性,你应该准确地定义最小和最大阈值。
代码
; 5.点云
; 6.分类存储JPEG图片
这个例子演示了如何运行MobilenetSSD并收集检测到的物体的图像,按检测标签分组。运行这个脚本后,DepthAI将启动MobilenetSSD,每当它检测到物体时,它就会添加一个数据集条目。
数据集存储在data目录下,主数据集文件位于data.dataset.csv下。对于每一个检测到的物体,都会创建一个新的数据集条目,每个条目都有具有确切用途的文件。
代码
; 7.训练数据收集脚本
这个脚本允许使用DepthAI创建一个训练数据集,其中的每个条目都将包含左、右、RGB和视差帧的存储。
代码
8.口罩检测
此示例展示了用于构建模型管道的基本架构,该模型管道支持在不同设备上放置模型以及使用python中的DepthAI库同时并行或顺序串行。此示例使用2个模型构建了一个管道,该管道能够检测图像上的人脸及面部是否佩戴口罩。
代码
; 9. 在DepthAI上用密度图进行人群计数
本例展示了Gen2 API系统中DepthAI上的人群计数与密度图的实现。我们使用DM-Count(LICENSE)模型,它有一个VGG-19骨架,并在Shanghai B数据集上训练。
该模型产生密度图,从中可以计算出预测的计数。
输入视频被调整为426 x 240(宽x高)。由于模型相对较重,推理速度约为1 FPS。
代码
; 10.累积行人计数
; 11.Deeplabv3深度图
; 12.深度驱动聚焦
这个示例将持续聚焦在第一个检测到的人脸上。它将获得与该人脸的距离,并相应地设置镜头位置以对其进行聚焦。这个演示只适用于有自动对焦彩色摄像头和立体摄像头的设备。
代码
; 13.depth-mbnv2
本示例展示了在Gen2 API系统中使用转移学习预训练的MobileNetV2在DepthAI上实现单眼深度估计的情况。Blob是由PINTO的模型ZOO用ONNX创建的,然后用所需的标志转换为OpenVINO IR并转换为blob。
代码
; 14.在更高的分辨率框架上显示检测结果
如果你正在运行物体检测模型,例如。MobileNet或Yolo,它们通常需要较小的帧来进行推理(例如,300×300或416×416)。与其在这样的小帧上显示边界框,你还可以流式传输更高分辨率的帧(例如ColorCamera的视频输出),并在这些帧上显示边界框。有几种方法可以实现这一点,在这个演示中,我们将对它们进行介绍。
代码
; 15.人脸识别
这个示例展示了第二代模型管道构建器的基本架构,将多个神经网络模型并行或串联组合在一起,ROI从一个网络传递到一个或多个后续的网络中。此示例使用3个模型构建了一个管道,该管道能够检测视频上的面部,及其面部特征点,并使用提供的面部数据库识别人员。
代码
视频教程
; 16.人脸网格
代码
请添加图片描述
; 17.FastDepth
; 18.疲劳检测
利用DepthAI我们实现了人在疲劳状态下的检测,这是驾驶员的福音。
代码
; 19.烟火检测
; 20.full-fov-nn
这个示例展示了如何在全FOV帧上运行NN推理。
代码
; 21.情绪识别
DepthAI通过运行模型实现情绪识别。
代码
我们测试的效果请看这个视频:情绪识别-OAK中国
; 22.注视估计
DepthAI运行模型可以实现估计眼睛的凝视方向。代码
; 23.头部姿态检测
利用DepthAI我们可以检测头部姿态。代码
; 24.人机安全
; 25.人体姿态估计
; 26.社交距离
DepthAI监视图像中检测到的人的3D位置,防止两人之间距离过近。
代码
我们测试的效果请看这个视频:社交距离-OAK中国
在下图的场景中有3个人,DepthAI会监控他们的3D位置,当他们之间的距离低于1米时(这个值可调)就会显示too close,同时也会一直叠加人与人之间的距离,以及每个人距离摄像头的3D位置(以米为单位)。
; 27. 车辆车牌识别
本演示展示了车辆和车牌检测网络,以及在检测结果之上应用的车辆属性识别和车牌识别网络。代码
; 28. 人脸检测
DepthAI通过运行模型可以实现对人脸,人体的检测。文档链接
我们测试的效果请看这个视频:简单的人员/人脸检测-OAK中国
; 29.立体神经推理结果可视化
此示例展示了DepthAI立体神经推断。代码
关于立体神经推断,更多信息请参考:立体神经推理
你可以看到五个窗口:
- previewout-left将显示左单声道摄像机的输出
- previewout-right将显示右侧单声道摄像机的输出
- left窗口将显示基于左单帧的神经网络结果
- right窗口将显示基于右边单帧的神经网络结果
- pygame窗口将显示三角测量的结果
; 30.人物跟踪
DepthAI能够统计有多少人从镜头前走过,让你收集到有多少人进入一个房间或穿过一条走廊的信息。GitHub链接
; 31.手掌检测
利用的DepthAI我们实现了对手掌的检测。代码
; 32.OCR
; 33.行人重识别
; 34.无损缩放
; 36.道路分割
; 37.yolox安全帽检测
; 38.边缘检测
; 39.文字模糊处理
; 40.彩色点云
; 41.车道线检测
; 42. OAK for Unity
PS:Gerard是负责支持OAK for unity所有内容的,如需技术支持请发邮件gerard@luxonis.com
; 43.多OAK设备示例
; 44.人体跟踪器
计算视频流中有多少人向上/向下/向左/向右走,使你能够收到关于有多少人进入一个房间或穿过一个走廊的信息。
代码
; 45.显示器检测
; 46.二维码检测
; 47.YOLO示例
车辆检测、主机端编码、设备端编码
代码
; 48.WLS滤波
; 49.同步
50.color-isp-raw
51.自定义模型
这个示例可以作为一个教程,说明如何用PyTorch/Kornia创建自定义模型,将其转换并在OAK上运行。
代码
; 52.Objectron三维物体检测
Objectron执行三维物体检测。它预测图像平面内物体周围的三维边界框的关键点!我们使用两阶段结构,所以它专门用于某些类别。这个演示使用的是椅子模型。然而,由Mediapipe预训练的其他模型包括自行车、书籍、瓶子、照相机、麦片盒、椅子、杯子、笔记本电脑和鞋子。
代码
; 53.Gen2-foxglove
这个例子向你展示了如何使用OAK相机向Foxglove Studio传输数据。这个例子使用Foxglove的websocket来传输帧或点云。
代码
; 54.gen2-roboflow-integration
实时预览显示MobileNet SSD的检测结果。在按下回车键后,应用程序抓取帧,并将其与注释一起上传到Roboflow数据集。
代码
55.异常检测gen2-anomaly-detection
异常检测的目标是识别可能不属于可接受对象的理想分布的对象的例子。例如,在制造业中,我们可能希望自动检测出某些缺陷的发生。
; 56.盒子测量
用OAK相机测量盒子尺寸。
代码
参考资料
https://www.oakchina.cn/intro/
https://gitee.com/oakchina/depthai-experiments
https://www.oakchina.cn/oak-opensource-projects/
https://www.oakchina.cn/selection-guide/
OAK中国
| OpenCV AI Kit在中国区的官方代理商和技术服务商
| 追踪AI技术和产品新动态
戳「 +关注」获取最新资讯↗↗
Original: https://blog.csdn.net/oakchina/article/details/123901027
Author: OAK中国_官方
Title: OpenCV OAK相机经典使用案例集锦(持续更新中)
原创文章受到原创版权保护。转载请注明出处:https://www.johngo689.com/689455/
转载文章受原作者版权保护。转载请注明原作者出处!