边缘计算Tensorflow Lite

边缘计算

1.云计算与边缘计算

1.1 云计算

云计算是一种使用互联网可以随时随地共享的计算设施,它包含在我们的物联网监控系统中。

[En]

Cloud computing is a computing facility that can be shared anytime and anywhere using the Internet, and it is included in our Internet of things monitoring system.

我们需要通过一些物联网设备远程采集一些数据,获取这些数据,将这些数据传输到远程服务器,计算机器学习算法,然后将计算结果反馈给系统平台。在这一过程中存在几个问题:

[En]

We need to collect some data remotely through some Internet of things devices, obtain these data, transmit them to the remote server, calculate the machine learning algorithm, and then feedback the calculation results to the system platform. There are several problems in this process:

  1. 数据量大
  2. 物联网设备当地的宽带不够
  3. 对于监控系统,需要实时的,低延迟的获取计算结果,云计算由于宽带远程服务器,存在高的延迟。
  4. 同时云计算,传输数据,对于设备的功能消耗过大

例如,在过去,军队打仗,如果发生时外国人入侵边境,如果他们加快速度,通过骑马的人将信息传递给皇朝,等等,当皇帝在边境向军队下达命令时,边境的城防就会变得寒冷。这样的战略部署指令就像云计算。

[En]

For example, in the past, the army fought a war, and if foreigners invaded the border when it happened, if they stepped up their speed and passed the message to the imperial dynasty through people on horseback, and so on, when the emperor issued an instruction to the army at the border, the urban defense at the border would have been cold. Such a strategic deployment instruction is like cloud computing.

1.2 边缘计算

另一方面,边际计算就像边城保卫军中的一名将军,可以指挥战略部署,他有权应对当前的局势。先斩后奏

[En]

On the other hand, marginal computing is like a general in the border city defense army who can command strategic deployment, and he has the right to deal with the current situation. First then make all known to the Emperor

边缘计算的好处:

  1. 缓解服务器计算压力,提升服务响应能力
  2. 保护隐私数据
  3. 实时计算,反应计算结果

边缘计算的核心:就是需要终端,具有高运算力的处理器芯片CPU

2.边缘AI

边缘AI是指在硬件设备上本地处理的AI算法,可以在没有网络连接的情况下处理数据。这意味着可以在无需流式传输或在云端数据存储的情况下进行数据创建等操作。这一点很重要,因为出现了越来越多的设备数据无法依赖云端处理的情况。比如,工厂的机器人和自动驾驶汽车都需要以最小的延迟高速处理数据。

为了实现这些目标,边缘计算可以在云上通过深度学习生成数据,并在数据来源即设备本身(EDGE)进行模型推理和预测。

[En]

To achieve these goals, edge computing can generate data through deep learning on the cloud, and perform model inference and prediction at the data origin, that is, the device itself (edge).

以工厂的工业机器人为例。AI技术可以在这里以人类无法企及的速度,对来自监控摄像头和传感器的大量多模态数据进行可视化和评估,可以用它来检测生产线上人类可能忽略的故障数据。这类物联网结构可以存储生产线上产生的大量数据,并通过机器学习进行分析。它们也是能够提高工厂智能化程度的AI模型的核心。

2.1 物联网与5G

边缘人工智能经常与物联网(IoT)和5G网络放在一起讨论.

物联网是指通过互联网相互连接的设备,包括智能手机、机器人和电子设备。作为与人工智能进行分析的平台,EDGE人工智能可以收集和存储物联网产生的海量数据,使使用可扩展的云成为可能。这可以提高数据处理和基础设施的灵活性。

[En]

The term Internet of things refers to devices connected to each other through the Internet, including smartphones, robots and electronic devices. As a platform for analysis with artificial intelligence, edge artificial intelligence can collect and store large amounts of data generated by the Internet of things, making it possible to use a scalable cloud. This can improve the flexibility of data processing and infrastructure.

5G网络可以增强上述过程,因为其三大特点——超高速、大并发和超低时延——明显优于4G网络.

4G5G数据速率1Gbps20Gbps并发连接数100,000台设备/平方公里1,00,000台设备/平方公里时延10ms1ms

5G对于物联网和边缘AI的发展是不可或缺的,因为当物联网设备传输数据时,数据量暴涨,从而影响传输速度。传输速度的下降又会产生时延,而时延是实时处理面临的最大问题。

边缘计算Tensorflow Lite

; 2.Tensorflow与Tensorflow Lite

在物联网设备获取数据后,我们的算法需要对数据进行深度学习,机器学习的计算处理,因此我们需要把我们的算法部署到边缘计算的设备中,在这里Tensorflow Lite是针对移动和嵌入式设备的轻量级解决方案。

Tensorflow与Tensorflow Lite就像是一个在云计算部署算法的组件一个在边缘计算上部署算法的组件。

  • TensorFlow在更多适合大型设备上运行算法
  • TensorFlow专注于小型设备(ios,嵌入式,硬件)

TensorFlow Lite 是一种全新的设计,它支持以下功能:

  • 轻量级(Lightweight):支持机器学习模型的推理在较小二进制数下进行,能快速初始化/启动。
  • 跨平台(Cross-platform):可以在许多不同的平台上运行,现在支持 Android 和 iOS
  • 快速(Fast):针对移动设备进行了优化,包括大大减少了模型加载时间、支持硬件加速。 如今,越来越多的移动设备中

含有专用的定制硬件来更高效地进行机器学习。TensorFlow Lite 支持 Android 神经网络API(Android Neural Networks API),大家在使用 TensorFlow Lite 时可以利用这些有用的加速器。

当加速器(硬件设备)不可用时,TensorFlow Lite 会返回到 CPU 来执行,这将保证模型仍然可以在一大批设备上快速运行。

2.1 Tensorflow Lite结构

下图是 TensorFlow Lite 的结构设计:

边缘计算Tensorflow Lite
模块如下:
  • TensorFlow Model: 存储在硬盘上已经训练好的 TensorFlow 模型
  • TensorFlow Lite Converter: 将模型转换为 TensorFlow Lite 文件格式的程序。
  • TensorFlow Lite Model File: 基于 FlatBuffers 的模型文件格式,针对速度和大小进行了优化,可以将 TensorFlow Lite Model File 部署到 Mobile App ,如上图中所示:
  • Java API: 处于 Android App 中 C++ App 上,方便封装。
  • C++ API: 加载 TensorFlow Lite Model File,调用解释器(Interpreter)。上面的这两个库在 Android 和 iOS 端都可用。
  • Interpreter:使用一组运算符来执行模型。运算符可以选择,如果不含运算符,只有70KB,加载所有的运算符之后为300KB。比起需要1.5 M(使用一组正规的操作符)的 TensorFlow Mobile,能使容量大大减小
  • 在 Android 设备上,Interpreter 支持 Android神经网络API,可以用它进行硬件加速。如果没有可用的加速器,则默认使用CPU。

; 2.2 模型

TensorFlow Lite 目前支持很多针对移动端训练和优化好的模型。

  • MobileNet:能够识别1000种不同对象类的视觉模型,为实现移动和嵌入式设备的高效执行而设计。
  • Inception v3:图像识别模型,功能与 MobileNet 相似,它提供更高的精度,但相对来说更大。
  • Smart Reply:设备对话模型,可以即时回复聊天消息,在 Android Wear 上有使用这一功能。

Inception v3 和 MobileNets 已经在 ImageNet 数据集上训练了。大家可以利用迁移学习来轻松地对自己的图像数据集进行再训练。

Original: https://blog.csdn.net/weixin_42010722/article/details/124546965
Author: 姜君泽
Title: 边缘计算Tensorflow Lite

原创文章受到原创版权保护。转载请注明出处:https://www.johngo689.com/497426/

转载文章受原作者版权保护。转载请注明原作者出处!

(0)

大家都在看

亲爱的 Coder【最近整理,可免费获取】👉 最新必读书单  | 👏 面试题下载  | 🌎 免费的AI知识星球