摘要：AI技术发展，正由应用落地阶段向效率化生产阶段演进，AI工程化能力将会不断深入业务，释放企业生产力。

在新科技革命和产业变革的大环境下，人工智能技术的迭代和商业化进程正在加快，正在加快与千航、百业的深度融合。

如果说，简单的AI能力调用是新手入门，AI开发是登堂入室，深入行业应用就是真正的大师了。然而，AI开发过程中如果没有使用开发平台，开发过程就会比较繁琐，对于开发者和企业来说更是耗时耗力，所以找到一个合适的AI开发平台十分关键。

作为华为云机器学习和深度学习技术专家、ModelArts产品架构师，白小龙在10余年AI领域的工作中，也见证了近几年业界AI发展的历程。本期的《云享人物·大咖面对面》，华为云开发者社区将和这位AI行业的深耕者聊一聊AI技术开发的世界。

AI开发平台让开发者走出代码泥沼，低门槛高效率完成AI开发

随着技术发展和应用，AI开发的组件数量和模型算法的复杂度都在增加，AI开发流程太多，前期准备工作复杂。最典型的就是在做机器学习项目的过程中，通常需要花费大量的时间去做数据收集和数据预处理，这些前期准备的工作非常耗费人力和时间。AI开发涉及的因素众多，作为AI算法人员，为了将项目落地需要则需要做非常多的工程化工作，以云平台为依托进行AI开发，则可以大幅提升开发效率。

“对于开发者来说，好的AI开发平台能够很好的承载完整的AI开发过程，如具备数据采集、数据预处理、算法开发、模型训练、模型打包和部署等功能，帮助开发者把所有苦活累活都干完，让开发者聚焦在最核心的问题建模。” 白小龙谈到。

为此，华为云推出了AI开发生产线ModelArts。自2018年ModelArts发布以来，从1.0版本迭代到5.0版本，一直围绕着开发者的需求与痛点，在AI全生命周期各环节不断丰富产品功能，打造 AI开发运维的DevOps全流程。 作为国内率先支持MLOps的AI开发平台，ModelArts在数据处理、算法开发、训练、推理和全流程MLOps上不断创新，在AI开发方面提供 平台能力、开发流程、开发工具等，帮助开发者提升AI生产效率。

华为云AI开发生产线ModelArts流程示意图

数据处理作为AI开发的第一步，通常需要大量人力对各种原始数据进行标注，业内甚至有说法是”有多少人工，就有多少智能”。为了缓解这种情况，ModelArts采用基于主动学习的智能标注技术，让人工标注数据量降到最小。 ModelArts的智能标注功能，可节省70%以上的标注时间。

• “基于’AI for AI’的思想，ModelArts把很多AI算法应用于人工智能平台中。”白小龙进一步解释道，机器学习算法是有很多的冗余性，这些更多的是来自于数据的冗余，冗余的数据又进一步导致了数据准备时间的增加。为此，ModelArts提供一些数据处理的内置算法，能够自动的去获取到数据里边的冗余，从而把它提取出来，让数据的准备过程变得更加高效。
• 在算法层面，ModelArts已经在图像分类、目标检测、视觉分类、姿态预估等多个领域提供预置算法。目前已提供了60+官方算法，比如说ResNet50、YOLOV5等等。基于预置算法降低AI开发难度，ModelArts可以很好的帮助初级开发者快速地找到合适且具备实际应用的算法，从而低门槛完成多种场景的AI算法开发与应用。以”ResNet50″算法、花卉识别数据集为例，开发者只需下载数据集和订阅算法（免费），然后使用算法创建训练模型，将所得的模型部署为在线服务即可完成。
• 在开发环境和工具方面，ModelArts针对数据分析提供了云原生Notebook，可支持交互式编程和可视化体验以及分享、重现。同时，ModelArts还提供VSCode等IDE插件，支持用户远程开发调试，针对已经运行中的作业，也可以通过webshell方式进入容器内部做调试。

在此基础上，华为云将传统软件工程的CI/CD技术引入到AI开发过程中，将ModelArts的一些能力串联在一起，以开发流水线的方式进行AI开发。” 升级之后的ModelArts可从从跨项目和跨时间两个维度来提升开发效率。” 白小龙讲到。

Workflow流程示意图

白小龙进一步解释到，对于相似的项目需求而言，可以仅做简单的数据准备，就可以复用已有的WorkFlow。从华为内部做项目的经验来看，复用模型和开发过程能将整个项目的效率提升一倍以上。此外，在时间维度方面，一个已经上线的AI模型在推理服务期间会不断地接受新的推理数据，基于这些新数据可以触发WorkFlow的持续迭代，加速模型更新的效率。

面向多样化的云边端场景，行业开发者平均需要花费1~2个月来完成AI应用对多种运行设备和系统的开发适配，耗时耗力。为此，ModelArts升级服务，推出了可用于端边云场景的 AI应用开发框架ModelBox。 通过屏蔽掉AI开发过程中常遇到的底层软硬件的差异难题，实现AI应用一次开发、全场景部署，将跨平台开发适配周期缩短80%，将推理性能提升2~10倍。白小龙表示，目前ModelBox希望能适配市面上的更多类型的硬件设施，华为为此将其开源，希望吸纳更多开发者和企业的力量，让AI开发更加的简单便捷。

ModelArts”AI工程化”能力，打通AI落地千行百业最后一公里

当下，AI技术应用的增长速度非常快，非常多的细分行业已经开始应用AI技术。企业在不同的场景，都存在AI应用的需求。从技术上看，AI开发正呈现工程化趋势加速AI应用落地。

一站式高效AI开发生产线ModelArts

AI工程化意味着AI技术的成熟和良好的使用体验，对希望借助人工智能实现智能化的企业而言，能显著降低技术投入和快捷组建开发团队。华为云将AI工程化能力深入到企业业务中，用AI释放生产力。 ModelArts通过端到端的链接，把核心算法包装成流水线，用户在遇到类似场景可以直接复用，通过预置算法、预训练模型、Workflow，打通AI落地最后一公里。“基于已经完成的某个业务场景的经验，使用WorkFlow SDK或者图形化界面将数据处理、模型训练、模型部署等能力编排起来，然后把流水线发布给业务应用人员。对于应用者来说不一定需要了解整个开发实现细节，他们只需要了解流水线的机制，以及需要存在变化的内容即可。”白小龙进一步解释到。

• 在加速AI的行业落地方面，AI Gallery沉淀了9大行业场景Usecase供开发者调用。包括出行调度、销量预测、生产排程、货架识别、工业质检等，覆盖生产、销售、服务、运营等企业运作全场景。开发者和伙伴，可以在AI Gallery上学习AI、开发AI、分享AI资产，基于AI Usecase进行商业实践。

例如零售领域，华为云联合伙伴打造货架识别Usecase，发挥AI智能巡店的价值。 这套行业Usecase可以实现巡店翻拍检测、查重识别、竞品识别、货架占比等。在实际应用中，客户货架管理效率综合提升30%以上，预计每年可减少巡店成本超过100万。

ModelArts打造9大行业场景Usecase

• 在AI资产重用方面，AI开发助手ModelArts Pilot可以实现AI行业应用零代码开发。随着AI资产库越来越丰富，甚至面向整个业务问题的解决方案都可以通过AI资产库获得。基于此背景，一种基于AI资产重用的AI开发新范式：ModelArts AI开发助手ModelArts Pilot发布了。

ModelArts Pilot通过引导客户直接输入需求，通过语义理解将行业或业务问题转换为AI问题，并基于已有模型库进行查搜、推荐和调优，实现AI应用自动生成和解决方案的迁移复用。ModelArts Pilot具备”零代码开发””丰富的模型资源””自动化”和”持续进化”四项优势。

AI开发助手ModelArts Pilot

华为云AI全链路赋能开发者和伙伴，实现生态共发展

不得不说，当便捷的开发平台、大的模型架构、开发框架同时融为一体时，华为云为用户搭建了较为完整的软硬件生态圈，可以为开发者和企业带来开发效率和开发体验的多维度提升。

在企业服务方面，为了深度打通企业AI开发需求，实现定制化AI能力的准确对接，华为云发布了D-PLAN生态伙伴计划。 D-PlAN AI 生态伙伴计划是围绕华为云一站式AI开发平台ModelArts推出的一项合作伙伴计划，旨在与合作伙伴一起构建合作共赢的AI生态体系，加速AI应用落地，华为云向伙伴提供培训、技术、营销和销售的全面支持。白小龙表示，这一计划通过与合作伙伴共建AI生态体系的方式，全方位打通AI开发中的堵点、难点，以并肩协作的方式加速AI应用落地。面向企业AI开发体量大、需求复杂，定制化程度高的客观情况，华为云D-PLAN以更合理、直接的方式进行赋能。帮助企业快速从AI能力中获取价值回报。

为了更好的帮助到AI开发爱好者，华为云还推出了”知识”+”实训”的AI开发社区——AI Gallery，这里有： 算法、模型、数据、 Notebook案例、课程、论文、实践等10余种、50000余个AI资产。AI Gallery通过联接AI市场的供、需、学三方，既能解决开发者需求，同时也满足AI生态中各角色的共享、交易需求，加速AI资产的开发与落地，保障AI开发生态链上各参与方高效地实现各自的商业价值。

白小龙讲到，除了外部提供的支持和帮助，开发者自身也需要从行业应用出发，能够做好将行业问题到AI技术问题的转换，增强自己的在AI工程化方面的能力，结合工程化能力的优势，将其与行业结合，这样能为行业带来非常大的价值。

从这一刻，写下AI未来

人工智能正在从深不可测的酷科技转变为支撑工作和生活不可或缺的一部分，不断提供创造力和生产力。

随着AI由技术落地应用阶段向效率化生产阶段转变，AI的后半场以场景驱动，AI工程化能力突显价值。将AI开发趋向于生产线模式的ModelArts，会继续在MLOps方面深耕。

ModelArts接下来会有一些更好的新特性上线，如灵活的资源管理和资源调度能力，更易用的调试环境，让企业和开发者能够用到更便捷、更顺畅的AI开发平台。这也是白小龙眼中ModelArts未来的样子：”让AI开发变得更简单，更顺畅！”

华为云EI开发者支持团队将为合作伙伴提供AI、大数据相关的技术支持，帮助伙伴上手华为云EI的开发平台或集成原子化AI服务，并将提供商业化落地的支持，诚邀伙伴参与共建AI开发者生态。如有AI合作需求请联系cloud.ai.partner@huawei.com，（我们将在1个工作日之内为您反馈）

Original: https://www.cnblogs.com/huaweiyun/p/16940736.html
Author: 华为云开发者联盟
Title: 【云享·人物】华为云AI高级专家白小龙：AI如何释放应用生产力，向AI工程化前行？

相关阅读

Title: postgresql及wal2json插件安装

1、安装postgres

安装文档见：https://www.postgresql.org/download/linux/redhat/
我这里是centos7系统，选择安装postgresql11

# Install the repository RPM:
sudo yum install -y https://download.postgresql.org/pub/repos/yum/reporpms/EL-7-x86_64/pgdg-redhat-repo-latest.noarch.rpm

# Install PostgreSQL:
sudo yum install -y postgresql11-server
sudo yum install -y postgresql11-devel
sudo yum install  -y postgresql11-contrib.x86_64 --这个主要是安装pg_recvlogical

# Optionally initialize the database and enable automatic start:
sudo /usr/pgsql-11/bin/postgresql-11-setup initdb
#设置开机启动
sudo systemctl enable postgresql-11
#启动pg
sudo systemctl start postgresql-11

切换到postgres用户：su postgres
psql命令进入命令行：

#创建用户
CREATE USER dev WITH PASSWORD '123456';

创建数据库：
createdb mydb

修改配置允许远程访问,
vim /var/lib/pgsql/11/data/pg_hba.conf
添加配置：

host    all             all             0.0.0.0/0               md5

重启pg：sudo systemctl start postgresql-11
即可通过navicat工具，使用dev用户连接pg

2、安装wal2json插件

sudo yum install -y wal2json11

vim /var/lib/pgsql/11/data/postgresql.conf
添加配置:

shared_preload_libraries = 'wal2json'
wal_level = logical
max_wal_senders = 4
max_replication_slots = 8

listen_addresses = '*'

重启pg：sudo systemctl start postgresql-11

注意，后续pg相关命令需要切换到postgres用户执行
建议把/usr/pgsql-11/bin/加入到环境变量，这样就可以直接执行pg_recvlogical等命令了

#创建slot
/usr/pgsql-11/bin/pg_recvlogical -d mydb --slot mydb_test_slot --create-slot -P wal2json

#查看slot列表
select * from pg_replication_slots;

#启动slot，即可监听数据变化
/usr/pgsql-11/bin/pg_recvlogical -d mydb --slot mydb_test_slot --start -o pretty-print=1 -o add-msg-prefixes=wal2json -f -

在mydb库下创建表并插入数据：

CREATE TABLE "user" (
  "id" int4 NOT NULL,
  "name" varchar(255) COLLATE "pg_catalog"."default" NOT NULL DEFAULT ''::character varying,
  CONSTRAINT "user_pkey" PRIMARY KEY ("id")
)
;

INSERT INTO "user" VALUES (1, 'test');

可以在slot监听窗口看到刚刚插入的数据

后续通过debezium拉取wal日志数据发到kafka时，会遇到kafka消息中before字段为null的问题
需要执行命令：ALTER TABLE “public”.”user” REPLICA IDENTITY FULL;

Original: https://blog.csdn.net/li281037846/article/details/128411222
Author: Java小田
Title: postgresql及wal2json插件安装