最近，虚拟数字人有点忙，在直播、品牌营销和企业服务中都看到了虚拟数字人。让我们来谈谈虚拟数字人和元宇宙之间的关系。
[En]
Recently, virtual digital human has been a little busy, seeing virtual digital human in live broadcast, brand marketing and enterprise services. Let’s talk about the relationship between virtual digital human and meta-universe.
一、虚拟数字人概念
1、定义
“虚拟数字人”一词最早源于 1989 年美国国立医学图书馆发起的”可视人计划”(Visible Human Project, YHP)。其指存在于非物理世界中，由计算机图形学、图形渲染、动作捕捉、深度学习、语音合成等计算机手段创造及使用，并具有多重人类特征（外貌特征、人类表演能力、人类交互能力等）的综合产物。
- 身体特征：有特定的特征，如外表、性别和个性
[En]
physical features: with specific features such as appearance, gender and personality*
- 人类表演能力：具备人类行为，并具有用文字、面部表情和身体动作表达的能力
[En]
Human performance ability: possess human behavior and have the ability to express in words, facial expressions and body movements*
- 人际交往能力：具有人性化思维、识别外部环境的能力以及与人沟通互动的能力
[En]
Human interaction ability: having a human mind, the ability to recognize the external environment and the ability to communicate and interact with people*
“人”是其中的核心的因素，高度拟人化为用户带来的亲切感、关怀感与沉浸感是多数消费者的核心使用动力。能否提供足够自然逼真的相处体验，将成为虚拟数字人在各个场景中取代真人，完成语音交互方式升级的重要标准。
2、发展历程
从最早的手工绘制到现在的 CG（Computer Graphics，电脑绘图）、人工智能合成，虚拟数字人大致经历了萌芽、探索、初级和成长四个阶段。
二、虚拟数字人相关技术
1、虚拟数字人通用系统框架
一般而言，虚拟数字人系统由五个模块组成：角色形象、语音生成、动画生成、音视频合成显示、交互等。
[En]
Generally speaking, the virtual digital human system is composed of five modules: character image, voice generation, animation generation, audio and video synthesis display, interaction and so on.
- 人物形象：根据人物图形资源的维度，可分为 2D 和 3D 两大类，从外形上又可分为卡通、拟人、写实、超写实等风格
- 语音生成模块和动画生成模块：可以根据文本分别生成对应的角色语音和匹配的角色动画。
[En]
speech generation module and animation generation module: the corresponding character voice and matching character animation can be generated based on the text, respectively.*
- 音视频合成显示模块：将语音和动画合成成视频，然后显示给用户
[En]
Audio and video synthesis display module: synthesizes voice and animation into video, and then displays it to the user*
- 交互模块：使数字人具备交互功能，即通过语音语义识别等智能技术识别用户意图，并根据用户当前意图确定数字人后续的声音和动作，驱动角色开启下一轮交互。
[En]
interaction module: enable the digital human to have the interactive function, that is, identify the user’s intention through intelligent technologies such as speech semantic recognition, and determine the subsequent voice and action of the digital human according to the user’s current intention, driving the character to start the next round of interaction.*
根据交互模块的存在，数字人可以分为交互数字人和非交互数字人。
[En]
According to the existence of the interactive module, the digital human can be divided into interactive digital human and non-interactive digital human.
- 非交互式数字人：系统根据目标文本生成相应的角色语音和动画，并将音频和视频合成呈现给用户。
[En]
non-interactive digital human: the system generates the corresponding character voice and animation according to the target text, and synthesizes audio and video to present to the user.*
- 交互式数字人：根据驾驶模式的不同，可分为智能驾驶型和人驱动型。
[En]
Interactive digital human: it can be divided into intelligent driving type and human driven type according to the different driving mode.*
- 智能驱动型数字人：该人物模型是预先通过AI技术训练得到可通过文本驱动生成语音和对应动画，业内将此模型称为TTSA（Text To Speech & Animation）人物模型
2、三大核心技术
为了实现”拟人化”，技术层面主要体现为以下三点：
- CG建模/图像迁移技术：影响外观呈现。体现为虚拟数字人外观的拟人程度
- NLP交互技术：影响交互体验。以对话能力为核心，该技术继续在虚拟数字人中发挥核心作用，可以视作为虚拟数字人的脑
- CV等深度学习模型：影响驱动效果。受数据量、计算框架、关键特征点等因素深刻影响。能否呈现自然的面部表情变动、肢体变动等，在极大程度上取决于语音驱动的深度模型效果
三、虚拟数字人产业应用
1、行业现状
按照产业应用，可以将虚拟数字人划分为两类， 服务型虚拟数字人和 身份型虚拟数字人。”量子位虚拟数字人产业报告”预测，在2030年，我国虚拟数字人整体市场规模将达到2700亿。其中，得益于虚拟IP的巨大潜力，以及虚拟第二分身的起步，身份型虚拟数字人将占据主导地位，约1750亿，并逐步成为Metaverse中的重要一环。服务型虚拟数字人则相对稳定发展，多模态AI助手仍有待进一步发展，多种对话式服务升级至虚拟数字人形态，总规模超过950亿。
2、产业划分
虚拟数字人的产业链自下而上分为基础层、平台层和应用层，下层赋能上层，不断协作，形成多元化的商业模式。
[En]
The industrial chain of virtual digital human is divided into basic layer, platform layer and application layer from bottom to top, and the lower layer empowers the upper layer and cooperates constantly to form a diversified business model.
- 基础层：为虚拟数字人提供基础软硬件支持。硬件包括显示器件、光学器件、传感器、芯片等，基本软件包括建模软件和渲染引擎。
[En]
basic layer: provides basic software and hardware support for virtual digital human. The hardware includes display devices, optical devices, sensors, chips, etc., and the basic software includes modeling software and rendering engine.*
- 平台层：包括软硬件系统、生产技术服务平台、AI 能力平台，为虚拟数字人的制作及开发提供技术能力
- 应用层：指虚拟数字人技术结合实际应用场景，切入各类，形成行业应用解决方案，赋能行业领域。
[En]
Application layer: refers to the virtual digital human technology combined with practical application scenarios, cut into all kinds, and form industry application solutions, enabling industry fields.*
3、虚拟IP应用Case
虚拟IP相对于真人IP，解决了MCN对特定IP长期稳定持有的问题，以偶像/网红为核心场景，在直播、代言等领域均有所发展。由于我国的短视频和直播业态正在迅速发展，面对高频、碎片且实时的IP运营需求，虚拟IP更能够适应这一趋势。代言领域，欧莱雅（M姐）、花西子（花西子）已开始有所尝试，通过虚拟IP打造完全符合品牌调性的虚拟代言人。
四、总结
技术是进入行业的核心门槛，玩家需要在机器视觉、语音交互和自然语言处理方面拥有深厚的技术积累，并将三者有机结合。目前，虚拟数字人向自我管理、认知智能、灵活性、个性化和情感化的演进都是需要进一步提高的技术方面。
[En]
Technology is the core threshold to enter the industry, and players need to have profound technology accumulation in machine vision, voice interaction and natural language processing, and combine the three organically. At present, the evolution of virtual digital human to self-management, cognitive intelligence, flexibility, personalization and emotionalization are all technical aspects that need to be further improved.
虽然技术壁垒增加了商业化的成本，但虚拟数字人为元宇宙打开了更多的想象空间。你也想拥有一个虚拟的数字人吗？
[En]
Although technical barriers increase the cost of commercialization, virtual digital human opens more room for imagination to meta-universe. Do you also want to have a virtual digital human?
参考文献：
《2020 年虚拟数字人发展白皮书》中国人工智能产业发展联盟总体组，中关村数智人工智能产业联盟数字人工作委员会
《虚拟数字人深度产业报告》量子位
[En]
“Virtual Digital Human Deep Industry report” Quantum bit
Original: https://blog.csdn.net/MMjoy666/article/details/124697808
Author: MuObver
Title: 虚拟数字人很忙
原创文章受到原创版权保护。转载请注明出处：https://www.johngo689.com/515021/
转载文章受原作者版权保护。转载请注明原作者出处！