原文出处 datafun talk 作者 阿里高级算法工程师徐国海 由本知乎号根据阅读整理
公众号 系统之神与我同在
1.知识图谱简介：
知识图谱（Knowledge Graph）是对现实世界中的实体、概念及其之间关系的刻画和描述，知识图谱的经典结构是三元组，三元组的内容包括实体、类型、属性、关系等等。一个简单的知识图谱示例如下：
知识图谱的典型应用包括：搜索推荐、智能问答、决策分析、智能创作等等。从应用种类来看，分为：
·原图应用：查询图谱后获取相关信息，结果基本满足应用需求。例如：搜索、推荐、问答等等。
·算法赋能：从图谱上获取信息后，作为下游任务模型的输入，联合建模完成应用需求。例如：决策分析、智能创作、认知计算
其应用形态包括以下几种：
·业务应用：自营业务 + 数据 + 算法（e.g., 阿里的商品知识图谱）
·知识中台：平台/第三方业务 + 数据 + 服务（e.g., 百度的知识图谱）
·解决方案，算法 + 工具化 + 实施（e.g., 阿里云、华为云）
2.领域知识图谱建设与应用
新零售场景下的业务问题主要是：如何有效连接用户和商品。用户通过搜索、与客服对话来获得商品信息。其核心问题是：1.需要从用户问题推理用户诉求，2.需要回答用户对商品具体信息的咨询，3.推荐商品时给出解释性推荐理由，促进成交转化。
为了解决上述问题，需要以用户和商品为基础，构建以POI为中心的领域知识图谱：
一个POI知识图谱的技术路径举例如下：
POI知识图谱的关键技术在于：
- 短语挖掘：通过远程监督获取种子短语，Wide and Deep 特征 + 随机森林分类器，Viterbi句子解码 + EM 框架，BERT MLM语言模型过滤(可选)。
其技术特色为：1.不需要人工标注，2.跨多个行业通用，3.挖掘的短语准确率高。
- 实体识别:远程监督：基于词典回标；引入外部知识：Lexicon自动短语挖掘和属性PV类型；使用CNN-CRF / FLAT-CRF、BERT-BILSTM-CRF；
其技术特色为：1. 利用远程监督降低标注量、2.2. 引入外部知识提升准确率。
3.关系抽取：采用BILSTM + GCN + CNN / BERT + FC + softmax + Entity + 分隔符（Knowledge） / K-BERT + ConceptNET + HowNET
其技术特色为：1.远程监督降低标注量、2. 引入外部知识提高效果（实体知识、边界信息、三元组知识库）
应用思路：
实际应用——导购推荐：基于领域知识优化粗召阶段
实际应用——卖点生成
3. 多模态知识图谱建设与应用
直播场景的业务问题：在直播场景，通过丰富的信息和多样化的模态，让用户快速认知商品，激发兴趣。例如打造以虚拟人为主的智能直播间和真人直播的智能助理。
目标：面向直播场景，构建以内容为中心，包含商品丰富的素材且具有不同模态表达的多模态知识图谱Multi-modal Knowledge Graph (MKG)。
核心要素：Concepts: 商品Aspect，Modals: 文本、图像、视频。
MKG的关键技术路径：
·文本知识挖掘
·图片处理
·多模态融合
关键技术：图文匹配
多模态预训练 & 预测：
pre-training阶段的输入格式：
Finetune阶段：
MKG的应用：虚拟主播-图文剧本生成
依靠MKG生成剧本，并搭配相应的图片。
MKG的应用：虚拟主播-短视频生成
包括规划路径、组织图片、生成剧本。
MKG的应用：智能辅播-商品展示
Original: https://blog.csdn.net/u011983997/article/details/122684092
Author: Necther
Title: 阿里 新零售领域的多模态知识图谱的建设与应用
原创文章受到原创版权保护。转载请注明出处：https://www.johngo689.com/558338/
转载文章受原作者版权保护。转载请注明原作者出处！