admin 导游指南：今天，网络购物的发展使越来越多的商家赶不上电商平台的高速发展，为了帮助商家提高服务质量，节省时间和人力资源，达摩院可以在NLG实践和新媒体中寻求两种解决方案。(威廉莎士比亚，《北方司法》前情提要)。
今天主要分享达摩院为什么做这样一个工作，以及在过去几年中对NLG方面的主要尝试和其他的有用的探索，最后做一个总结。今天的介绍会围绕下面五点展开：
- 背景介绍
- 电商NLG实践
- 新媒体探索
- 总结
- 提问解答
01
背景介绍
电商平台和商家处在不对等的情况，对于商家而言，他自己辛苦做详情页、做海报、策划等已经很辛苦了，此时此刻对平台而言又希望商家能做更多的活动服务于平台，带来更多流量。由此可见，电商平台过多的活动让能力有限、产出能力单薄的商家无法招架，那怎样在不打扰商家的情况下自动或半自动的生成对应的广告媒体内容以满足平台的运营需要成为了一个难题，由此，我们的内容生产方案应运而生。
XGeneration即是我们的内容再生产解决方案，优点有：
- 自动化程度高，对商家运营要求低
- 适配多种电商场景
02
电商NLG实践
针对上述问题，XGeneration在NLG的实践有：
- 基本可控短文本生成：RQ1，RQ2
- Word2text model：PKM,PSCNfor RQ1
- KG2text model:G2T for RQ2
- Metaphor Generation
1. 基本可控短文本生成
由于每天生产的内容有千万级别的曝光，所以我们的文案稍有不适便会形成舆论问题，则文案要求高，那么我们生产的文案有两点要求，第一是属性可控，第二是逻辑可控。
RQ1:如何保证生成的文本中的信息与商品相符（即属性可控）
- 这款阿迪达斯的卫衣穿起来很保暖（属性不对）
- 这款耐克的卫衣穿起来很保暖（属性正确）
RQ2:如何保证生成的文本中逻辑正确（即逻辑可控）
- 这款卫衣带了很大的logo，穿起来很保暖（很大的logo和保暖没有联系）
- 这款卫衣是加绒的，穿起来很保暖。（因为加绒，所以保暖，符合逻辑正确）
我们给出了两个方案解决问题：
- For RQ1：给词造句
方法：token（word）->text
- For RQ2：规划造句
方法：Graph（KG）->text
一个属性正确问题其实是一个遣词造句问题。当讲出的文案是贴合控制词的时候，我们就能达到一个精确的属性控制。如一款商品我们要讲它补水的功能，我们对应的文案就是”欧莱雅葡萄籽精华爽肤水，补水保湿效果很好“，而不是对应滋润的文案“欧莱雅葡萄籽精华爽肤水，涂抹在脸上很滋润”。
再一个就是词正确的情况下逻辑也正确。下图下方圆圈图谱中上方是物品，中间是物品两个属性节点，最下层是一个诉求节点，依靠这样的联系组成一个graph结构，写出的文案就是“这件复古风格的长裙，黑色的颜色不仅显瘦而且显得十分优雅。”
2. Word2text model
第一个模型是针对关键词在生成文案里面错误的一个损失强化了商品的某些特有的词语而不是我们日常聊天的普通词汇，强化之后在电商表现上好了很多。
模型一：PKM
- Definition：给出关键词，生成描述文本
- Baseline：BART
- Proposed model：PKM
- Dataset：300w全行业标定文案
第二个模型在原来的PKM模型上加了孪生的编码机构，使得同样说一个东西好的时候可以考虑该物品类别，并作为控制性的东西加到编码器里面。而新添加的编码器对类别结构进行编码，不和原来的编码器冲突，由此不断强化类目和行业，使得不同类目和行业下表现更好。
模型二：PSCN
- Definition：给出关键词，生成描述文本
- Baseline：PKM
- Proposed mode：PSCN
- Dataset：LexicalLinguistic Controlled Product Description dataset
12149 items
3. KG2text model
为了解决逻辑方面，我们自己做了一个图的结构来方便理解，下图中：
左边黑色的圈是大的节点比如店铺商品，中间圈圈节点是商品直接的属性节点，这里面都是商品直接客观存在的东西，往往是由商家输入的。而这一层节点之外还有一层延伸的节点图被称为诉求节点，其往往不是说明商品本身有什么用，而是这个商品对于消费者有什么感召力。
比如说表面上我需要的是雪纺，其实我需要的是不起球、凉爽和亲肤，基于这样的一个逻辑就把雪纺面料划分到清爽、亲肤、不起球的深蓝色的诉求节点上，有了这样生成的节点，商品上的延展就都有了。
除了商品上的延展之外，图右边我们在用户的身上对其也进行一些不涉及个人隐私的个人属性延展，比如这个用户身高体重、体型、口味偏好等，并推送适合这个用户的、保证商品属性对的的商品，生成其喜欢的商品文案。
综上，我们给用户制定商品的过程中是怎么展示商品的，怎么推送给用户，要写出哪些词语的方式就是这样一个流程。
接下来讲讲我们模型的结构：
我们模型很简单，在解码器上面没有加很多结构。左边的图有4个节点，如果我想对这个图进行解码，首先用到copy，其能保证是尽量讲到所有的节点，但是copy不能完全服务于我们结构，因为我们的图结构中暗含了很多逻辑关系。于是模型结构上我们做了两个创新，一个是把一个词解到了就不会再重复提到，另一个是在这个词提到的情况下，会在后续解码讲这个文案的时候讲周围的词，如果给节点起名为L、M、N、Q等，这样就有了已将讲了L节点接着讲N节点的逻辑关系，这个创新虽然很小，可是加上后得到的效果非常好。
4. 修辞生成MetaphorGeneration
除了特别严谨保证正确的生成，我们探索性的做了面向吸引力的生成方式，即让话语变得有感召力，添加修辞手法听起来生动有趣。
下图的模型是我们用了之后特别有效果的模型，开始我们先生成两句话，一句话是比喻描述句，一句话是比喻补充句。第一个阶段出现基本的本体和喻体，如“树上的小叶子，像刚升起的太阳一样”，第二个阶段再进行比喻的补充即“红彤彤的正好看”。这样的一个功能也同样用于天猫精灵的使用中，服务于很多场景。
- Definition：输出本体和喻体，生成比喻句。
- Proposed model：基础BART，+Cave续写解释
- Dataset：3w标定的比喻句
5. 实际应用
商品展示介绍的应用：
- 手淘首页海报文案
- 淘宝直播助理/虚拟主播
对话机器人方面的应用：
- 店小蜜售前导购
- 天猫精灵天气播报/音乐推荐
- 盒马/优酷/智能客服……
03
新媒体探索
讲完了在NLG的工作，其实在Video中我们也做了两个工作，即短视频脚本生成和短视频智能剪辑，下面就讲一讲新媒体方面的探索。
1. 短视频脚本生成
在短视频制作当中，大部分时间是用在拍摄素材整理中的，而另一部分就是用在写脚本中的。写脚本，其实是一件很复杂的事情，以我们列举了一个视频脚本为例可以看出一个视频脚本包括分镜号、景别、时长、画面内容、台词还有音效。实际过程中会有很多人参与这个创作过程，那么如果机器能够批量快速的自动生成自动分镜的角度台词，就能节约很多人力资源和时间资源了。
商家现状：
- 短视频制作中百分之30的制作时间都是用于脚本创作
- 10人团队中2人负责脚本创作
问题解决：
利用自动生成或辅助生成的脚本能够帮助商家节约大部分时间，主要用在：
- 带货展示类型的短视频
- 给定商品，自动生成各个分镜的脚本台词
效果：商家采纳率高、用户反馈好
（红框框出的区域就是我们自动生成的脚本）
做脚本生成过程我们上的第一个算法是一个到端的脚本生成方法，右边这个看起来复杂的模型结构图中：左边上方分为两部分，一个是关于商品演示的表示，一个是额外补充信息的表示；右边解码期间就复杂一点，解码器的时候首先是解出句子讲什么，再是解出句子怎么讲。我们模型中横向的方框就是实现句子级别的逐句逐句往下解，加一个顶部的鲜艳的结构控制，使得整体脚本有一个总分总的控制，之后串流解出每一个句子，形成下方表格中的一个文案。
方案：
- 给定商品，利用其主要属性/POI，做层次解码，先解码出分镜，再解码出每个分镜的台词。
核心技术贡献：
- 属性+知识分离编码+串流解码：提高低频知识的利用率
- 解码器内增加句子级别结构控制：保证语句之间逻辑顺畅
效果：
- 合理性：80+%，通顺性：80+%，食品行业覆盖率：90+%
- 脚本采纳率为64%，商家使用后反馈的主观评分为6~7分（满分10分）
- 年货节创意中心短视频制作时间节省60%；
- 公域视频通过率98.6%
- 2021天猫年货节中累计投放4772条视频，累计观看时长超过2775+小时
2. 短视频智能剪辑
短视频自动智能剪辑过程就相对较更复杂啦。
这是整个短视频的一个自动剪辑生成。这条生产内幕中先由三个方面来导向，首先通过对商品元数据痛点生成、卖点生成拿来一起做一个脚本段落组合，此处的脚本生成是两级段的（即痛点和卖点）；段落组合后，我们购买一些版权素材库做了一个多模表征，得到的向量和公域视频素材放到一起连接脚本把文案挂载到素材上面，让内容和画面能匹配，使得每个分镜都有对应文字；除此之外，我们还会利用商家的商品视频数据加上私域视频素材和标签，多模检索并标签匹配后，再经过素材协议、渲染引擎，添加模板库、音乐库后就导出了成片。
关键技术
- 痛点/卖点生成
- 多模态检索
效果：平均播放率大幅度增加、引导成交笔数成倍提升。
04
总结
一个问题：电商内容再生产问题
两个方案：NLG实践（RQ1,RQ2）+新媒体探索（脚本+短视频）
05
精彩问答
Q：机器生产的内容会有人把关吗？
A：在早期时候会有人员后期处理一个个进行改写；到后期研究技术已经精进，准确度变高，便不需要人工处理直接网端上渲染，但是这个过程中我们依然会有标注人员不定期抽检，如果发生错误会进行返修；而事实上发展到现在，算法生成的东西可以直接拿来使用，基本已经没有线上的人工后处理。
Q：生成的东西在感情层面用户喜欢不喜欢的指标由谁决定呢？
A：这方面我们有大规模的用户验证码，因为关于大家喜欢不喜欢确实是一个很主观的看法，所以我们验证过程就是文本的验证过程，基本上量还是能够有一定的中包数据。我们把视频推送给商家后，商家会给一些反馈，通过反馈商家会自行判断消费者喜欢还是不喜欢。
Q：目前商家获取一段智能剪辑视频大概的费用是多少呢？
A：目前是免费的，而之后应该都会免费，因为这个技术其实是帮商家提交的，而不是找商家赚钱的。
今天的分享就到这里，谢谢大家。
在文末分享、点赞、在看，给个3连击呗~
分享嘉宾：
分享嘉宾：罗智凌博士 达摩院 算法专家
编辑整理：曾思纯 西华大学
出品平台：DataFunTalk