近年来，各类短视频、视频应用如雨后春笋般涌现， “AI+视频"的模式也是近期的热点方向。奇观是爱奇艺原创推出的AI创新应用产品，它融合了多模态人物识别、卡通角色识别、台词实体抽取、BGM识别等AI技术，支持用户在观影过程中识别视频中的明星人物、卡通角色、背景音乐和台词梗等视频内信息。为了进一步了解爱奇艺在“AI+ 视频”方向上的探索，在QCon全球软件开发大会（上海站）前夕，InfoQ 有幸采访了爱奇艺技术总监朱俊敏，听他分享爱奇艺奇观如何融合了多模态人物识别、卡通角色识别、BGM识别、台词实体抽取等多种AI技术来挖掘视频的周边内容。

爱奇艺在“AI+视频”上的探索

作为视频平台，爱奇艺一直致力于人工智能与视频、娱乐产业的结合，并陆续推出了针对内容创作、用户推荐等方面的智能产品。奇观是爱奇艺原创推出的AI创新应用产品，截至今年7月，奇观功能累计使用量已超20亿次。

据爱奇艺技术总监朱俊敏介绍，作为一款融合了多模态人物识别、卡通角色识别、台词实体抽取、BGM识别等AI技术的产品，奇观的萌芽需求来源于用户。当时爱奇艺在分析用户的弹幕时发现，有一定比例的用户都在询问“当前的演员是谁？”， “背景音乐是啥？” 等跟视频强相关的问题。原来用户获取该类问题的答案路径是通过爱奇艺搜索或者百度搜索，但是效果并不是很好，造成这一结果的原因主要有两方面：一方面是因为用户需要打破原来沉浸式的观影体验；另一方面在于搜索无法做到海量内容实时索引，内容热播的时候一般是无法搜索到用户想要的结果的。

为了解决上述问题，爱奇艺于2019年首先在TV端进行了一些尝试。用户在观影时（当时的名字叫AI雷达），可以通过遥控上键识别视频中的明星，奇观产品推出后得到用户的一致好评，功能渗透率超出团队的预期。

后来，研发团队又将该功能扩展到移动端，通过双指双击的简单手势触达更多的用户群体，满足用户了解内容背后知识的需求。识别能力也逐渐从原来的明星识别， 扩展到背景音乐识别，台词实体知识，卡通角色识别等。