腾讯视频NBA赛事里的人工智能“神剪辑”

近年来综艺节目搞得风生水起，有的把节目创意当卖点，没有节目创意的就拉明星赚流量。可是既没有新意又请不来流量顶梁柱的节目怎么火？

当然是靠剪辑师。再波澜不惊的平淡故事，经过剪辑师的恶魔之手轻轻一点，立刻就能变成一场立场明显、撕逼激烈的年度大戏。

甭管这恶魔剪辑的手段合不合适，能把流量、话题揣进兜里，这就是成功。要真惹出来什么乱子，微博道个歉就完了。

这充分说明了一名剪辑师的重要性。

在各类型影视作品都在尝试剪辑新形式时，我们忽然发现体育视频剪辑居然万年不变，表现出了被科技遗忘的深深的失落。不信你找个六十年代的篮球影像片段和如今的比较一下，除了画面质量差点，还有啥区别？

终于要改头换面了。如果你看篮球的话就该知道，2018年总决赛刚刚落幕，勇士队毫无悬念地再次捧杯。但你可能不知道的是，今年的总决赛系列中的很多视频剪辑并不是人来完成的。比如肖华宣布了总决赛MVP归属之后，腾讯体育NBA在短时间内就播放了杜兰特从新秀到获得总决赛MVP的奋斗历程。那是谁做的？“IBM AI Vision视觉大脑”。

杜兰特11年精彩回顾 

不仅如此，总决赛期间每场比赛的球星45秒剪辑，也是由“IBM AI Vision视觉大脑”完成的。

此次腾讯体育NBA转播中，腾讯体育与IBM跨界合作，利用IBM中国研究院开发的“IBM AI Vision视觉大脑”技术，为NBA赛事增加看点。作为在人工智能领域深耕多年并有深厚技术积累的科技巨头，IBM也让我们看到了体育视频剪辑乃至整个影视行业革新的新前景。

球迷的视线这么贵，每一帧都该是魔法

体育直播的历史，也是一部技术的进步史。从最开始的用收音机听直播，到后来的看电视直播、网络PC端的直播，再到今天更多的移动端观看，直播方式的野蛮生长，也给球迷们带来了更丰富的视听体验。作为一项全球顶级赛事，NBA在九十年代经过大卫·斯特恩的大力推广之后，如今在中国已经拥有超过一亿的篮球迷。收看直播和点播剪辑整理后的相关视频，已经成为了篮球迷们的日常，刷新文字的原始时代已经一去不复返了。

腾讯体育在2015年获得了NBA在中国的独家数字转播权之后，也获取了海量的NBA历史影像资料。三年来，腾讯体育给NBA直播带来的改变是显而易见的。卡顿、清晰度不高、球迷参与度低等问题一一得到解决，并且其还利用这些影像资料策划了大批的视频专辑，让年轻点儿的球迷小伙伴们探知那些自己从未经历过的上古时代。尽管如此，仍然有两大痛点不得不提。

1. 视频剪辑师的痛点。只要料够多，每一个敬业的视频剪辑师都想做一道可口的视频大餐给球迷朋友。腾讯体育NBA最不缺的就是料，69年超过21亿秒的视频资料往剪辑师这儿一撂，剪辑师亟需创新点！要把这21亿秒的视频按照球星、风格、动作类型、绝杀等无数个标签进行细分的话，那可能真的要下代见了。听起来是不是有点悲壮？是真可谓求之不得，寤寐思服……

2. 球迷的痛点。常规的体育媒体都是通过编辑的视角来向球迷单向输出内容。球迷的口味千奇百怪，但剪辑师限于有限的时间和精力，制作的内容往往集中在某几个球星或某几种类型，球迷们别无选择，只好锅里有什么就吃什么。在这种情况下，球迷们的一些个性化需求往往难以实现。同样是求之不得，寤寐思服……

一方在拼命地输出视频，一方却表示吃不饱，剪辑师和球迷之间的断层也就成为了视频剪辑中亟待解决的难题。“IBM AI Vision视觉大脑”则可以很好地针对这两个痛点进行解决。对剪辑师而言，其通过快速对视频进行分类和剪切，能够给剪辑师提供出最符合制作需求的视频片段。寻找合适的素材这个需要耗费大量时间的环节被完美解决之后，剪辑师的工作任务也就被分解，从而可以腾出更多的时间开发出更多有创意的视频内容。

而对球迷来讲，一方面桌上的饭多了，另一方面花样儿也变得更加丰富，以前可能只有四菜一汤，现在推出的是四荤四素十个热菜再加汤羹主食一应俱全。更重要的是，利用人工智能的对球迷喜好的理解能力，视频内容的输出也可以从常规的单向输出变成以球迷的想法为输出点，球迷则能精准地找到自己喜爱的球星内容，令自己的观赛体验更加良好。

那么，让剪辑师和球迷两方的需求都从求之不得到唾手可得，AI就不再仅仅是一种冰凉的科技，更是有温度的大脑。

先搞定最难搞的那个：“IBM AI Vision视觉大脑”的篮球挑战赛

经常看篮球的球迷都知道，篮球场上除了篮球触地的“砰砰”声，最多的就是球鞋和地板摩擦的“啾啾”声。这主要是因为篮球运动员移动速度太快，奔跑中经常会突然加速、急停、变向、攻防转换等，让人猝不及防。此外，十个人在半场不断地跑动会显得非常拥挤，运动员的脸很容易被遮挡，这在无形之中就增加了机器学习的难度系数。

那么，IBM是怎样应对这个难题的呢？IBM中国研究院拿出法宝——“IBM AI Vision视觉大脑”技术。

IBM AI Vision 视觉大脑技术解析

对于AI的重要分支领域，机器视觉技术来说，最难挑战的场景或许就是体育场这种集合了视线遮挡、快速运转、复杂规则和大量“人脸识别目标”的“鬼地方”。在篮球赛这种场景里，AI想要正确捕捉和自动剪辑画面，就要读懂比赛规则、合理调用现场的摄像头与传感装置、预测动作行为、个人数据模式，甚至观众的视觉变化可能性。这是一个多模态交互，并且应用度极强的技术标的。或许可以这么说，如果篮球赛都能搞定，那么“IBM AI Vision视觉大脑”这类技术在其他体育文娱比赛中的应用也就一马平川了呢。

为了搞定这个最难搞的目标，“IBM AI Vision视觉大脑”在篮球赛剪辑当中的实战划分为三个层次：

第一步，建模，让机器学习能够看懂篮球。怎么才能让机器看懂篮球呢？IBM创新性地采用了多模态视觉理解技术。比如怎么确定眼前这个漂移投三分的是小学生库里？这就要涉及到机器视觉（确定库里的脸、球衣等）、动作识别（库里的投篮、运球、上篮、防守等姿势）、声音识别（库里进球之后的吼叫或被吹犯规之后的抱怨等）等几个方面的技术。同样，通过对各种比赛要素的训练，机器能看懂什么叫进球、谁是进攻一方，根据投篮姿势等不同确定投篮的方式（三分、后仰、上篮、扣篮等等）。值得一提的是，IBM利用迁移学习的方法，仅仅通过少量数据就完成建模，让机器学习看懂了篮球。

第二步，剪切。那么，怎样才能找到合适影像片段并将其剪切提取呢？这就涉及到这位AI剪辑师的又一项功能：打标签。通过将非结构化的视频数据提取为结构化数据，每一帧画面都可以被检索得到。比如哪些画面被定义为扣篮，哪些画面是后仰跳投，又有哪些是盖帽等。打完了标签，又能进行检索，那么想要什么素材可以说是做到随用随取了。并且，其还能为动作打分，比如科比的后仰跳投美如画，能打一百分；詹姆斯的后仰跳投可能就只能得个七十分（詹密请自动屏蔽这一句）。那么，通过对动作的评分，就更容易找到最合适的素材。

第三步，编辑成片。完成了以上两个步骤，剩下的编辑对剪辑师来说根本就是小菜一碟。但既然做出了视频大脑，那总得物尽其用，所以其在这最后一步也刷了一波存在感。剪辑师们只需要设置好所需要的主题、球员等应用场景的要求，“IBM AI Vision视觉大脑”自动按照评分选出素材，还能顺便配个音乐加个特效，而且保证和视频的节奏风格保持一致。最关键的是，两三个小时的比赛，AI只需20秒钟处理，一分钟即可成片，颇有点立等可取的意思。

步骤看似简单，其背后却是IBM强大的人工智能技术支撑。更恐怖的是，它还在继续进一步地理解球迷的兴趣偏好，以便继续学习和进化，制作出更加贴合观众的内容。

由此带来的效率的提升是显而易见的。剪辑师们再也不用因为赶时间而把一个素材用到烂，而且数据的快速处理，也就能够在海量视频资源中掘金，让历史影像资料都能够得到最大化的价值利用。

所以，当视频识别和剪辑在篮球领域取得成功的时候，也就意味着其能在其他活动范围较大、移动较为清楚而明显的体育场景下快速地上手。正如凌于绝顶之上，再看众山皆小，这项技术也就具备了向更广阔领域推广的坚实的技术基础。

神剪辑，是为了搞大事情

从实际意义上来说，“IBM AI Vision视觉大脑”的成功其实是创造了一种新的影响模式，是一场双赢的游戏。对腾讯体育而言，盘活了海量的历史数据，使其业务线不仅仅局限于直播领域。而对IBM而言，可以让技术赋能更多的领域，创造无限可能。

1. 体育领域的造星风潮

NBA现役四百多名球员，你能叫得出来名字的有几位？数来数去，也就是自己支持的球队和一些全明星球员。其实很多角色球员其实也具备成为球星的潜力，由于各种原因比如曝光度低或其他原因，令其心理受挫，从而甘于做一名普通球员。而受限于人力，剪辑师们的工作任务往往以球星为中心，于是历史的长河都留给了这些打出了名堂的球星。

那么，通过“IBM AI Vision视觉大脑”的标签匹配，可以丰富所有球员的个人信息，为每一个球员打造个人IP。给了球员更精准的标签定位，一方面可以引起球迷的关注，另一方面也可以让球员打出自己的特色，有更大的几率得到进一步成长，从而可以改变观众对球员的印象式看法，发掘出更多的潜力球星。

可以想象的是，到时候联盟脑残粉的阵营会呈现更加多元化的特点，粉丝的骂战也将更加精彩纷呈。同样的操作，亦可复制到其他体育项目、综艺节目等领域当中去。尤其对综艺节目而言，同质化造星的现状将有可能得到改观。

2. 视频剪辑行业的改革风暴

用机器代替人力，必然会令产品制作的成本下降。而成本的下降则主要体现在两个方面。一个是制作视频的单位时间成本降低，另一个是剪辑师在单位时间内的出片量增加。

那么，在视频相关的行业，无论是体育、综艺、游戏，还是电影、电视，或是专门的视频剪辑工作室，其都可以显著降低制作成本，节省大量的剪辑时间。从前，电影拍完三个月，剪辑制作可能要六个月，到上映则时间更久。心心念的电影可能再也不需要等太久了。

从更高的层面来讲，这项技术可能会对整个视频剪辑行业产生一次“地震级”的革新效应。也就是说，“IBM AI Vision视觉大脑”的出现将有可能引领视频剪辑行业的利用AI技术在内容制作上的创新和升级。

3. 物联网技术的升级

我们应当注意到的是，“IBM AI Vision视觉大脑”在识别球星的时候利用的是多模态的理解技术。这项技术相对复杂，但分析全面，理解的结果精准度高。而物联网建设的进一步升级，对多模态交互的需求也迫在眉睫，以便实现真正意义上的万物互联。

比如在地铁站的语音售。其通过利用机器视觉来读取说话人的嘴唇和动作，在结合语音听觉的分析，确定买票的对象，然后售票。又比如空调在语音交互的基础上加入视觉技术，其可以在单纯的智能开关和调节温度的基础上，判断用户所在的位置，改变送风方向。同时结合传感器来判断屋内的温度和湿度，来提供更多的室内环境解决方案。

在更多领域比如安防摄像头读取分析、无人驾驶路况判断、盲人行进中的障碍物提醒等，“IBM AI Vision视觉大脑”同样有广阔的用武之地。用AI技术做篮球赛剪辑是IBM的一次尝试，也仅仅只是技术研发的开始。事实上的成功已经证实了IBM在人工智能视频技术上的强力的储备，技术成熟之后推广到更多的应用场景当中，是技术的能力所在，也是其使命使然。