被骂了三年，谷歌Dropout专利还是生效了

谷歌的Dropout专利，6月25日生效了。

有效期15年。

所谓Dropout是一种搞深度学习、训练神经网络时，普遍会用到的方法，由Hinton于2012年提出，可以有效防止过拟合。

三年前，因为谷歌给Dropout申请了专利，就已经引发过一次业界哗然。当时，reddit上有个热帖，言辞激烈地把谷歌，还有当时未获图灵奖的Hinton等人统统给“问候”了一个遍。

历史证明，骂街是没有用的。如今，Dropout依然是AI领域的必备武器，而且谷歌已经确认拿到了专利授权。

先不要慌。

你看，网友@peng321就说：

别担心，只要等到2034年，它就过期了。

当然，在Dropout专利过期之前，所有人，所有要用到Dropout的人、公司、机构，都可能要面临一个被卡脖子的尴尬境地。

reddit网友@rantana总结了一下：

• 如果你是一家试图融资的创业公司，在你的算法中使用谷歌的专利，会影响你的估值。
• 如果你跟谷歌有专利纠纷，起诉人家前要三思，分分钟反诉你。
• 如果你是谷歌的专利律师，恭喜你成人生赢家。

Dropout是啥？

专利的名字是：解决神经网络过拟合的系统与方法。

英文如下：

看看摘要，就知道Dropout的基本原理：

这是一个用来训练神经网络的系统。特征检测器 （Feature Detectors） 上面，都连着一个开关，至少网络的某些层是这样。

在每一个training case里，开关都会随机关闭一些特征检测器，是根据一个预先配置的概率来决定的。

然后，每个训练案例的权重，会被归一化（Normalized） ，以将神经网络应用在测试集上。

至于为什么能防过拟合，Hinton爷爷和小伙伴们，在CNN成名作ImageNet Classification with Deep Convolutional里面，大致讲到了这样的意思：

每次关掉一半的特征检测器，每次训练的都是不一样的网络。然后取各种网络的平均，用来预测。这样可以提升模型的稳定性，或是泛化能力，防止过拟合。

专利文件上填的发明者，也是这篇论文的各位作者，只不过申请者是谷歌：

关于专利都包含了哪些内容，谷歌列举了20条，细数了各种想到、想不到的训练步骤：

 

算是Dropout的一份优秀使用说明了。

如果大家在打击过拟合的过程中，产生了困惑，大可以进去查一查。

当然，这不是重点。

关键是，以后再用Dropout，会受到怎样的限制啊？

开源的重大障碍

名叫mtanti的网友问：

就是说我们以后都不能用Dropout了么？

楼下？（NicolasGuacamole）的回答很精彩：

谁用了，就拿无人机除掉谁。

戏谑是其中一种态度，把它用正常的句子讲出来就是：

谷歌也不会真的去用这项专利的。

当然，不是所有人都这样看。

其实，早在三年前，这项专利已经获批，并且引起了激烈的反弹。

Dropout专利申请授予信息

至于是预见到了怎样的未来，才会生出这样的情绪，网友 (AnonMLResearcher) 认真地分析过：

曾经有人说：“不要怪玩家，要怪就怪制定游戏规则的人。”

就是说，我们不应该指责谷歌，应该指责专利制度。

既然允许这样著名的抽象概念被注册专利，谷歌也有他们的合法权利。

我只是害怕，这可能会对机器学习的学术研究带来重要的损害。

在视觉领域，SIFT和SURF已经被注册了专利。这样，像OpenCV这样的开源库，就十分困扰了。

repo里面没有包含“不免费 (Nonfree) ”模块，所以用户要从源代码开始自己搭建，就很麻烦。

以后，开源机器学习库还是会遇到同样的事情。

卡脖子预警

Dropout这样的基础算法成了谷歌的专利，之所以备受关注，影响还不止于开源社区。

网友 （AnonMLResearcher）说：

这样的专利，对任何年轻的机器学习公司都会有影响，让他们更难吸引到投资——现在谷歌对许多算法已经有知识产权了，（如果使用专利代码）随时可能被起诉。

一度引起广泛讨论的“徐匡迪之问”，也再次被拿出来讨论。

今年5月，上海院士沙龙活动中，中国工程院院士徐匡迪等多位院士尖锐一问：中国有多少数学家投入到人工智能的基础算法研究中？

尴尬现状是，中国AI的应用虽然当前如火如荼，但自主知识产权的底层框架和核心算法非常缺乏，更多还是依靠开源代码和算法。

接受科技日报采访的浙江大学应用数学研究所所长孔德兴教授就呼吁：如果缺少核心算法，当碰到关键性问题时，还是会被人“卡脖子”。

孔教授说，开源代码是可以拿过来使用，但专业性、针对性不够，效果往往不能满足具体任务的实际要求。孔教授认为，是否掌握核心代码将决定未来的AI“智力大比拼”中是否拥有胜算。

而今年一而再的例子已经证明，核心算法靠灯塔，即便口碑如谷歌，可能也会有断供的一天。

所以Dropout成谷歌专利，不只关于开源，不只停留在科研，还关乎更致命的自主核心算法和背后的“卡脖子”困境。