现在的中文网络上,关于国产ChatGPT的各种消息喧嚣尘上,大有全互联网一起造ChatGPT的意思。
在这么多的传闻里,究竟哪些相对靠谱,哪些纯粹炒作?
我们不妨通过网络上的公开资料,一起深入探讨真相的蛛丝马迹。
ChatGPT降临
2022年的互联网一直有个词在流传:躺平。
直到ChatGPT横空出世,忽然所有人都醒悟过来:
投资人发现,躺平一年,白白错过了一波机会,所幸亡羊补牢尚未晚;
商业公司发现,即便大环境动荡,可做的事情还是有,商业机会还是有;
而普通人发现,AI时代的降临,原来不是十年后,就是现在。
“忽如一夜春风来,千树万树梨花开”,一切都是因为ChatGPT的出现。
这两年,在AI业务降温和经济大环境的双重影响下,国内各大厂烧钱的AI团队的日子不算特别好过。
这一次,ChatGPT的出现,很可能直接扭转大厂对AI投入的犹豫态度。有消息称,腾讯和阿里已经开始大肆招揽NLP人才。
一个媲美ChatGPT的AI系统对于互联网大厂的战略意义再明显不过:
- C端,ChatGPT月活迅速破亿。基于众所周知的原因,这个C端服务不可能进入中国。国内市场的巨大蛋糕,谁先拿下?
- B端,当下各厂B端业务都在为盈利指标苦苦挣扎。而有Jasper.AI和Notion付费使用GPT3 API的例子珠玉在前,只要能给出能力相当的云服务,B端付费AI云计算的美好未来,已经在决策者面前展开。
那么,在这场巨大的浪潮里,国内大厂都在什么位置呢?
现在是消息满天飞。宣称做ChatGPT的大厂排了一个长队,仿佛不做ChatGPT的就不是好大厂。
究竟哪些相对靠谱,哪些纯粹炒作?
从互联网的公开资料上,我们可以推测一下真相的蛛丝马迹。
我们先从一个预备知识点讲起,这就是大模型的“突现能力”。
思维链,大模型的“突现能力”
已有很多文章普及了ChatGPT的各种基本原理概念。
但有一个重要细节,甚少被提到。
先上结论:
只有千亿参数规模以上的大模型,才可能出现“突现能力”,涌现出包括“思维链”等强大的推理模式;具备“突现能力”的大模型是ChatGPT得以诞生的必要条件。
以下是一些细节。
尽管GPT3在2020年就已推出,但一直到2022年初,科学家才发现了预训练大模型的一个重要演化:“产生了类似人类推理思维的能力。”
这就是所谓“思维链”(Chain-of-Thought)的概念。
什么是思维链?
我们向语言大模型提问的时候,可以在提示问题(Prompt)里写几个示例,让模型照着例子做生成。
如果提示里不仅给出示例的结果,还一步一步写出这个示例的结果是怎么推理得到的,某些大模型比如ChatGPT可以直接学习这个例子的推理来推导出正确答案。
在这里,AI模型神奇的出现了类似人类的复杂推理和知识推理能力,这就是所谓“思维链”。
基于“思维链”的推理能力不需要再进行复杂的训练,而只是在提问时附加给出提示,模型就能自动学习,并做出相应推理得到正确结果。彻底体现了AI模型对人类高级思维能力的模仿。
这个能力很可能是ChatGPT表现高度智能化的一个重要基础。
AI研究人员惊讶的发现,思维链能力,并不是随着模型参数大小的线性变化逐渐出现的;而是当参数规模超过一个阈值后,模型的“思维链”能力突然就涌现出来, 这就是所谓大模型的“突现能力”(Emergent Abilities)。
这个“突现”的阈值是多少呢?至少要达到GPT3的级别,即模型要达到千亿参数的规模。
2222年6月15日,谷歌研究院联合DeepMind和斯坦福大学发表了一篇论文:《大语言模型的突现能力》(Emergent Abilities of Large Language Models)。
这篇论文整理了过往文献,研究了谷歌,DeepMind和OpenAI的5个语言模型系列的8个“突现能力”:
如上所示,种种研究结果表明,量变导致了最终的质变:
1. 突现能力:模型在参数规模达到某个临界值之前, 其性能是近乎随机的, 之后性能会忽然大幅增加, 仿佛突然开窍一般, 类似自然学科里复杂系统的能力“涌现“.
2. 各种测试表明,只有模型达到GPT3的规模, 即参数大于1000亿, 模型才有可能形成“突现能力”。
3. 大模型的“思维链”推理效果好于直接提问, 也好于传统的精调小模型的效果;这种能力只存在于千亿规模的大模型中。
4. 参数量级只是一个必要条件。一些大模型比如GPT3的最早版本,以及开源模型BLOOM并不体现出思维链能力。
前段时间, Nvidia的CEO老黄盛赞“ChatGPT堪比iPhone问世, 对科技领域有里程碑意义”,这个比喻很是精妙,和其他问答式AI相比,ChatGPT的体验正是一次iPhone式的降维打击。
而从GPT3.0开始,大模型所具备的“突现能力”就是ChatGPT脱胎换骨的基础。
综合大模型的最新研究成果,可以得到一个简单的判断原则:
千亿参数大模型才拥有“突现能力”,这是打造ChatGPT级别AI的必要条件。一个大厂能不能做出ChatGPT,先考察是否拥有千亿参数规模的大模型。
百度:必须赢的战斗
重点关注下百度。
毫无疑问, 在这场ChatGPT的浪潮里, 首当其冲站在风口浪尖的, 莫过于百度。
所有人的眼中, 百度都对标着Google。 因此,百度宣布打造中国版ChatGPT的时候,股价大涨;
而Google因demo失误股价大跌时, 百度也直接受到了一些牵连。
百度已经官宣自家ChatGPT服务“文心一言”在3月份上线。 这是国内大厂最早和唯一的时间表。
结果只有两种:
1. 假设, 百度真的拿出了一个接近甚至媲美ChatGPT的AI服务呢?
2. 又假设, 百度不幸搞砸了, 最后结果并没有体现“AI大厂”的能力呢?
无论哪种结果, 都必将引发巨大的网络舆论海啸。
在AI技术牛人圈子里, 对百度的“文心一言“大多是持谨慎乐观态度的。
信心或许有高低, 但一个基本的共识是:如果国内有人能突破, 最可能的是百度;时间先不论, 百度“文心一言“最可能成为ChatGPT的国产替代。
百度文心, 英文名ERNIE, 全称“Enhanced Representation through Knowledge Integration”,即“通过知识集成实现增强型表示”, 从知识增强的角度对源自Google的Bert模型结构进行优化。
很有趣, 百度不仅搜索对标着Google,AI研究也和Google同源。
百度文心是“纯粹”的自然语言模型。 上图是百度文心最新版本,2600亿参数规模的ERNIE 3.0 Titan的训练框架, 训练输入都是结构化(知识增强)的文本内容。
这和后面看到的一些多模态模型(即对“文本-图像”, “文本-视频”等的交叉理解和识别)是有区别的。
相比Bert,ERNIE在理念上引入了知识图谱等外部知识信息,百度在这里的想法非常明确。语料里的人名地名机构名这些概念,句子间结构关系和逻辑关系等等, 这些“知识”都很有价值, 应该加入到大模型的训练体系里。
百度的大模型体系在知识图谱方向上浸淫了许久,如果没有摸鱼,这个长期积累的优势总会体现的。
根据官方2022年的公开资料,ERNIE 3.0 Titan模型和GPT3.0模型在知识问答数据集上的对比效果,准确率比GPT3.0高8%。
高效的知识问答是ChatGPT被普遍赞誉的重要原因之一,所以上述超越的结果或许是百度追赶ChatGPT的底气之一。
除了知识体系, ChatGPT为人称道的还有它特别像人类的沟通表达。
而百度手里, 不仅有文心ERNIE系列模型, 还拥有一个PLATO系列对话模型, 最新的PLATO-XL有110亿个参数。
尽管试用过的网友大多吐槽,PLATO只实现了一个闲聊系统,并不具备ChatGPT那样的长问题问答能力。
但不得不承认的是,PLATO模仿人类自然语气的能力很强。实际上,PLATO还是“权威的全球对话技术顶级赛事DSTC”的多个冠军。
PLATO至少可以说明一点:尽管底层机制和实现结果和ChatGPT不一样,它依然是拿下了世界领先结果的生成式对话模型。依然代表了百度对于自然对话AI的强烈关注。
那么,如果百度把ERNIE系列的知识体系能力和PLATO系列的自然对话能力融合在一起呢?
在技术上,简单来说,百度在国内被认为是自然语言独一档,因为手握文心系列模型ERNIE1.0, ERNIE2.0, ERNIE3.0, ERNIE3.0-Titan和PLATO系列模型PLATO1,PLATO2,PLATO-XL,均积累多年,且和自家核心业务息息相关。
(此外,百度还有一个低调但牛逼的从软件到AI芯片全栈打通的Paddle训练框架生态,对标PyTorch和TenserFlow,这也是国内独家,不再赘述。)
而在核心业务上,和被微软“珍珠港偷袭”并苦苦防守的Google不同,百度在国内牢牢把握着搜索的入口,在可见的未来里无人挑战, 除非新版Bing中国区更新。但根据国家对境外ChatGPT的态度,新版Bing要落地国内恐怕比较难。
因此,百度倒是比Google更加从容,不必焦头烂额应付挑战,可以以自己的节奏过渡到“ChatGPT+搜索”的问答搜索新模式。
Google之所以舆论那么被动,还有一个原因是,根据主流专家观点,ChatGPT已经以完美姿态赢得了足够的先发用户,再加上Bing的流量入口,在问答式数据反馈上将拥有绝对优势,先发优势明显,Google将很难追赶。
针对中文环境,这话用在已经垄断了中文搜索入口的百度身上似乎完全合适:
只要百度拿出类似新版Bing的“ChatGPT+搜索”产品,哪怕效果没有ChatGPT那么好,打个七八折,但在全网中文搜索用户的反复蹂躏之下,百度将获得海量的中文问答式搜索的反馈数据,这个稀缺的数据足以让百度巩固和继续扩大在这方面的优势。
这也是作者认为,在国内,独立实验室在AI业务领域很难做得过互联网巨头的原因(当然联合研发没问题, 类似OpenAI+微软);只有后者巨大的数据流量才能培育和进化出顶级的AI模型。
还有一个普遍说法,认为百度在算法、算力、数据、场景上都非常理想,偏偏在“产品”这个点上差了点意思。
说起来有趣,Google近年来在产品层面也乏善可陈, 两大搜索引擎公司似乎都因为核心业务过于强势,以及技术思维影响过大,导致了其他产品能力有点变形。
不过,ChatGPT问答本身在产品体验上是标准的极简主义,竞争力的核心还是背后强大的AI模型输出能力。
所以,在这个ChatGPT特别的“产品”上,百度应该很开心,回到了自己的好球区:技术至上。
至于前端产品形态,则完全不用担心。有微软Google两家在前,可以大大方方参考新版Bing和新版Google的UI交互。
新版Bing究竟是如何结合ChatGPT进行搜索的?我们不妨推测一下。
从传出来的内测截图可以看到,Bing首先是搜索,然后再生成问答式内容,每次的答案都基于数个特定页面合成,还友好地给出了原页面链接。
ChatGPT的调用成本非常昂贵,几美分一次调用。 就算微软家大业大,就算Bing搜索流量只占全球市场的5%不到,也扛不住让ChatGPT亲自去穷尽所有页面挑选答案。这样做的搜索成本绝对是天价。
合理推测是, ChatGPT的使用在Bing搜索里被控制在一个有限的范围:
1. 先通过ChatGPT理解用户要做什么样的搜索,拆解为搜索指令。
2. 通过搜索引擎检索出若干符合要求的结果页面。
3. 通过ChatGPT对页面内容进行评估,二次确认优先级。
4. 挑选最优先的结果页面,通过ChatGPT进行答案合成。
以这样的方式,在成本和系统耦合的复杂度上都完全可控,我们有理由相信,这个猜测和实际相差不大。
不知百度版ChatGPT做到了什么程度,但是,新搜索系统所需的另一部分基础能力——“对多搜索结果的AI综合”,百度之前已有类似的功能上线,只是触发的次数很少,恐怕很多人都没见过。这就是百度的“搜索智能精选”,读者可以自行感受:
图:“搜索智能精选”
种种苗头看来, 百度离新版Bing搜索模式的距离并不是太远。
但是, 做出百度版的“ChatGPT+搜索”就够了吗? 并不。
网友最希望看到的,还是一个可以自由发挥的问答式AI,完全对标ChatGPT的国产替代,从灵活性上看,这显然是一个更大的技术挑战。
总之,百度AI给人的感觉是专注自然语言方向且涉猎面广而深,搜索层面的技术储备也够,但从这些仍无法预测3月即将推出的“文心一言”会有哪种结果。
我们只知道,这是百度必须要赢的战斗。
华为
华为关于ChatGPT的发声很少, 网络上的一则消息称:
“对于华为在类似ChatGPT方向上的布局,华为计算产品线相关负责人表示,公司2020年开始在大模型开始有布局,2021年发布了鹏城盘古大模型,是业界首个千亿级生成和理解中文NLP大模型。”
这个表态非常模糊。没有明确是否会有ChatGPT产品。非常像是一句公关口号。
至于“2020年开始布局”的盘古大模型, 根据网上公开资料:
2020年3月,负责人开始组建团队;
2020年9月,团队基本成型,推动盘古大模型立项;
2021年11月, 盘古大模型在华为云内部立项成功;
2021年4月, 盘古大模型正式对外公布。
全新组建团队,到立项成功,到盘古模型对外公布只花了一年,可以用光速来形容。 从发布时间看, 比同是千亿参数的百度文心三代模型ERNIE-3 Titan还要早一点。
这是一步到位。
根据公开宣传资料, “盘古NLP大模型,由华为云、循环智能和鹏城实验室联合开发,在预训练阶段就学习了 40TB 的中文文本数据,其中包括细分行业的小样本数据”。
盘古NLP大模型和百度文心一样,都是“纯粹”的自然语言大模型,宣称有2000亿参数。
而且,其宣称文本训练数据有40TB,这个数就真的很大了,就算狠打个折,也是巨大的训练数据量。 GPT3.0把全球多语言的文本资料搞来训练,一共也就45TB。
模型参数量级,够;训练数据,够。
如果数据没有水分,应该说盘古大模型有个很好的开端。
值得指出的是,盘古大模型在宣传里明确说,“设计了兼顾架构,可以同时高度完成理解和生成任务”。 这和百度ERNIE的做法是一致的。
国内的自然语言预训练大模型基本都强调同时兼顾“理解”和“生成”,估计原因是为了节约训练模型的巨额费用同时兼顾业务需求。
毕竟单独训练一个“文本理解”模型和一个“文本生成”模型,费用就翻倍了。经费在燃烧啊。
尽管宣称的体量一致,指标在国际测试中也拿到过好成绩,但盘古大模型在华为的地位与百度文心在百度的地位恐怕难以相提并论。 这是核心业务的不同导致的:
百度的核心搜索业务涉及大量自然语言处理的问题, 文心大模型显然是核心业务不可或缺的部分。
盘古大模型对华为也重要, 和文心对百度的重要程度相比有差距。
这个差距会体现在大模型的日常使用和后续打磨的动力上。
华为的核心业务是卖硬件,从交换机路由器到手机,然后到车机。
盘古这种级别的大模型无论如何是塞不进硬件终端的,除非是阉割再阉割的版本。
血液里是一家硬件厂商的华为,来打造一个toC的聊天服务,目前没看到过先例。不过,华为还有云服务。
华为云近来势头不小,盘古大模型团队正是在华为云体系下。
这就能解释得通了。 华为云显然希望盘古大模型成为自家云端AI能力的扛把子。
百度如果把ChatGPT做出来,作为其”智能云”的其中一个API服务,很可能帮百度云拿下更多市场份额的。华为云亦然。
但是,华为关于ChatGPT的动静实在过于低调,和以往张扬的包装风格不同。不知道是憋大招,还是因为被打压的无奈现状,选择了韬光养晦。
还有一种合理猜测是,因为业务相关性不大,华为自身并不能保证足够和持续的语料积累,从研发团队的公开描述里也看到说法“为了满足数据需求,研发团队从互联网爬取了80TB文本”。
现在要继续上路,走完“GPT3.0—ChatGPT”这一段路上所需要的持续数据迭代,内部或许并无把握, 所以选择先打打太极,等有点眉目才宣布更多消息。
毕竟华为整个大模型团队组建都不到3年,可能还需更多的积累。
当然了,OpenAI也是年轻的团队;自古英雄出少年,不能只以资历论英雄。
阿里巴巴
“通义”是阿里巴巴大模型“全家桶”的名称。
阿里巴巴达摩院的中文多模态预训练模型“通义-M6”,于 2021年3月首次发布,宣称为国内首个千亿参数的“多模态大模型”。据称,OpenAI一位前主管表态赞扬:“这个模型的规模和设计都非常惊人,看起来像是中国 AI 研究组织逐渐发展壮大的一种表现。”
在阿里的宣传稿里,M6就是主要拿得出手的大模型成果了。
阿里云曾表示,“作为国内首个商业化落地的多模态大模型,M6已在超40个场景中应用,日调用量上亿。”
值得注意的是,从公开资料里能感觉到,对M6大模型的宣传,强调的都是多模态能力,即“文本-图像”的交叉理解和生成,这很可能和M6主要服务于阿里的核心业务,即淘宝天猫等电商平台的内容处理有关。
一个多模态模型和一个专注于自然语言理解的模型,在文本能力上,是有明显区别的。
当然,这个推断不一定有说服力。如果阿里达摩院非常牛逼,做出了一个兼顾多模态,以及自然语言本身能力的超级模型呢?
我们不妨从其他角度看看。
公开资料里,M6的训练数据是“业界最大的中文多模态预训练数据,其中包括300GB文本和2TB图像”。
如果大家还记得, GPT3.0用了45TB文本训练,华为的盘古号称用了40TB(百度文心没有公开数据,但肯定不会低了), 而阿里的M6只有可怜巴巴的300GB文本。
300GB,这个数字差了整整一个量级,无论如何不能说服我们相信“M6具有和OpenAI、百度、华为的纯NLP大模型等同的自然语言能力”。
此外,根据新闻显示,M6的带头人已经在去年9月离职。 M6这个大模型的未来可能也要打个问号了。
有趣的是,今天看到网友在转一张图。一个外媒“Analytics India Magazine” 整理的ChatGPT大模型分析,放上了百度和华为,阿里并不在榜上。 算是另一个角度的佐证吧。
截图里还有一个网友评论提了M6,但只怕M6和ChatGPT的关系还真没那么大。
图:朋友圈截图
或许,达摩院自己也意识到了M6在自然语言能力上的不足,所以在发布M6的几乎同一时间,达摩院还严格复刻GPT3方案架构搞了一个模仿版本PLUG, 作为NLP能力的补充。
PLUG只有270亿参数,但却使用了超过1.1TB高质量文本进行训练,远超M6。
PLUG其实很好,完全参照了GPT3.0架构。但PLUG模型的问题在于只有270亿的参数值,而我们已经知道,千亿参数是大模型“突现能力”的硬门槛。
所以,当前的PLUG版本只怕也难以担当阿里版ChatGPT的基础框架重任。
作者还是很喜欢阿里PLUG模型的, 因为它真正模仿了GPT3.0架构的纯“生成式”模型,在国内大模型中比较稀罕。
如果达摩院把PLUG继续迭代下去,根据GPT3.0系列的成功经验,模仿者PLUG系列能做出ChatGPT级别的东西是可以预期的,只是这个重任要交给未来超过千亿参数的PLUG2代了,如果有的话。
现在网络上“泄露”了一些阿里版ChatGPT的截图,需要指出的是,这些对话式聊天说明不了任何问题,因为上一代规模的GPT-2(也即PLUG模型的水准)也能做比较好的对话AI,AI聊天不是今天才冒出来的。
ChatGPT不是第一个聊天AI,但它是“特别特别聪明”的聊天AI。
那么,阿里真的在做ChatGPT吗?还是把原来的多模态模型能力包装了一下呢?
阿里聊天AI是否达到了ChatGPT相仿的程度,只有测试过才能判断。问题是阿里并没有对外发布的具体时间表。
鉴于阿里巴巴主要大模型的现状:
1. M6参数量级够,但主要是多模态,并非自然语言专属, 且有文本样本量过低的硬伤。
2. PLUG沿着GPT3.0的路线,有前途,可惜参数量还差一个数量级。
作者猜测,阿里近期内拿不出ChatGPT的发布时间表。达摩院要做的,恐怕是先升级迭代自己的大模型。
看看是否会被打脸。
腾讯
网上关于腾讯ChatGPT的信息是:
腾讯方面回应称:“目前,腾讯在相关方向上已有布局,专项研究也在有序推进。腾讯持续投入AI等前沿技术的研发,基于此前在AI大模型、机器学习算法以及NLP等领域的技术储备,将进一步开展前沿研究及应用探索。”
腾讯的回应非常官方,有点打太极的感觉。
我们先研究一下腾讯宣传的大模型:混元。
根据公开信息,2022年4月21日腾讯首次宣布混元大模型的进展,包括在“五大跨模态视频检索数据榜”的好成绩。
在BATH国产四巨头里,腾讯的千亿级别大模型是最晚出道的,比其他三家晚了一年。
不知道是否是因为时间上落后的原因,腾讯混元大模型做了额外的宣传,强调自己是“万亿规模”的大模型,并且进行了结构优化,使得“万亿参数模型只需要256张卡训练一天,即可在任务效果上超过千亿模型10%,是传统训练时间的1/8”。
我们知道千亿参数是“突现能力”的门槛,但参数继续再增加是否更好,就难说了。国外一些大模型的训练结果表明,十万亿参数的模型表现可能还不如千亿级别的GPT3.0。
但这不能说明混元大模型的万亿参数就不好,先中肯给个评价:混元大模型也迈过了千亿参数的门槛,这是肯定的。
另外一个关于混元大模型的宣传是“大幅度降低了训练成本”,这个就有些疑问了。
训练成本降低八倍,这是重大的突破。
如果事情真的如此美好,应该掀起全球跟风才是。目前来看,国外最新的模型训练仍然强调了成千甚至上万张超算显卡的使用量。在关于大模型“突破能力”的Google论文里,就着重阐明了训练强度和能力突破的关系。
相比较,公开资料显示百度训练文心ERNIE3.0使用了上千个AI处理器,相当于上千张超算卡,正是国内外千亿级别大模型的训练标配。
所以,混元大模型希望用少一个量级的硬件资源,去调教参数大一个量级的模型,不敢说这样的架构和训练模式是否有问题,但最后结果的通用能力总是有疑问的。
网络上很少关于混元大模型的信息,也找不到训练数据的描述。在有限的宣传稿里,混元大模型的能力,被强调的是跨模态的“文本-视频”的理解和检索,即主要是视频相关。
混元也是多模态模型,关于多模态模型的能力重心的疑问,上一节已经讲过了。
腾讯混元大模型在几大巨头的大模型里存在感最低, 出现得也最晚。再结合腾讯官方的模糊回应, 合理猜测,腾讯大模型的技术栈距离ChatGPT还有点远,时间表恐怕是没有的。
中段小结
BATH四大巨头里, 除了百度斩钉截铁要在3月首发国产版ChatGPT外,其他的对自家ChatGPT时间表均语焉不详。 而且,深挖一下可以看到,其余三家在模型能力的匹配上或多或少都有一些疑问需要解答。
除了四大巨头,还有个别实验室和独立机构宣布了自己的千亿规模预训练自然语言大模型。不过,如前面所言,作者认为,在国内只有结合了大厂的算力、数据、场景,ChatGPT才有机会诞生。
接着,让我们再随意看看其他几家大厂吧。
京东
京东关于ChatGPT的报道是:
京东云旗下言犀人工智能应用平台宣布推出产业版ChatGPT:ChatJD,并公布了ChatJD的落地应用路线图“125”计划。据了解,“125”计划包含一个平台、两个领域、五个应用。
京东还拿出了个路线图:
其中特地说明:
“一个平台,指ChatJD智能人机对话平台,即自然语言处理中理解和生成任务的对话平台,预计参数量达千亿级。”
看到这个新闻,第一感觉是京东的宣传很聪明,给出了一个补丁。
之前查找网络宣传资料的时候,就注意到当前京东并没有GPT3.0级别的千亿参数模型:
“从2019年开始,京东接连发布基于自研领域模型K-PLUG(参数量10亿),对于给定商品的SKU,自动生成长度不等的商品文案,包括商品标题(10个字)、商品卖点文案(100字)、商品直播文案(500字)三类,聚焦商品文案生成。”
K-PLUG 只有区区10亿参数量, 估计是业务场景用不上千亿大杀器。
根据前面“突现能力”理论,手里没有千亿参数大模型,产品不可能涌现出ChatGPT级别的能力。
简单来说, 京东离国产ChatGPT的第一梯队还有点远了,先加油补课千亿参数大模型吧。
网易
网易目前的消息是, 有道将推出ChatGPT同源产品:
“据相关负责人透露,网易有道的AI团队此前便投入到ChatGPT同源技术产品的研发。近年来,团队在神经网络翻译、计算机视觉、智能语音AI技术、高性能计算等关键技术方面均取得重要突破。”
有道曾做过搜索,但已经放弃,保留了一些自然语言相关的业务,比如翻译等等。
但有道此前在NLP方面并没有公布过大模型的消息;简单判断,有道的状态和京东一样。
此外,注意到网易伏羲这个AI研究机构也被机构顺带提及:
“伏羲成立于2017年,是国内专业从事游戏和泛娱乐产业人工智能研究和应用机构。”
作为5年前就成立的AI研究机构,伏羲为网易的AI技术积累应是做出了不俗贡献的。
网易伏羲归属于雷火游戏事业群。当然,也只有游戏部门才养得起高大上的AI研究机构。
对游戏团队而言,ChatGPT的重要性恐怕还没有AI绘画模型高,后者能帮助游戏团队高效高质量产出至关重要的游戏美术资产,这是游戏研发成本的一个大头。而ChatGPT在游戏领域能干嘛呢,充当一个真正会聊天的NPC?或许吧,但这只是一个锦上添花的选项,并不足以投入重金。
伏羲在ChatGPT的参与感应该不重, 这是它的业务重心所决定的。
字节跳动
字节没有公布的大模型, 关于ChatGPT的响应也基本等于没有。
字节并不缺乏训练大模型的钱,但从够用的角度来说,有可能和京东的情况类似,10亿参数内的小模型已经足够内部业务使用了。
字节组建AI Lab的时间很早,字节跳动人工智能实验室成立于2016年,其主要研究重点是开发为字节跳动内容平台服务的创新技术。或许之前主要精力都用在内容推荐机制上了。
对于字节,关键看意愿,只要想投入,大力出奇迹。
360
2月7日, 360说要尽快推出ChatGPT技术demo, 股价立刻涨停。
但我们细究一下, 360说的是:
“360在数据资源端有丰富的多模态大数据积累和相关语料、尤其是中文语料,相较于国外同行落后的是预训练大模型和有效的多模态数据清洗与融合技术。公司有充足的资金储备可用于购买大规模算力,在继续深入自行研发的同时,不排除寻找强有力的合作伙伴,以开放的心态搭建多方共享平台、补足短板,快速缩小差距。”
这个声明是不是可以这样理解:360只强调了拥有足够的数据(来源于360搜索积累吧)来做预训练大模型,但怎么做、什么时候做、是不是找第三方合作,现在都是待定。
其实说的都没错, 股价也涨了一波,嗯,语言的艺术。
讯飞
讯飞最近也宣布入局要做ChatGPT。
科大讯飞拥有相当长时间的语音转文字的AI技术积累,讯飞输入法一度以语音输入惊艳用户。
2022年12月,讯飞发布了一个“工业级中文语音预训练模型和工业级多模态预训练模型”,正是聚焦语音识别领域,和核心业务息息相关,没毛病。
不过,这是否等同于讯飞拥有足够的自然语言大模型研发能力,还是要打一个问号。至少,在NLP大模型的名单上没有讯飞的名字。
一个有趣的事情是,互联网是有记忆的:在去年12月ChatGPT刚推出的时候, 董秘给资本市场的回复是,科大讯飞“目前没有类似ChatGPT的产品计划”。
图:知乎
如果截图不假, 只能说明当时高层完全没有搞这块的想法,恐怕也没估计到ChatGPT的影响力,董秘就直说了,毕竟和自家语音识别领域差得有点远。
但当下形势不同了,新表态可能是应付一下资本市场,也可能真的要从头发力搞ChatGPT。
写在最后
现在关于国产ChatGPT的宣传稿满天飞, 还有其他一些小巨头和小龙公司陆续加入宣称要做自己的ChatGPT。
至于是不是自我包装,看完本文的读者自然会得出自己的判断,就不再一一列举了。
大胆给个总结:
目前为止,国内大厂里,只有百度按照严格的上线计划在攻关ChatGPT;
华为和阿里有50%的概率可能在研究ChatGPT,但鉴于自身业务的匹配度,模型的欠缺等客观原因, 还没具体的内部时间;
其他大厂,都还在学习、补课或者打酱油的状态.。
当然了, 未来情况随时可能变化. 这里纯属推测娱乐。:)
最近注意到了一些悲观言论, 说中国AI和国外差距越来越大什么的。
作者观点是:的确有差距,但不大,加把劲还可以迎头赶上。
之前两三年,国内各大厂的AI Lab关于做研究出成果和公司商业KPI的对立矛盾越来越多,甚至出现了AI大佬们的离职潮。
ChatGPT的出现给了国内厂商当头棒喝,可以预期国内互联网企业对AI研发的投入必将加大,对AI成果商业化的预期也会更加宽容和长期主义。
ChatGPT是2023年的新气象,未来已来。
无论处于哪个阶段,拥抱AI,拥抱ChatGPT,为时未晚。