2024年的第一个月已悄然而去。人们通常会在这辞旧迎新的时刻对过去进行一番总结,同时对未来进行一番展望。作为一名研究数字经济的专栏作家,我也难以免俗,因此就用这一期的篇幅,和各位读者聊一下未来几年中的数字经济会有哪些发展趋势。
坦白来讲,对数字经济的发展趋势进行展望并不是一件容易的事情。这主要是因为数字技术的发展十分迅速,围绕着这些技术展开的商业模式更是层出不穷,这就导致了这个领域内的新名词像走马灯一样变换不停。比如,在过去几年中,区块链、数字货币、元宇宙等概念都曾被新闻热捧,还被寄予改变世界的厚望,但事实则证明,它们所引发的变革离人们先前的期望都存在着一段不小的距离。类似现象的产生,一部分固然可以归因于一些过度炒作,但更为重要的原因则是人们在预测未来时忽略了这些技术的属性。
按照性质,技术可以分为“专用目的技术”(Specific Purpose Technologies,简称SPTs)和“通用目的技术”(General Purpose Technologies,简称GPTs)。其中,前一类技术通常只能应用于某个特定的领域,后一类技术则可以被广泛应用到众多不同的领域。也因为这个原因,从对经济和社会的影响看,GPTs的影响更为广泛和深远。GPTs不仅可以被直接应用到各个领域,从而对这些领域产生赋能,还可能激发起这些领域的创新联动,从而推进技术的持续演进。
经济史学家李普赛(Richard Lipsey)、卡洛(Kenneth Carlaw)和贝克尔(Clifford Beker)曾在他们合著的《经济转型:通用目的技术和长期经济增长》(Economic Transformations:General Purpose Technologies and Long Term Economic Growth)中对技术发展史进行了详细的梳理。他们认为,在整个人类历史上,总共有24种技术可以被归入GPTs的范畴,而所有的这些技术都在人类历史上起到了重大的推动作用。比如,其中的蒸汽机启动了第一次工业革命,内燃机和电气化等技术则是第二次工业革命的标志,而现在蓬勃发展的数字经济则是建立在计算机和互联网这两种GPTs的基础之上的。
从这个角度看,假使我们能找到一类新的GPTs,就可以十分自信地断定,它将会在未来的某一个时间点成为引领社会发展的“火车头”。
当然,如果是对较近的一段时间进行预测,那么仅仅找到GPTs是不够的。这是因为,GPTs作用的发挥依赖于相关基础设施的支撑,以及与具体业务部门的结合,而这一切是需要时间的。比如,电气化技术从发明到广泛应用,中间的间隔时间达到了三十多年。因此,如果我们要预言某项技术可能在较近的一段时间内显现出广泛而深远的影响力,那么它除了需要具有GPTs的特征之外,其技术成熟度还需要达到一定的水平。如果我们用这两个标准来衡量区块链、元宇宙等明星技术,就会发现它们要么不是GPTs,要么就是成熟度依然处在较低水平。
那么,在当下,究竟是否存在着一类被归为GPTs,同时又具有较高成熟度的技术呢?答案是肯定的,那就是人工智能(Artificial Intelligence,以下简称AI)。自“深度学习革命”以来,AI领域展现出了欣欣向荣的发展态势。尤其是在以聊天机器人程序ChatGPT为代表的生成式AI横空出世之后,AI领域的发展更是可以用日新月异来形容。
不同于其他的明星技术,AI已经证明了它在不同领域都有着广阔的应用前景。从这个意义上讲,它已经具有了GPTs的特征。更为重要的是,在AI向人们显示了其强大的应用潜力之后,就立刻引起了企业和投资者的注意,巨额的资金开始涌入这个领域。这使得AI无论是在相关基础设施的构建,还是在和具体业务的结合方面,都做得比其他明星技术更为出色。其投入和产出之间的良性循环已基本实现,技术成熟度也达到了较高的水平。基于这一点,我们有理由相信至少在未来的几年内,整个数字经济领域的故事将会围绕着AI及其上下游展开。
一、AI技术的发展展望
在未来的几年中,AI技术将会持续地发展。这种发展将表现在两个方面:一是对现有AI模型缺陷的克服;二是向通用人工智能,即所谓的AGI(Artificial General Intelligence)持续迈进。
1. 克服AI模型的缺陷
目前,AI大模型已经达到了一个相当高的水平,其表现可以用惊艳来形容。但尽管如此,现有的大模型也还存在着很多缺陷,例如严重的幻觉问题、过大的规模、较低的可解释性等。在未来的一段时间内,克服这些问题将会是相关企业的首要工作。
(一)幻觉问题
所谓“幻觉”(Hallucination),简而言之,就是AI大模型“一本正经地胡说八道”。显然,虚假信息不仅会对用户造成严重的误导,还可能给他们带来很大的损失。比如,美国就有一位律师因在诉状中错引了ChatGPT编造的虚假案例,不仅输掉了官司,还因藐视法庭而受到了处罚。
从根本上看,这是由目前AI的根本原理导致的。众所周知,目前的生成式AI在生成内容时依据的主要是概率原则。因此,不当的训练数据、训练方式都可能会引发“幻觉”。打个比方:如果一个高中数学老师在设计选择题时,凡是出到关于三角函数的问题,都会将C项设定为正确的答案。那么,久而久之,他教的学生就会逐渐发现这个秘密,以后一遇到三角函数题,就直接选C了事。
但很显然,这是一种不恰当的关联想象。或许,这种答题策略针对这位老师依然是奏效的,但如果遇到了其他老师出的题,无条件选C就很难保证答题的正确性。类似的,在大模型中,AI是根据与上下文的关联概率来选择输出结果的。因此,在某些场景之下,它就可能会输出一些与上下文中的文字关联度较高,但实际上风马牛不相及的内容——就好像学生习惯了老师的出题风格后,看到三角函数就选C一样。
那么,有什么方法可以克制这种问题呢?其实,其思路是比较直接的,就是在训练和应用模型时,要求AI知其然,并知其所以然。我们依然可以用解题作为类比。在一些教学质量比较高的学校,老师会要求学生在解题时,不仅要写出答案,还要写出完整的答题思路。那么无论学生是否熟知老师的出题思路,都会在解题时把每一个题的具体解答策略思考清楚。这样,即使换了其他老师出题,他们也可以应对自如。
将同样的逻辑用到AI领域,就可以得到很多破解幻觉问题的方法。
第一种方法来自于OpenAI。最近,它引入了一种基于步骤的监督学习方法来训练模型。具体来说,这种方法摒弃了过去纯粹以结果为导向的方式,改为以步骤来衡量模型性能。当模型进行了一步正确的推理之后,就可以获得相应的得分。这样,以得分最大化为目标的模型就会不断对自身进行优化、调整,从而让其性能更为优化。
第二种方法是采用所谓的“检索增强生成”(Retrieval Augmented Generation,简称RAG)。例如,斯坦福训练的WikiChat就采用了这一种思路。它要求模型在回答用户的问题时,都要去维基百科查找、核对相关的内容。
此外,谷歌也推出了一种解决思路。该公司与威斯康辛麦迪逊分校组建的联合团队推出了一款名为ASPIRE的系统。这款系统可以在大模型与用户交互时要求模型给自己的回答打分。其逻辑就好像我们拿着一份答卷,让答题的学生自己回答究竟是真的懂了还是乱答一气的。如果模型感觉自己的回答有很强的依据,就会给自己打高分;反之,如果模型的回答并没有足够的依据,它就会给自己打低分。这样,通过得分,用户就可以对答案的可靠性做到心中有数,从而有效避免幻觉问题的影响。
当然,无论以上的哪一种方案,都还没能从根本上彻底解决幻觉问题。因此,可以预见在未来的一段时间内,对幻觉问题的应对依然会是各大AI企业和研究机构主攻的一个重点。
(二)规模问题
在很大程度上,大模型的成功是由庞大的参数量支撑的。以目前最为成功的大模型GPT为例:GPT-1的参数量不过1亿左右,而到了GPT-3,其参数量已经达到了1750亿。虽然OpenAI并没有公布GPT-4的确切信息,但其参数量应该远高于GPT-3。随着参数的膨胀,GPT模型的性能也呈现出了指数级别的增长。
尤其值得注意的是,对GPT模型而言,千亿参数似乎是一个实现智力涌现的临界点。GPT-3正是在突破了这个点后,才表现出了令人惊叹的性能,从而让此前名不见经传的OpenAI一举奠定了在业界的地位。在看到GPT的成功之后,各大企业纷纷将把模型做大作为了攻关的重点。在一番严重的内卷之下,参数量很快就从千亿级膨胀到了万亿级,甚至十万亿级。
从理论上讲,更大的参数量应该可以为模型的性能带来更为广阔的空间。不过,更广阔的空间和模型的实际表现并不总是一致的。模型的参数量如果太小,可能把握不住数据提供的信息,其性能固然会不好,但如果其参数过多,也完全没有必要。
不仅如此,当模型的参数过多时,还可能带来很多负面问题:首先,在训练它时,需要投入过高的算力资源,从而导致过高的成本;其次,在应用它时,则会有“大炮打蚊子”之嫌,不仅浪费资源,而且影响使用效果;再次,它还可能导致“过拟合”等问题,造成模型的外推效果欠佳。正是因为以上原因,所以很多AI开发企业在致力于大模型开发的同时,开始纷纷试图通过剪枝、参数共享、知识蒸馏等方式对模型进行压缩,从而实现大模型的小型化。
现在,很多AI企业组建了小模型团队,专门负责AI小模型的开发。其中,Meta在这个方向的行动似乎是最早的。早在去年2月,它就推出了LLaMA模型。和千亿级别参数的GPT模型不同,LLaMA有几个不同的版本,各版本的参数量从70亿到630亿不等。由于其完全开源,并且参数量相对较少,便于训练,因此在推出之后,很快就成为了广大开发者青睐的对象。
在Meta之后,各企业也陆续推出了一系列小模型。比如,去年年底,微软开源了一款名为Phi-2的自研小模型。根据报道,这款模型的参数仅27亿,但它在常识推理、语言理解、数学和编码等任务上的表现已经超过了许多参数远大于它的模型。
可以预见,在未来的一段时间内,模型的小型化也将是AI大模型发展的一个重要方向。
(三)可解释性问题
所谓可解释性,就是对模型算法的机制及运行过程进行理解的可能性。或者更通俗地说,就是人们要能知道AI模型到底在干什么。
现在的AI大模型都是建立在深度学习的基础之上的。不同于回归、支持向量机等传统的机器学习模型,深度学习算法在可解释性上本身就存在着很大的短板。而在大模型的参数膨胀到了千亿量级之后,要解释模型就更是难上加难。在多数时候,人们只知道运用自己的模型可以实现某个功能,但它到底是怎么做到这一切的,却无从得知。
模型在可解释性上的缺陷会带来很多问题。一方面,它会限制人们对模型的改进。一般来说,人们如果要改进模型,就必须要明白现在的模型究竟有哪些不足。但如果模型是不可解释的,那么这个前提就不能成立。
另一方面,它还可能潜藏很多风险。如果模型对于人们来说完全是一个黑箱,那么即使它正在悄悄执行着一些可能对人们带来潜在危害的任务,人们也很难及时发现并纠正。现在,包括OpenAI在内的一些机构都在努力尝试让AI进行自主的学习和演化。在这样的前提下,如果人们根本不知道模型自我演化的方向究竟是什么,那将会是十分危险的。或许,在不经意之间,《终结者》中的“天网”就会悄然降临。
针对以上问题,不少AI企业将提升可解释性作为重点研究方向。现在,一个主流思路是“用魔法打败魔法”,即用AI模型来对AI模型进行解释。比如,OpenAI就曾尝试用GPT-4来对AI模型进行解释,并取得了一定的成果。尽管这些成果和人们的理想相比还存在着一定的距离,但其方向应该是正确的。可以想象,在未来的一段时间内,众多企业和研究机构应该会沿着这个方向,继续对AI模型的可解释性进行探索。
2. 迈向AGI
除了对现有AI大模型的缺陷进行改进,以完善基础大模型的性能之外,积极对通用人工智能(Artificial General Intelligence,简称AGI)进行探索也将会是AI企业和研究机构的研究方向。AGI这个名词最早出现于瑞典哲学家尼克·波斯特罗姆(Nick Bostrom)2003年的论文,指的是智能水平远超过人类的AI。后来,人们对AGI的概念进行了界定,认为只有当AI在所有方面的能力都达到人类水平,甚至超过人类时,才可以被称为AGI。
需要指出的是,虽然AGI的提法出现的时间并不久,但创造一个智能高于人类的AI的设想从人工智能这个学科开始时就已经存在了。随着GPT等大模型的出现,这个梦想似乎比过去任何时间更近了。根据OpenAI公布的论文,GPT在完成很多任务时,水平都已经接近或超过了人类。尤其是在完成某些考试时,其成绩甚至高于人类。在加入了多模态能力之后,GPT更是补足了“视觉”“听力”等方面的能力,变得越来越像人了。
那么,我们是不是可以说,现在的GPT,或者其他的什么模型已经是AGI了呢?答案是否定的。事实上,尽管现在的AI在很多领域的表现优于人类,但在另一些领域,它们的表现还远不能和人相比。以学习为例,即使是一个幼儿,也可以通过少数的几次学习,将动物与它的物种名对应起来。比如,给他看过了一只猫,下次在看到猫时,他就可以指出来——即使这只猫的品种和先前看到的有很多不同,甚至只是一只卡通猫,他也多半可以识别出来。然而,对于AI来说,要做到这一点,可能需要看数以万计的猫的照片。
为什么会这样呢?这一方面源于人脑构造和AI模型之间的区别:比如,在人脑中,会有两个不同的区域分别记录一般信息和情景信息。人脑的这种构造使得人很容易在不同的情景之间进行切换和联想,以非常低的学习成本进行知识的迁移。而现在的大模型则通常是根据抽象的物与物的关联来进行学习的,因而它要学会一个事物,就需要通过海量数据的投入。
另一方面,人与AI之间认识方式的差别也是导致两者学习效率差别的重要原因。一般来说,人的学习过程是通过观察,并在观察的基础上总结出因果关系,然后借由这个因果关系来理解事物。而现在AI的所谓学习过程则更多是借助于相关性,没有考虑因果关系。这不仅会严重影响AI的学习效率,也会导致很多不必要的问题。
针对以上问题,在未来几年内,人们出于对AGI的追求,应当会努力去修补AI的上述缺陷,以拉近其与人脑之间的差距。具体来说,人们应该会继续加强对人脑的研究,并努力将人脑的结构复刻到AI上。与此同时,因果推论等领域也可能会成为AI界的新热点。
二、AI技术的应用展望
相比于对AI模型性能的改进,AI在各个领域的应用可能会带来更多令人兴奋之处。事实上,在过去一年多里,以ChatGPT、Stable Diffusion、Mid Journey为代表的一大批AI模型已经得到了广泛的应用。可以想象,随着AI技术的发展,AI的应用将会变得更为广泛。在此过程中,以下三个趋势是最为值得注意的:
1. AI与行业的深度结合
虽然很多行业已经广泛应用了AI模型,但到目前为止,AI在多数行业中扮演的角色依然是工具,或者至多是一个辅助者。对于人类而言,它们更多的是作为一个补充,而非替代。不过,随着AI技术的发展,很多行业的“含AI量”正在迅速提升。这一点,不仅在文本整理、插画绘制等领域得到了体现,就连编程、医药开发、芯片设计等领域,也已经出现了类似的势头。
尤其需要重视的是,过去人们一度认为AI虽然可能在某些专业领域内胜过人,但在协调方面,人的作用依然是不可忽视的。根据这种观点,随着AI使用成本的降低,单个人+多个AI模型的新型工作模式将会成为主流。不过,这种情况或许只是一个短暂的过渡。随着可以协调不同AI模型的AI智能体的出现,完全由AI协调、AI执行的全AI工作模式或许才是最终的发展方向。
在去年5月,由微软推出的Hugging GPT就已经可以做到根据任务需要自行选择所需要的AI模型,并监督它们完成工作。虽然根据测试,其性能还有很多有待完善之处,但在此之后,已经有很多开发者尝试着从各个方面对其进行了优化。相信在不久的将来,更为完美的全AI工作团队就将出现。
2. 智能应用的兴起
智能应用(Intelligence Applications)的概念最早出现于著名科技咨询公司高德纳(Gartner)的一份报告。顾名思义,所谓智能应用就是由AI赋能的应用软件。和传统的应用软件不同,智能应用并不只是作为一个工具被动地被人们所使用,而是可以学习、适应使用者的使用习惯,并有针对性地为其提出新的解决方案,甚至帮助其直接进行一些任务的处理。
在生成式AI技术取得突破后,已经有一些软件企业尝试将AI集成到自己的应用当中,以提升其效能。其中,比较有代表性的就是微软。目前,它已经将智能工具Copilot集成到了其办公软件Office当中。通过Copilot,用户可以更为便利地操控Office进行文档处理、表格编辑、PPT制作等一系列工作。不过,从总体上看,这样的融合案例还并不普及。根据高德纳的估计,目前的所有独立应用开发商当中,大约只有不到1%引入了AI进行赋能,而AI原生的应用则更是少见。
之所以如此,主要是因为目前的AI发展还存在着很多的不足。一方面,正如前面所说的,现在的幻觉问题在AI模型中还很常见。虽然对于一般的聊天而言,这并不会造成太大的问题,但如果将这样的AI模型应用到辅助工作,则可能会产生很大的问题。另一方面,在生成式AI发展的初期,模型基本都是单模态的,因而如果作为工作助手,其与用户的交互并不能做到十分顺畅。
不过,随着AI技术的进步,以上问题都在得到解决。尤其是现在多模态模型的发展,使将AI作为一个助手的角色植入各种应用已经变得越来越可行。根据高德纳的预测,到2026年,超过80%的独立应用开发商会将AI植入自己的应用,并且大批AI原生的应用也将出现。
3. 硬件的AI化
在AI被植入越来越多的应用软件的同时,AI与硬件的结合也将会成为一股趋势。或许有人要问,既然现在AI的获取已经变得越来越容易,人们只要上网,就可以在云端轻易调用各种AI模型,将AI直接植入硬件还有什么意义呢?在我看来,其理由至少有两个方面:
一方面,受服务器承载能力、网络传输速度等因素的限制,人们对AI模型的调用可能并不流畅。并且至少在短期内,随着人们对AI需求量的暴涨,这个矛盾还可能变得更为突出——这一点,从过去几个月中人们使用ChatGPT的感受就可见一斑。如果可以将AI模型植入硬件,让用户直接从本地调用相关模型,就可以比较好地解决这个矛盾。
另一方面,出于保护商业机密、隐私等需要,人们在使用某些硬件时并不会连接网络,因而也就不可能在线调用模型。出于满足这些需要的考虑,在硬件中直接植入AI就变得很有必要。
从短期看,在AI硬件中,AIPC(个人计算机)和AI手机将是最有可能率先得到市场认可的,因而,它们也成为了很多企业重点押注的对象。以AIPC为例:目前包括戴尔、惠普、联想在内的PC制造大厂都已经相继推出了自己的AIPC产品或产品方案,英伟达、英特尔、AMD等芯片巨头则已经开始为争夺AIPC的芯片市场而努力。而作为软件巨头的微软,则已经从运行AI应用软件的角度出发为AIPC制定了相关的配置标准。可以想见,在这些巨头们的共同力捧之下,AIPC将会在未来的几年内引发一波市场的热潮。
如果我们将眼光放得更为长远一些,那么搭载了AI的机器人无疑将会是最为值得关注的AI硬件。仅仅在几年前,人们还认为智能机器人进入家庭和办公室是一个遥不可及的梦想,即使有机器人做到了这一点,也是形式大于内容,难以真正承担复杂任务。然而,随着近几年软硬件技术的发展,这个梦想正在一步步成为现实。
目前,特斯拉民用人形机器人擎天柱(Optimus)的原型产品已经迭代了数个版本,并且已可以完成一些相对复杂的任务。根据马斯克的承诺,在未来几年,擎天柱机器人的造价将会降到2万美元以下。如果是这样,那么这款机器人就可以真正地走入寻常百姓家了。
斯坦福前不久发布的机器人Mobile ALOHA则为民用机器人提供了另外一个可行的路径。与擎天柱不同,这款可以烹饪、做家务的机器人将其软硬件进行了完全的开源,因而十分容易被广大机器人制造商所效仿。因而可以预见,很快就会有很多制造商通过对Mobile ALOHA的配置进行改造,推出成本较低、功能较强的机器人。从这个角度看,Mobile ALOHA对机器人行业的意义恐怕不亚于开源的LLaMA模型对AI大模型行业的意义。
三、AI的衍生需求展望
随着AI的迅速发展,大量对其进行支撑、辅助的需求也随之衍生了出来。比如,算力供给、数据投入、安全保障、支撑服务等,都可以被归入AI衍生需求的类别。限于篇幅,这里只讨论算力供给和数据投入两个方面。
1. 算力供给
众所周知,以深度学习为基础的AI模型都需要庞大的算力作为支撑。因而,AI迅猛发展的一个后果就是对算力的需求会出现暴涨。无论是训练AI,还是使用AI,都需要投入庞大的算力。根据华为的报告《计算2030》,到2030年,全球通用计算(FP32)预计总量将达3.3ZFLOPS(注:FLOPS指每秒浮点运算次数,是刻画计算次数的单位。1Z=1021),其数量相当于2020年的10倍;而AI计算(FP16)总量则将达到105ZFLOPS,约为2020年的500倍。由此可见,AI的计算量将成为全社会总计算量的大头。在这样的情况下,算力供应将会成为制约AI发展的瓶颈。
如何才能突破这个瓶颈呢?对于单个的应用企业而言,其选择无外乎购买更多的芯片,或者使用云服务。这些需求表现在市场上,就是芯片,尤其是AI专用芯片价格的高企,以及云服务需求的猛增。可以预见,至少在未来一段时期内,这些现象依然将持续,同时还会带动一些其他的相关需求。比如,由于受传输速度影响等原因,调用云端算力来训练和服务AI的效率可能较低,因而对边缘计算的需求可能就会被调动起来。
当然,如果是从整个社会或国家层面看,云计算和边缘计算其实只是进行了算力的再分配,并不能从根本上解决算力总体上供不应求的问题。要从根本上解决这个问题,还需要从基本的算力供给单元——芯片上着手。而这又分为几种不同的思路。
一种思路是在现有的芯片设计思路下,通过制作工艺的优化来不断提升芯片的性能和产量。
从根本上看,芯片的制作就是在微小的硅晶片上搭建复杂的集成电路。总体上看,在单位面积上排布的晶体管数量越多,芯片的性能就越强大。在过去的几十年中,人们一直将提升芯片性能的着力点放在对光刻技术的改进上。其逻辑是非常直接的:当我们用的画笔具有更细的笔尖,就更容易画出细致的线条,同样的,光刻的制程越小,就可以让晶体管之间的间距(即所谓的栅格)越小,从而达到让单位芯片排布更多晶体管的目的。
然而,随着光刻技术的不断发展,要继续在这一技术上实现进一步的突破已变得越来越困难。在这种情况下,人们开始考虑更多利用封装技术来实现目标,由此引发了不少有价值的改进思路。其中,“芯粒”(Chiplet)技术就是一种颇有价值的尝试。
从本质上讲,芯粒技术可以看作模块化思路在芯片制作上的应用。在设计上,每一个芯粒是一个预制的、包含特定功能的微型集成电路。作为一种异构集成技术,基于芯粒的设计技术可利用先进的封装技术在不改变晶体管电路的线宽、线距的前提下,将不同功能的多个异构芯片集成到单个芯片中,从而实现高密度的集成——其过程就像对乐高积木进行拼接一样。得益于这种模块化的设计思路,芯粒技术可以大幅降低设计的复杂度。不仅如此,由于芯片的良品率通常和其面积成反比,因而芯粒技术的出现还有望让良品率大幅提升。
在以上思路之外,另一种思路就是从全新计算原理出发,重新探索、构造新的计算硬件。从现在的实践看,从量子计算的角度来进行探索似乎是一条比较流行的思路,包括谷歌、微软、IBM、英特尔在内的一众业界巨头都在量子计算和量子芯片领域投下了重注。如不出意外,至少在未来一段时间内,这些巨头之间对于量子霸权的竞逐将继续持续。
值得一提的是,就在巨头们为量子计算争破头的时候,一些初创企业则正在探索其他的方向。比如,创立于2022年的Extropic公司就是其中一例。有意思的是,Extropic公司的研究团队来自谷歌的量子计算团队。在老东家,他们曾经设计了可用于在量子计算芯片上运行AI模型的Tensor Flow Quantum,然而在创业之后,他们则试图从非平衡热力学的角度入手,力求研发一款全新原理的芯片。尽管这个方向比较小众,但或许在未来的某个时候,正是这样不走寻常路的新创企业会为我们找到从根本上突破算力瓶颈的道路。
2. 数据投入
现有的大模型的开发极端依赖于数据的投入。比如,为了开发和训练GPT,OpenAI几乎爬取了互联网上所有可用的语料数据,为此还因著作权侵权问题被《纽约时报》等媒体告上了法院。然而,随着人们对模型性能要求日益不断提升,现有的数据已经难以满足模型的训练需求,人们就需要找寻新的训练数据来源。
针对这个问题,现在的一个思路是采用合成数据,即AI生成的数据来训练数据。尽管这个思路听起来略显荒诞,但事实上,相比于自然获取的数据,优质的合成数据可以有效地剔除数据中的杂音,因而甚至可以达到更好的训练效果。不仅如此,相比于通过传统方式获取数据,合成数据将可以大幅降低成本,并且能有效地规避法律风险。因此,在未来的一段时间内,AI行业对于合成数据的需求应该会出现大幅增长。一部分资质较好的企业将可能成为专业的合成数据供应商,一个合成数据的交易市场也有望形成。
四、结语
到此为止,我们已经围绕着AI这个GPTs,探讨了未来几年内数字经济领域可能出现的一些趋势。需要说明的是,尽管我认为AI应该是这段时期内最重要,且处于主导地位的一类技术,但其实在数字经济领域,还有很多新的技术也非常令人兴奋。比如,就在最近,马斯克宣布其旗下的脑机接口公司Neuralink已经成功完成了首起将芯片植入大脑的试验,并让被试者实现了用意识控制电子设备;Apple Vision Pro则可能让前几年热炒的元宇宙概念离现实更进一步……所有的这一切,都可能会给我们带来无穷的惊喜。
想到这些,我不禁回忆起2016年,著名经济学家泰勒·考恩(Taylor Cowen)来中国为其著作《大停滞》(The Great Stagnation)做宣发,我曾主持过一次他与嘉宾的谈话。在谈话中,考恩不厌其烦地说,人类已经摘取了所有低垂的技术果实,包括AI在内的数字技术从重要性上都不如洗衣机或抽水马桶,在未来的几十年中,社会将会陷入一段长时间的停滞。
应该说,他的发言确实很有见地,但作为技术乐观派的我却很难赞同他的观点。在谈话的末尾,我曾经和他说:“考恩先生,您或许应该给数字技术一些时间。再过几年,您会看到它们真正的力量。”不知道在目睹了以AI为代表的数字技术的突飞猛进之后,考恩先生是否还坚持原有的想法。如果答案是否定的,那么我希望这一年的技术发展可以给我们提供更多说服他改变想法的理由。