星期五 , 11月 15 2024
首页 / 人工智能 / AI / 进入深水区,AI 基础设施的角色是什么?

进入深水区,AI 基础设施的角色是什么?

经过十年,人们对 AI 的认识逐渐清晰。正如前不久谷歌的工作人员声称 AI 聊天程序 LaMDA 拥有了意识,很快就被认为并不成立。AI 的存在,并非为了是挑战人类,而是为了提供工具、优化流程、提供效率。

就在上周,DeepMind 发布了最新的蛋白质结构数据库:超过 2 亿个蛋白质结构,这几乎涵盖了科学界所有已知的有编目的蛋白质。AlphaFold 是 AI 为生物学研究提供的强大工具。有了 AI 的助力,生物学家能够花更多精力研究蛋白质的功能,而非测量结构。

技术发展是一个叠加的进程。AI 也需要这样,进入具体领域,发生对话,实现其技术价值。以怎样的形式让交流发生,也是经历了上一阶段的 AI 创业公司需要思考的议题。而对于想应用新技术的公司,又面对需要跨越的学习门槛。

对于单个企业而言,搭建硬件、调试算法从头做起不切实际。如何将需求落实为技术方案,再运用技术方案实现管理?将这个问题给到 AI 技术提供方,思考又会拆分为许多层,场景匹配算法、算法接入框架、芯片支持算力。

商汤正在探索的解法是「AI 基础设施」,将不同层的技术层集中建设、按需要调配,降低使用门槛和成本。「需要推动整个的生产方式,从手工作坊向工业化量产去迈进。」商汤联合创始人与大装置首席科学家林达华说。「AI 大装置」,也是商汤对软硬一体大型通用型基础设施的称呼。

2022 年初,坐落在上海的「商汤科技人工智能中心」启动运营。第二个城市级 AI 基础设施,商汤来到了山东。七月底,「2022 中国算力大会」在山东省济南市召开,于「中国北方 AI 算力创新中心」正式启动。算力大会上,商汤与山东省淄博市政府一起讨论如何用「AI 基础设施」更好地助力城市的数字化升级。

01「数字化」的下一步,与 AI 的下一步

当这个「数字化」的概念展开,是 AI 进入具体的产业场景,看到的复杂需求。

在改革开放之后,中国用极短的时间完成了城市化。大刀阔斧的历史进程告一段落,经济模式升级的需求持续存在,必然需要寻找新的方式。山东也在最近这几年发力,去年的信息技术产业营收突破 1.2 万亿元,数字经济规模总量排到了全国第三。在数字经济建设上,明确了十四五期间数据中心建设规划,加快提升数据与算力基础设施服务能力。

当一个省要实现数字经济的发展突破,AI 恰是能够为各行各业提供「工具」与「引擎」的技术。从这个角度而言,商汤进入山东,也是技术发展与城市化进程的交汇。

商汤在去年底上市,成为 AI 第一股。转年初 1 月,位于上海临港的人工智能计算中心(AIDC)启动运营。AIDC 集合了 2 万多块 GPU,支持每秒 3.74 百亿亿次的浮点算力,能够支持数 10000 亿参数模型完整训练。是目前亚洲最大的人工智能计算中心之一。为什么作为一家软件为核心能力的公司,会建立这样一个大规模的基础设施?这便要从人工智能目前的发展阶段去理解。

三次人工智能浪潮以来,最近十年是 AI 第一次走出实验室,进入大千世界的各种场景。现实世界总是充满不曾被注意的细节。商汤 AI 大装置事业群总裁杨帆形容。「随着人工发展走入深水区,将面临一个很大的挑战:今天的 AI 解决一个问题,自身所花费的成本和代价,可能比带来的好处还要大。」而商业化,则必须要降低成本。AI 发展至今,从硬件到软件、框架、模型,也有一套随之发展的技术体系,软件能力也依靠整个技术生态而实现。

位于上海临港的商汤科技人工智能计算中心

商汤建立大型 AI 基础设施,便是将发展至今技术体系中不同的资源集中在一起,在面对具体的需求时,不必从头造轮子,快速调取合适的资源,简单调整后适配。「我们建设了从数据准备、模型训练到模型部署全链条的技术平台。」林达华表示。

以数据标注为例,高质量标注的数据,能够成为生产资料,训练出优异的模型。在人工智能产业初期,数据标注更依靠人工,随着产业发展,高成本、低效率的人工必然需要减少。目前,在商汤自建的数据平台上,已经集成上百个提供自动标注方案的 AI 模型。比起一般的数据标注服务,效率提升超过 60%。

02 为算法应用降低成本

当人工智能进入到行业,会发现生产链条非常长,并且场景多样化。林达华形容,「我们遇到很多长尾场景,响应每个具体需求的时候,成本和代价都是非常高的。因此要让人工智能成为未来整个国民经济发展的根本。需要突破新的红线,就是成本红线。」

想更加灵活、低成本应对不同场景需求,商汤选择将生产过程划分为两个阶段。在第一个阶段,依靠大规模算力,汇聚来自不同场景不同任务的数据,训练出一个基础模型。在这个基础模型之上,再去回应更细分的具体需求。于是在第二阶段,只需要少量的数据、轻量的计算,就能够应对需求。这使得处理单个案例的成本下降。

冲压生产线在线自动检测

在青岛,商汤和一汽解放一起开发了「5G+AI」的冲压件表面质量在线检测。在冲压自动生产线的最后一环,用相机拍照,对冲压件板材的质量和尺寸进行识别和检测。冲压工艺是汽车制造环节之一,是人员密集型产线。以前依靠人工检测,缺陷检出率较低。使用 AI 检测之后,大大提升了检测效率。

这个功能依靠商汤 AIDC 提供算力支持,利用商汤深泉算法训练平台。深泉算法训练平台是专为工业制造领域的打造智能模型生产平台,承接来自各种场景的业务需求。深泉平台能够提供模型的自动训练,还能模型进行评估、迭代,从而筛选出最佳模型自动完成部署,供用户进行调用。它存在的目的,就是帮助工业制造行业的客户降低研发门槛。

「一个成功的人工智能基础设施,除了基础的一些存储算力外,额外有两个点:低成本门槛、低技术门槛,换句话说就是用的起和得会用。」商汤科技副总经理杨松在圆桌讨论时说。

在工业制造领域,依托算法训练平台,商汤在青岛也与其它工厂一起开发了多种应用。在海尔工厂中,商汤通过应用 5G+AI+MEC 识别技术,对进入工厂的车辆、设备等进行智能识别与管理,防止车辆进入生产重地等非行驶区域;在生产线上,商汤也与海尔构建了标准生产管理模型,对生产流程进行检测和提示,最终使操作和检验达到 100% 一致性。

降低 AI 技术使用门槛,也不是仅靠 AI 公司就能够实现。对于学习成本较高的企业而言,需要有契机与新技术发生交流。AI 真正在场景里落地,是逐渐发生的过程。商汤表示:我们希望在产业里面做平台的整合,跟大家一起去努力让训练平台、推理平台的集成化更高,把一些底层技术封装起来。

03 生态的两端:从设施到人才

在算力大会上,由淄博市政府牵头的「中国北方 AI 算力创新中心」正式启动。这是一个城市级的人工智能底座,对于淄博这座城市而言,是第一个数字经济的基础设施。淄博也是全国首批产业转型升级示范区之一。

如果简单比喻:算力是生产力,算法是生产关系,数据是生产资料。若从产业视角来看,算力则属于高耗能产业。因此选择集约化的方式建造算力中心,能够有效利用资源。

林达华表示:建设面向人工智能场景的高性能的调度系统,带来了更低的性能损耗,更高的资源利用。集中调度系统,就需要算力平台作为支撑。AI 算力创新中心,也将扮演支撑者的角色。在城市数字化的过程中,淄博意识到「急需一个统一的 AI 能力中心平台。」数字化转型中,往往第一步是传感器等基础设施搭建。这提供了基础的数据。下一步,需要有效的数据分析和处理,才是智能化的开始。

AI 算力创新中心将解决数据的打通和处理问题。林达华举例说:商汤的技术团队建设起来了专用面向人工智能的存储系统,可以对数以亿计甚至百亿级的小文件进行一个随机的访问,例如 5 秒钟就可以读取完成 3000 多万辆机动车辆的信息。

在一个城市建立AI基础设施,短期来看,能够解决种种应用需求;长期而言,则是 AI 持续与当地产业交流,这也为产业人才培养提供了重要环境。目前,商汤与青岛职业技术学院共建了青岛市人工智能产教科创实训基地。

作为和 AI 技术一路成长的企业,商汤也愿意与同行者一起做长期的事情。杨松在圆桌讨论的尾声说,「只有 AI 人才数量提升,每个企业才会对自身的数字化转型和人工智能建设,有更好的认知;这样才会有一个总体的解决方案,去看一个具体的行业怎样去接入到人工智能企业去。」

关于 吉运好熊

吉运好熊
清华计算机系

检查

Scaling Law终结,量化也不管用,AI大佬都在审视这篇论文

几十万人关注,一发表即被行业大 …

发表评论

邮箱地址不会被公开。 必填项已用*标注