关于我们

质量为本、客户为根、勇于拼搏、务实创新

< 返回新闻公共列表

生成式AI:三个短板,两个问题,一个悖论

发布时间:2024-04-24 21:23:28

声明:本文来源于微信公众号 腾讯研究院(ID:cyberlawrc),作者:严德利,授权站长之家转载发布。

闫德利腾讯研究院资深专家

炼大模型,大炼模型

近几年是全球风险投资的低潮,生成式AI(GenAI)但逆市而起,去年的融资笔数和融资额分别增加了66%和400%(来源:CB Insight,如下图所示),融资额高于所有细分领域第一位(来源:Dealroom.co)。在去年美国前五大风险投资中,OpenAI、Anthropic(2)Inflection 三家人工智能公司占4家,融资金额分别为100亿美元、40亿美元、20亿美元和13亿美元。主要投资者是微软、亚马逊、谷歌和英伟达(来源:Crunchbase)。

图片

2019-2023年全球GenAI的融资笔数和融资金额

当前的GenAI热潮起源于美国工业界,事实上,美国政府也高度重视,提出了“确保继续保持领导地位”的战略目标。在奥巴马时期,白宫发布了《国家人工智能研发战略计划》(2016),特朗普时期(2019)和拜登时期(2023)分别更新,形成了长期投资、人工智能合作、伦理、安全、数据集、评价标准、人才、公私合作、国际合作九大战略。为了促进战略的实施和实施,白宫科技政策办公室(OSTP)人工智能特别委员会(2018)和国家人工智能倡议办公室(2021)相继成立。

我国还炼大模型、大炼模型。今年第一季度,在全球前三大GenAI风险投资中,中国占2月份A轮融资和MiniMax6亿美元融资的10亿美元。电信运营商、手机制造商、家电制造商、汽车公司、软件公司、人工智能公司、互联网公司、电子商务和其他类型的企业都参与其中。已有117个大型模型通过国家生成式人工智能服务备案。大型模型已成为大型工厂的标准。但没有短兵相接的“百模大战”,反而颇有井水不犯河水之意。

三块短板

中国的人工智能位居世界前列。然而,还有一些缺点需要弥补,主要体现在计算能力、数据集和人才三个方面。

一是算力。通过计算能力的积累,GenAI成功地依赖于暴力美学。根据Jaime Sevila等人的研究(2022),在前深度学习时代(1952-2009),计算能力需求每21.3个月翻一番,符合摩尔定律;在深度学习时代(2010-2022),计算能力需求加快到每5.6个月翻一番。如下图所示。根据THE DECODER披露(2023),GPT-4计算每秒浮点的次数(FLOPs)达到2.15×10^25,一次训练费用6300万美元。

图片

里程碑机器学习系统的训练计算能力需求

来源:Sevilla J, Heim L, Ho A, et al. Compute trends across three eras of machine learning.2022.

英伟达在机器学习图形处理器领域占有95%的市场份额(来源:New Street Research,2023)。英伟达的A100和H100芯片是训练大模型的“金刚钻”,不可替代。由于美国对中国GPU的限制,中国面临着卡脖子的现实。

二是数据集。我们国家的数据规模很大。根据国家互联网信息办公室《数字中国发展报告(2022年)》,2022年中国数据产量为8.1ZB,世界占10.5%,排名世界第二。这被认为是发展相关产业的优势。然而,规模优势不足以弥补质量的不足。无论连续加多少马车,都不能得到一条铁路(熊彼特,1934)。至少数据质量同样重要。Hugging Face高质量数据集中,英语占37.7%第一中文仅占3.2%,与波兰语并列第九(来源:OECD,2023)。如下图所示。中国数据集的质量还有待进一步提高。当然,这不是一天的工作,需要多年的积累。

图片

三是人才。自1966年以来,世界上有77人获得了图灵奖。只有一个中国人姚期志(2000)。中国计算机科学的历史积累仍然不足。幸运的是,它近年来取得了巨大的进步,成为了美国最大竞争对手。根据MacroPolo数据(2024),世界上最好的顶级(前2%)在AI研究人员的原籍国中,中国以26%的比例接近美国(28%),排名第二。在顶级(前20%)人工智能研究人员的原籍国中,中国有47%,远远超过美国(18%)。但在最重要的是,仍然有隐忧顶级(前2%)在人工智能研究人员的就业国家中,中国仍排名第二,但只有12%远落后于美国(57%)。如下表所示。Gen人工智能高度依赖人们的创新能力。如何吸引世界顶尖人才来中国创业就业是一个需要努力的方向。

图片

全球人工智能人才的分布比例

来源:根据MacroPolo(2024)的数据整理

两道难题

每一次创新都不容易,需要克服很多困难,受到人们的质疑。目前,GenAI面临以下两个突出问题。当然,只有发展才能解决问题。

一是缺乏杀手级应用,面临商业化困难。在伟大的时代,必须有杀手级应用。比如PC时代的Office,桌面互联网时代的搜索,移动互联网时代的移动支付。GenAI是世界潮流,但仍处于应用推广的早期阶段,美国企业的AI利用率只有5.4%(来源:人口普查局,2024)。大模型燃烧美元,产出更少。作为世界上最性感的GenAI公司, OpenAI 会员订阅支付、开发者支付和微软分为三种盈利模式,自成立以来累计收入不足20亿美元(来源:Finbold),融资需要113亿美元。GitHub微软 C o p i l o t还采用会员订阅模式,用户每月需支付10美元或100美元的年费。但由于计算成本高,微软每月平均亏损超过20美元,重度用户高达80美元(来源:华尔街日报,2023.10)。GenAI没有传统软件的规模经济,需要通过给用户巨额补贴来培育市场。国内用户更喜欢免费支付高质量内容和知识的习惯,会员订阅不是主流。GenAI的商业模式仍处于探索初期。

二是平台企业业绩没有明显提升。云和芯片是最大受益者。GenAI的兴起为中国平台经济注入了一线活力,各大平台纷纷下场推动大模型。然而,GenAI的普及并没有显著提升平台企业的业绩,中国的互联网平台仍处于低迷期。自ChatGPT发布以来,虽然叠加了疫情结束、国家支持等有利因素,但中国互联网公司的市值仍在涨跌,如下图所示,相当一部分企业大幅下跌。

图片

自ChatGPT发布以来,中国十大互联网公司的市值涨跌

来源:根据雪球财经数据,截至2024年4月11日

云和芯片公司是大模型培训的直接受益者,需要大量的计算能力。根据A16Z(2023)数据,GenAI总收入的10-20%将流向云服务提供商。其中,80%-90%的初创公司用于从云计算平台购买计算能力。毫不奇怪,微软、亚马逊和谷歌是世界三大云基础设施服务提供商,也是最活跃的GenAI投资者。自ChatGPT发布以来,英伟达市值增长457%,成为全球市值第三高的公司最大获益者。

第四次工业革命悖论

自1956年达特茅斯会议提出“人工智能”术语以来,人工智能的发展经历了许多投机周期。这一次似乎有所不同,即使对于怀疑的论者来说,ChatGPT的发布也意味着人工智能技术的重大突破。人们兴奋地喊道:第四次由人工智能驱动的工业革命正在到来!

工业革命的影响是全面的、深刻的、长期的。”从世界经济史来看,工业革命是唯一一件大事”(Irad Kimhi,2006年)。如果第四次工业革命到来,人们将充满野心,经济将充满活力,生活将蓬勃发展。然而,这似乎不是。这是一个悖论。在这方面,时间可以给出答案,我们不必争论。有四个事实可以解释。

第一,人们天生痴迷于“智能”,人工智能的发展充满了乐观的思潮。谢云(2023)评论说:“志存高远,盲目乐观。”达特茅斯会议的主要参与者做出了大胆的预测:

1958年,艾伦·纽厄尔和赫伯特·西蒙(共同获得1975图灵奖):数字计算机将在十年内成为国际象棋世界冠军。 数字计算机将在十年内发现并证明一个重要的数学定理。

1965年,赫伯特·西蒙(1978年诺贝尔经济学奖获得者):“机器将在二十年内完成人们能做的一切工作。”

1970年,马文·闵斯基(1969图灵奖获得者):“在三到八年内,我们将得到一台具有人类平均智能的机器。”

第二,自2009年以来,我们一直在“体验”第四次工业革命(也有人说是第三次工业革命)在中国知网上,以“第四次工业革命”和“第四次工业革命”为题的文章有386篇和48篇(不包括2024年),如下图所示。微电子(1984)、云计算(2012)、物联网(2016)、大数据(2016)、区块链(2017)、工业互联网(2017)、新基建(2020)等,都被赋予了“第四次工业革命”的使命。现在轮到GenAI了。这意味着GenAI需要达到与蒸汽机、发电机、内燃机、计算机和互联网相同的高度。

图片

以“第四次工业(工业)革命”为题的中国知网文章分布

第三,GenAI一般在国外使用(或AI)与智能手机、云计算、互联网等特定技术相比,通常使用“可能”、“一”等词汇。例如:

黄仁勋(2023.2):“ChatGPT”the iPhone moment of AI”, OpenAI 所做的工作是“one of the greatest things that have ever been done for computing”。

比尔·盖茨在《The Age of AI has begun》(2023.3)他说,图形用户界面和GPT是他一生中见证的两次革命性技术展示,并指出:“人工智能的发展与微处理器、个人电脑、互联网和手机的诞生一样重要。”

亚马逊CEO贾西致股东信(2024.4):“Generative AI may be the largest technology transformation since the cloud(which itself, is still in the early stages), and perhaps since the Internet.”

第四,历次工业革命不是预测的结果,而是后人的总结。第一第二次工业革命(1760-1840)结束40年后,术语“Industrial Revolution在阿诺德·汤因比的推动下,第二次工业革命(1870-1914)结束40年后,经济学家开始使用“Second Industrial Revolution”,直到1969年,戴维·兰德斯的《不受约束的普罗米修斯》才标准化了其学术定义;第三次工业革命还没有统一的认识,暂时没有表现出来。这种“伟大不能计划”的味道让我们期待着第四次工业革命的不同。

在这篇文章中,得到了马骏、马源、石光、王明辉、李勇坚、白惠天等人的支持和帮助。


/template/Home/Zkeys2/PC/Static