当前位置: 首页> 投研观点> 算力专题研究二:从训练到推理:算力芯片需求的华丽转身

算力专题研究二:从训练到推理:算力芯片需求的华丽转身

2024-08-25 13:45 华福证券 陈海进,徐巡,李雅文 查看PDF原文

(以下内容从华福证券《算力专题研究二:从训练到推理:算力芯片需求的华丽转身》研报附件原文摘录)  投资要点:

  推理算力:算力芯片行业的第二重驱动力

  我们在此前外发报告《如何测算文本大模型AI训练端算力需求?》中,对未来三年AI训练卡需求持乐观态度。我们认为,推理侧算力对训练侧算力需求的承接不意味着训练需求的趋缓,而是为算力芯片行业贡献第二重驱动力。当前推理算力市场已然兴起,24年AI推理需求成为焦点。据Wind转引英伟达FY24Q4业绩会纪要,公司2024财年数据中心有40%的收入来自推理业务。如何量化推理算力需求?与训练算力相比,推理侧是否具备更大的发展潜力?我们整理出AI推理侧算力供给需求公式,并分类讨论公式中的核心参数变化趋势,以此给出我们的判断。

  ScalingLaws&长文本趋势:推理需求的核心驱动力

  根据OpenAI《ScalingLawsforNeuralLanguageModels》,并结合我们对于推理算力的理解,我们拆解出云端AI推理算力需求≈2×模型参数量×数据规模×峰值倍数。由ScalingLaws驱动的参数量爆发是训练&推理算力需求共同的影响因素;而对于推理需求,更为复杂的是对数据规模的量化。我们将数据规模(tokens)拆解为一段时间内用户对于大模型的访问量与单次访问产生的数据规模(tokens)的乘积,其中,单次访问产生的数据规模(tokens)可以进一步拆解为单次提问的问题与答案所包含的token数总和乘以单次访问提出的问题数。通过层层拆解,我们发现单次问答所包含的token数是模型中的重要影响因素,其或多或少会受到大模型上下文窗口(ContextWindow)的限制。而随着上下文窗口瓶颈的快速突破,长文本趋势成为主流,有望驱动推理算力需求再上新台阶。

  结论:

  我们首先根据前述逻辑测算得到AI大模型推理所需要的计算量,随后通过单GPU算力供给能力、算力利用率等数值的假设,逐步倒推得到GPU需求数量。若以英伟达当代&前代GPU卡供给各占50%计算,我们认为2024-2026年OpenAI云端AI推理GPU合计需求量为148/559/1341万张。

  建议关注

  算力芯片:寒武纪海光信息龙芯中科

  服务器产业链:工业富联沪电股份深南电路胜宏科技

  风险提示

  AI需求不及预期风险、ScalingLaw失效风险、长文本趋势发展不及预期风险、GPU技术升级不及预期的风险、测算模型假设存在偏差风险。

提示:本文属于研究报告栏目,仅为机构或分析人士对市场的个人观点和看法,并非正式的新闻报道,本网不保证其真实性和客观性,一切有关该股的有效信息,以沪深交易所的公告为准,敬请投资者注意风险。

网友评论

×

  • 1.若本人/本机构拟认购/申购私募类资管产品、信托计划,则本人/本机构承诺符合以下条件之一:
  • (1)具有2年以上投资经历,且满足金融净资产不低于300万元,或家庭金融资产不低于500万元:或近3年本人年均收入不低于40万元;
  • (2)最近1年末净资产不低于1000万元的法人单位;
  • (3)金融管理部门视为合格投资者的其他情形。
  • 2.若本人/本机构拟认购/申购私募基金,则本人/本机构承诺符合以下条件之一:
  • (1)金融资产不低于300万元或者最近三年个人年均收入不低于50万元的个人;
  • (2)净资产不低于1000万元的单位。
  • 本人/本机构确认是为自己购买私募产品,不会以非法拆分转让为目的购买私募产品,且资金来源合法合规,不会使用贷款、发行债券等筹集的非自有资金进行投资。
特定对象认证

确 认

×

风险测评
温馨提示:本问卷旨在协助您选择符合您风险识别和承受能力的产品或服务,问卷结果并不能取代您的投资判断,也不会降低产品或服务的固有风险。
    下一题