GenerativeAI3(三)
AI 训练成本继续暴跌
MosaicML 最近发布了AI训练工具,可以将语言模型训练到GPT-3级别,只需45万美元,大约是两年前460万美元的十分之一。人工智能培训成本每年下降约70%,甚至快于方舟2022年大想法研究提出的60%的估计。
训练GPT-3级别性能的成本
Sources:ARK Investment Management LLC, 2023. Venigalla, A. et al. 2022; Li, C. 2020.Forecasts are inherently limited and cannot be relied upon. For informational purposes only and should not be considered investment advice or a recommendation to buy, sell, or hold any particular security. Past performance is not indicative of future results.
资料来源:ARK投资管理有限责任公司,2023年。Venigalla, A.等,2022;李,C. 2020。预测作用本身是有限的,不能依赖。仅供参考,不应被视为投资建议或购买、出售或持有任何特定证券的建议。过去的表现并不代表将来的结果。
人工智能硬件和软件成本将继续以每年70%的速度下降
根据Wright 定律,人工智能相关计算单元(RCU)的生产成本和软件成本将分别以每年57%和47%的速度下降。换句话说,到2030年,硬件和软件的融合可以使人工智能培训成本以每年70%的速度下降。
AI 训练硬件成本
累计产生的RCUS
基于神经网络的AI软件训练成本
训练成本
* TFS-Days is a measureofcompute required to train a model. Sources: ARKInvestment Management LLC, 2023. Forecasts are inherently limited andcannotbereliedupon. Forinformationalpurposes only and shouldnot be considered investment advice or a recommendation to buy, sell, or hold any particular security. Past performance is not indicative of future results.
*TFS-Days是训练模型所需的计算量。资料来源:ARK投资管理有限责任公司,2023年。预测本身作用是有限的,不能依赖。仅供参考,不应被视为购买、出售或持有任何特定证券的投资建议或建议。过去的表现并不代表未来的结果。