以小搏大，小模型如何让国内创业者轻装上阵

　　编者按：
　　从科技巨头到互联网大厂，都在竞相追逐，搞起大模型装备赛。然而不少曾经立下＂All in 大模型＂flag的基金，经历了近3个月的火热后，选择自行降温。聚焦到特定的应用场景，最终发挥作用的往往不是大模型，而是轻量的中小模型。大模型涉猎广，但对具体场景的推理演绎能力往往不如中小模型。从成本问题出发，中小模型能将大模型运行所需的算力成本降到1/10甚至1/100，此篇文章就带领大家进行深入了解——＂领域专家＂小模型。
　　全文约4666字，建议阅读时间12分钟。
　　北京时间3月15日凌晨， OpenAI 在官网上宣告了 多模态大模型GPT-4 的诞生。优化了模型 可支持的输入模态、文本长度 等性能之外，OpenAI在GPT-4的基础上升级了 ChatGPT ，并一举开放了 API ——迭代的速度之快，令人咋舌。
　　在这场属于大模型的狂飙中，数字已经让人麻木。首先是模型的 参数量 ——此前，OpenAI用 GPT-3（参数量达1750亿） 将大模型的参数量卷上千亿级别，但很快，国外某公司在3月6日推出的多模态大模型 PalM-E ，则用 5620亿 的参数坐上了＂史上最大视觉语言模型＂的位置。
　　其次是公司狂飙的估值。 全球早期项目数据服务商Dealroom 的报告显示，全球生成式AI企业的估值达到总计约 480亿美元 ，在 2年 里翻了 6倍 。
　　国内AI赛道升温来得晚，但企业估值飙升的速度有过之无不及。一家由某位技术大拿近期创立的大模型企业，模型demo还没影子，天使轮的估值也让其进入了 亿元美金 俱乐部——而在元宇宙的风口中， 百万美金 ，似乎已经是国内创企天使轮的估值天花板。
　　风口中，也有一些纠结、负面的声音浮现。
　　3月2日晚，一篇主题为＂为什么感觉欧美的AI比我们强＂的贴文引起不少争议。发帖者比较了中美的AI发展环境，将欧美AI的发展视作卧薪尝胆的＂精英教育＂，而国内则是重商业化的＂功利教育＂，最后得出了一个略显绝望的结论：人的命运在子宫里就注定了，机器人也不可幸免。
　　元宇亩和ChatGPT都是当前数字化领域中非常热门的技术和应用，两者之间也存在一定的关系、结合起来，可以为企业提供更加 智能化、个性化 的服务和支持，同时也可以拓展企业的市场和品牌影响力，提高企业的效率和创新能力。
　　当下，大模型的暴力美学对于多数企业来说，或许并非全力以赴的最好选择。 算力、高质量数据 ，以及 高密度的算法人才 ，这些都是上大模型牌桌所需的昂贵入场券，国内多数玩家无法在朝夕之间拥有等同OpenAI的储备。
　　但丰富的数据维度和广阔的应用场景，是上一波持续了10多年的互联网浪潮，留给中国创业者的富矿。近一个月以来，不少有 场景 、有 用户数据 的小企业，已经基于国内外大模型的基座，训练出适配自身业务的 小模型 。而一家拥有百亿参数大模型储备的公司，也自行＂瘦身＂，针对 金融、广告 等领域，推出了轻量化的模型，以进行新一轮的数据储备。 当下，用小模型打磨算法的利刃，为大模型的研发做好技术储备，或许是中国创业者在未来实现弯道超车的一条通路。
　　＂全才＂大模型 vs ＂专家＂小模型
　　此前的很长一段时间，人们热衷于将AI送进＂专科院校＂，学会解决特定问题的能力——参数量往往低于百万的小模型由此诞生。AlphaGO对上百万种人类专业选手的下棋步骤进行了进修，最终在 2016年 以 4:1的成绩 战胜围棋名将 李世石 。
　　但专科教育的弊端也很明显，小模型大多都有偏科的毛病。比如面对写营销文案时，精于图片生成的小模型就碰了壁。同时，专科的教育资源分散，每个小模型都需要分别从头进行基础训练。
　　作为父母的人类，大多有着培养出全才的期望。2017年，国外某公司发明了一种新的教育方式： Transformer模型 。 以往的＂专科教育＂中，AI的学习十分依赖人类对学习资料的标注和挑选 ，比如AlphaGO的学习资料来自于专业棋手，而非上围棋兴趣班的孩子。而Transformer训练方式的精髓在于让AI通过大量的预习 ，自行对不同科目的学习资料＂划重点＂ 。用于训练的数据越多 ，模型预习的效果越好 ；参数越多 ，模型划出的重点也就越精确 。自行划重点的教育方法解放了人类的双手，同时让AI对不同科目多管齐下，实现了跨领域的知识积累 。2018年，该公司基于Transformer发布了首个参数过亿 的基础模型BERT ，并在翻译这门科目上，成绩远优于神经网络培训 （比如CNN 和RNN ）模式下培育的模型。
　　自此，Transformer席卷了模型教育界，大模型的＂大＂，也被不少公司卷了起来。目前， 100亿 的参数量被业界认为是模型能力实现跃升的拐点。
　　大模型最为直观的优越性，在于有小模型难以企及的推理演绎能力，能理解更复杂、更广阔的场景。 除了内容生产领域 外，大模型还能用在哪？移动互联网服务商APUS创始人李涛 还举了一个例子：一线城市的交通拥堵，80%的问题根源不在于过多的车辆，而在于协同程度低的智慧交通系统——每个路口红绿灯的秒数设置成多少？不同路段的红绿灯如何配合？仅靠人或者小模型，这些问题难以解决。
　　而大模型的出现，让巨量的交通数据有了用武之地，＂人最多只能根据一个路段的交通情况做出决策，而大模型能够看得更全面＂。 大模型更大的潜力，还在于能够降低小模型训练的成本 。大模型好比是历经了义务教育的孩子，在此基础上，上大学选专业，进而成为更高阶的专业人才是件成本较低、水到渠成的事。这也意味着，有了大模型作为基座，从中训练出针对特定应用场景 的轻量模型 ，能够省去从0开始培养基础理解的过程。当然，这一做法的风险是，大模型的能力会直接影响培育出模型的质量。
　　以ChatGPT为代表的生成式AI，则是大模型时代下，从象牙塔走向广阔应用的第一批优秀毕业生。GPT-3.5是掩藏在语言生成能力出众的ChatGPT背后的大模型基座，低调，但作用巨大——如今，它已经的教育资源已经升了级，迭代成了GPT-4。
　　不过，大模型时代的到来，并不意味着高精尖的中小模型将被淘汰。落地到具体的应用，经济性就不得不被企业纳入考量之中，给成本昂贵的大模型＂瘦身＂显得尤为重要。＂具体的应用场景，未来依然会是中小模型的天下。＂李涛总结。
　　发展大模型难在哪？
　　仅从日常对话体验出发，每一款产品的差异似乎并不大。忽悠或取悦提问者、时效性差等问题仍是通病，但相较囿于特定场景和答题模板的智能客服，当下涌现的对话机器人已经让人初步有了＂想继续聊下去＂的兴趣。
　　但再往下深究模型的 参数、Token 等细节，一切又变得不那么乐观。自研模型达到百亿参数规模的初创企业寥寥无几，而参数规模可观的企业，不少又有些猫腻。
　　为了测试大模型的能力，一位互联网企业的战略分析师展示了他设计的 创意写作、新闻检索、逻辑推理 等 300-400组Prompt（问答提示） ，对十多个突破 10亿参数 规模的＂类ChatGPT＂应用进行逐一测试需要花上两三个月的时间。 测试后，他发现大多产品的回答模式和ChatGPT太类似了：＂很难让人不怀疑，‘自研’模型的水分有多少。＂
　　为什么目前国内仍然没有出现ChatGPT？多数从业者都觉得答案显而易见，却又让人无奈：做大模型不仅得花大量金钱和时间＂死抠＂，还需要愿意不计成本投入其中的社会环境。
　　算力、算法、数据、场景 ，这是跑通大模型的 四个关键要素 。前两者也是可以想见的浮于海平面上的困难，尤其对于小公司而言。 《ChatGPT中国变形记》一文对这些灵魂拷问都有所提及：想要跑通一次100亿 以上参数量的模型至少需要用1000张 GPU卡训练一个月 ，一定程度上决定算法能力的人才又大多聚集在硅谷或实力雄厚的大厂。
　　＂自改革开放以来，中国经济保持了30多年的高速增长期，并快速跻身世界前列，这和互联网发展拉动更多行业进行快速商业化落地有很大关系。＂一名在国内外互联网企业AI团队近20年的从业者如是说。但发展的经验，亦成了惯性的枷锁，＂在ChatGPT所带来的 新机会 面前，我们不可避免地仍然 用旧的商业回报的视角去加以评估 ＂。
　　不少投资人也觉得，爽快地拿钱是件不容易的事。受中概股形势严峻、企业赴美上市难等因素影响，不少科技企业对美元基金的态度变得保守谨慎。而如今政府主导基金在人民币LP中的比例加大，基金募集人民币面临更大的挑战。 夹在其间的双币基金更是面临着两头不讨好的困境。＂除了个别不缺钱的头部基金，大部分投资机构都在观望。＂一名双币基金投资人表示。即便训练出了大模型，依然没有人敢断定，资金回报一定会在＂5+2＂的投资周期后到来。
　　3月2日，OpenAI以 $0.002/1000 tokens（约等于100万个单词/18元人民币） 的＂白菜价＂公开了ChatGPT的API，往行业投掷了一枚不确定性的炸弹。仅过了半个月，GPT-4又以终结者的姿态空降赛道。这更是让国内不少企业觉得：＂卷不过。＂
　　最先受到冲击的是模型层的公司，模型性能还没磨到能与ChatGPT同台竞技的水平，又失去了定价权。
　　内容行业的改革也不可避免，如 搜索、设计、文案撰写 等等。一名互联网搜索业务的员工聊起响应新技术改革过程时的无措：＂比如与营收直接挂钩的广告，在生成式AI接入后，用户可能拥有选择不看广告的权利；即便放上广告，接入大模型后搜索的成本也翻了番。＂
　　场景和数据，国内小模型的机会
　　但好在，中国不缺AI模型的 落地场景 ，以及丰富的 用户数据 ——这让国内公司在培育大模型这一＂西瓜＂的同时，还能收割轻量化模型撒下的＂芝麻＂。
　　回到模型训练的本质：量变引起质变。暴力出奇迹的基础在于海量的数据，而我国超 10亿 规模的互联网民，已经给大模型的研发提供了足够的燃料。席卷了近十年的数字化浪潮，又让AI在足够多的成熟产业有快速落地的可能，同时又能为方兴未艾的行业注入新血。
　　李涛认为，国内企业现阶段可以奉行的是＂拿来主义＂，基于海外的开源大模型，将中小模型打磨至顶尖水平： ＂现在国内企业能跑通的是这样一条路：用海外大模型对落地场景进行验证，再基于我们丰富的数据资源训练中小模型，最后落地至具体场景——大模型的4个要素，除了算力是长跑，剩下3个都是能够把握在手里的。＂
　　这也意味着，国内有场景、有数据的模型层公司，在OpenAI给予的竞争压力下，依然能抓住不少机会。中小模型落地后，各行各业积攒的数据又能成为自研大模型的＂飞轮＂。
　　比如基于＂用AI操纵AI＂的想象力，在海外，一些通过大模型搭建＂下一代 RPA（Robotic process automation，机器人流程自动化） 平台＂的公司，已经受到了资本的青睐。 最典型的案例是去年4月，美国AI创企Adept ，迅速拿下了6500万美元 的A轮融资。类似方向的公司还有得到a16z投资的Replicate ，以及德国的Deepset 。
　　＂RPA+AI＂这一应用方向的突破性在于，将大模型落地为 调用和控制 智能工具的中台，让企业在少代码化操作的情况下智能化调用相应的数字工具。一名相关方向的国内创业者预估，＂未来十年内，RPA行业可能不再单独存在，数字化工具可以无代码地直接连接到个体。＂
　　服务于 模型训练、管理、运维 的一些中间业态也初步形成。比如，一些企业研究出了让模型训练 成本更低、效率更高 的模式，让人们只需用一张消费级GPU的显存，就能实现对ChatGPT的部分复刻。
　　无论是保守冷静，还是拥抱不确定性，投资人们首先要面对的是浪潮中水涨船高的企业估值。多少是企业的本事，多少是泡沫中的水分，在被ChatGPT卷起的AI梦真正落地前，让赛道去伪存真，也需要经历一定的时间。