开源了为啥仍用不起
听说K3这么猛,又属于免费开源,于是就有同学跑来问我一个特别真实的问题。
他说:「刀哥,听说K3开源了,是免费模型对吧?那我是不是可以下载下来,自己在电脑上部署一个,以后就不用花钱了?」
这个问题问得太好了,好到我可以直接拿它当这篇文章的选题。因为它正好踩中了开源模型最反常识的地方。
大多数人听到「开源」两个字,脑子里自动调出来的画面是Linux、Firefox、开源播放器这些软件。下载、安装、运行,就完事了。你那台几千块钱的笔记本电脑,就是全部工具。
但开源大模型的部署,特别是K3,可不是这么回事。
我来打个比方。米其林三星餐厅把招牌菜的完整菜谱免费公开了,配料克数、火候时间、每个步骤都写得清清楚楚。你能照着做吗?看起来能。
直到你翻到第一页的厨房要求:需要64口专业灶台同时开火,厨房供电要达到一个小型工厂的水平,光是买齐这套设备就要花掉两千万。
菜谱是真免费,厨房是真买不起。
当然,要理解为什么跑不动,得先搞清楚一个根本问题:开源模型到底「开源」了个什么?
以前我们说的开源软件,开的是源代码。源代码是人写的,也是人能读懂的。它像一份详细的说明书,程序员可以逐行阅读、找出问题、修改功能。
但开源模型开的是另一样东西,叫权重。
权重是啥?你可以把大模型想象成一个人工大脑,权重就是这个大脑里神经元之间几万亿个连接的强度数值。
问题来了:权重不是代码,它就是一坨纯粹的数字。K3有2.8万亿个参数,打包起来约1.4TB。这些权重文件也不是普通文档,即使用专门的工具解析,你看到的也只是一层层巨大的数字矩阵。
你可以对权重做微调、量化,甚至训练出衍生版本,但不能像阅读源代码那样,逐行看懂某个数字究竟代表了什么。权重可以被分析和修改,却很难被人类直接解释。
所以,第一个反常识就在这里:开源软件给你的是一份能看懂的图纸,但开源模型给你的是一颗已经制造好的大脑。
拿到图纸的价值,在于人人都可以学习和修改。但拿到这颗大脑最直接的价值,并不在于拆开了解它的组成,只有把它放在足够强大的机器上,通电运转起来,它才有价值。
开源不等于没有门槛
这里还有个特别容易让人误解的地方。K3是MoE模型,也就是混合专家模型,内部有896个专家子网络,每次推理只激活其中16个。
很多人一听,每次只用16个,那我不需要把896个都装下吧?
不行。这就像一所拥有896个专科的超级医院。每位病人确实只需要其中16个科室会诊,但你不知道下一位病人需要哪16个科室。
你不能只开16个科室,然后把其他880个锁了。整所医院的科室都得在那里,随时待命,保证需要的时候能够迅速调度。
K3也一样。每次计算虽然只调用一小部分专家,但完整的2.8万亿参数仍然需要被系统保存,并且随时能够访问。而真正要做到响应够快、多人同时使用,就得把这些权重分布在大量高速显存里。
所以,我非常支持软件和AI模型开源。但是,开源可不是没有了门槛,而是把门槛从法律世界搬到了物理世界。
以前闭源模型的门槛,是对方让不让你用、收你多少钱,不付钱就用肯定会有法律风险。现在开源模型K3虽然把门打开了,但想进门,前提是你得有一个机房。
那这个机房到底要多大?我们来算一笔账。
目前你能买到的最顶级消费级游戏显卡,显存是32GB。K3的权重超过1400GB,一张顶配游戏卡,只装得下这个模型极小的一部分。
月之暗面官方给出的正式部署建议,是使用由64张以上加速卡组成的超节点。按同类硬件估算,光是采购成本就至少超过240万美元,约合人民币1700多万元。
买完设备就完了吗?别着急,故事才刚开始。
64张这种级别的显卡满载运行,光显卡本身的功耗就接近45千瓦。而普通家庭的入户电力容量,一般只有8到12千瓦。换句话说,就算有人把这套设备白送到你家,你家的电表和电线也带不动它。
传统软件的经济学逻辑是,开发很贵,复制和运行几乎免费。而大模型的经济学是,开发极贵,复制免费,但每一次运行都在真金白银地烧电、烧显卡。
免费下载解决的只是复制环节,真正昂贵的运行环节,一分钱都省不下来。
顺利使用 vs 绝对拥有
我们其实做过一次对照实验。K3发布后,我让同事抓紧接入了K3的API,直接看到了这个模型的调用成本。
API的定价对企业和个人开发者来说都不算贵,每百万输出token是15美元,而能力相当的顶级闭源模型,比如OpenAI的一些模型,要50美元左右。
三倍多的差价,就是开源竞争压出来的。一个月用下来,开源模型的调用费,对一家公司来说只是日常开支里很小的一项。
而如果你要自己完整部署同样一个模型呢?
如果只算显存容量,社区有人估算,至少需要16张H200,才有可能把完整权重装进机器里。但装得进去,不等于跑得高效。即便如此,硬件开销也是几百万元人民币。
一边是每个月几千到几万元的API调用费,另一边是几百万元的硬件投入,还不算电费、机房和运维团队。
这就是「顺利使用」和「绝对拥有」之间的距离。
顺便说一句,上一代Kimi K2有1万亿参数。社区里有达人做过极限压缩版,一台顶配Mac Studio勉强能跑起来,算是能玩。
而K3的参数直接涨到2.8万亿,单机可部署这条路基本被堵死了。它几乎就是一个只属于数据中心或者企业能运行的物种。
公开信:保护开源模型
说到这里,整个故事里还有一个人特别值得提一嘴。7月24日,黄仁勋注册了X账号,发出了人生第一条推文。
这位全球市值近5万亿美元的公司的掌门人,第一次发声,不是宣传自家显卡,而是分享了一封由英伟达、微软、Meta等二十多家科技企业和机构联署的公开信,主题只有一个:保护开源模型。
一个卖硬件的,替免费模型站台,是不是有点反常?
一点都不反常。黄仁勋可能是全场算账算得最清楚的人。他在接受采访时说过一句话:免费AI对硬件是好事,对芯片是好事,对数据中心也是好事。
道理就藏在我们前面算的那笔账里。模型免费了,但跑模型的GPU一张都不能少。想部署K3?先买上几十张顶级显卡。
模型越免费,想跑模型的人越多,铲子就卖得越好。
开源模型烧掉的不是英伟达的生意,而是闭源模型的护城河。这就解释了为什么那封公开信上,几乎半个硅谷都签了名。
值得注意的是,同样缺席首发名单的OpenAI和Google,后来也陆续补上了签名。不过截至7月28日,另一家闭源AI巨头Anthropic仍未出现在官方签署名单中。
黄仁勋替免费模型站台,因为他卖的就是厨房里必备的灶台。那谁有厨房,需要这些灶台呢?
云计算厂商有,可以部署K3,把它变成按量付费的服务。有合规需求的大企业也有,可以部署在自己的内网里,让数据不出门。
写在最后
那回到最初那位朋友的问题。不能自己部署,不等于用不上。
想体验K3,直接访问官网就行,月之暗面已经替你把那64张卡的机房建好了。开发者想接入,就用官方API,一个月几十元到几百元就够了。
K3的菜谱已经向全人类公开了。变化只有一点:当年运行开源软件的厨房,人人家里都有。今天运行前沿开源模型的厨房,是一座座耗电如小型城镇的数据中心。
所以,以后再看到新闻说某某大模型开源了,先别急着兴奋地喊「免费了」,先问自己一个问题:跑它需要多少电、多少卡?
这个问题能帮你一秒看清,这个「免费」到底有多高的门槛。
特别是一些老板,如果只是看了新闻,说Kimi很强大,而且免费开源,就让你赶紧自己部署一个,你可以把这篇文章转给他,然后补一句:
「老板,这个AI模型下载是免费,但要运行起来,还得花这么多钱。你看看,真的要装吗?」
我相信,这个账单只要一摆出来,大部分人都会放弃自己部署。
个暑假,孩子怎么过才有意义?建议所有家长,带着孩子用AI做出第一个专属作品!
得到「暑期AI创作大赛」正在火热进行中,小学生、初中生、高中生都能免费报名。孩子不太会用AI工具也没关系,各领域专家每周直播辅导,手把手带孩子从零做出AI漫画、剧情短片、知识卡片、小游戏等作品。
前6名优秀创作者还能拿到2000元学习基金、专属证书和奖牌,更有导师为孩子1V1打磨作品,以及来北京参与线下录制的机会。
活动8月5日即将结束,快来扫码了解活动详情,报名参赛👇
