鼎盛大厦,四十九层,郑晓波的办公室里。
程远和刘大海并排坐在沙发上。程远的膝盖上放着一个黑色文件夹;刘大海依旧穿着灰色连帽衫,空着手,什么也没带。
郑晓波坐在两人对面,开口道:“说说吧,昨天的会开得怎么样,复盘一下。”
程远翻开文件夹:“郑总,是我没做好,整个会议都没在我的节奏里。”
郑晓波没接话,倒没料到他一上来先认错。
“他们不是为了万物生和开物的事情来的,为的是另一件事。他们自己带了一套方案,想让咱们用算力折算投资,换股。”
郑晓波问:“换股,换的什么股?”
“不是源码科技的股份。韩路一打算成立一家新公司,专门做通用基座模型,换的是这个新公司的。”
郑晓波冷笑一声:空手套白狼啊。
可他们要的不是钱,而是算力?难道真想做点东西出来?大模型?就凭他们?
程远见郑晓波的注意力没再停在谈判不顺上,便知道自己这口锅已经甩掉一半。
毕竟对方想谈的,和我们预期本就不一样,自然不会再按预定节奏走,非战之罪。
随即,他翻到第一页做了标记的位置,开始复盘:“刘博士先做展示,他们反应很平淡,随后直接给我和刘博士来了个反向展示。”
“反向展示?什么意思?”郑晓波问。
程远看了刘大海一眼:“技术细节我不太懂,还是让刘博士说吧。”
郑晓波看向刘大海:“大海博士,你来讲讲?”
刘大海没听出这段对话里的弦外之音,老老实实开口:“我先给他们展示坤元,他们却突然拿出电脑,说自己也做了一个模型,想让我们也测一测。我心想,测就测呗,正好看看效果。一共测了三道题,都是和坤元一起跑的——”
说到这里,刘大海嘴里泛起一股苦味,昨天那阵不好的回忆又冒了出来。
任谁带着团队辛辛苦苦干了好几个月,成果却被人碾压,心里都不会好受。
刘大海接着说:“三道题,他们那个小模型都比坤元表现得好。随后我要了跑分,意图理解这一块,他们跑到85。”说完,他看了郑晓波一眼,估摸郑总未必清楚这意味着什么,又补了一句:“咱们坤元是78。”
郑晓波挑了挑眉:效果竟然这么好?
他的第一反应却是:程远和刘大海别是被人骗了吧?
“这技术会是真的吗?有没有可能是在骗我们?”郑晓波问。
作为鼎盛这家科技巨头的掌舵人,郑晓波不必懂技术细节,却必须对技术边界保持敏锐。
什么做得到,什么做不到,什么现在做不到、将来却可能做得到,他必须清楚,才能更好地作战略判断。
刘大海摇头:“我一开始也寻(xin)思过,可他们这个应该是真东西。”
程远看了刘大海一眼:技术负责人既然已经背书,他肩上的锅就更小了。
“会不会是过拟合?”郑晓波追问。
刘大海一愣,没料到郑晓波能问出这么专业的问题。
刘大海是首席科学家,职级虽高,平时却大多向直属副总裁汇报,直接向CEO汇报的机会并不多;因此,他头一回知道郑晓波对机器学习也有涉猎。
过拟合并不是大模型时代才有的新概念。
机器学习里,数据通常分为训练集和测试集:训练集用来学习规则,测试集用来检查结果准确度。
这里有个小诀窍:不能直接用训练集测试模型能力,因为它会把答案背下来。
这就像教小学生加法:教一加一,考一加一,你分不清他是背会了还是真会了;教一加一,考二十三加十九,才能验证他是不是真会。
所谓过拟合,就是测试题答案已经被模型背过时,测出来的分数会虚高。
刘大海组织了一下语言,答道:“郑总,这事我也想过,但应该不太可能。昨天那三道题来源各不相同:第一道来自鼎盛内部题库,有可能泄露;第二道是我昨天现挂的;第三道出自我的私人题库,公司里都没几个人见过。这样看,提前准备过的概率实在太低。”
说完,他咂了下嘴,语气里混着钦佩和不甘:“咋说呢,这个85的意图理解,就算有虚高,比坤元领先一些是肯定的。”
听完,郑晓波沉默了片刻。
对面的刘大海和程远都不敢吭声,眼观鼻、鼻观心,一动不动,像两个入定的老僧。
良久,郑晓波开口:“你们觉得,这个技术值得投资吗?”
刘大海脱口而出:“值得,太值得了。”
作为纯粹的技术人,实事求是是第一位的;刘大海不会因为东西是别人做出来的,就故意贬低它。
程远犹豫了一下,没有作声,他还拿不准郑总的意思。
郑晓波又问:“大海,他们是怎么做到的?你有什么想法?”
刘大海伸手摸了摸光头,缓缓道:“郑总,不瞒您说,我昨晚几乎一宿没睡,一直在想这事。”
程远瞟了他一眼,心说:技术人的邀功,还是直白了点儿哈。
刘大海接着说:“我自己想了几个方向。我觉得他们没跳出Transformer的架构,而且拿出来的还是个小模型。现阶段,模型性能要有这么大提升,要么靠大参数,要么靠质量特别高的数据,没有第三条路。”
“大参数可以最先排除:他们来要的就是算力,这方面肯定不占优势。”
“意图理解这条赛道,OpenAI的GPT是公认的天花板,也就78分出头。他们拿一个开源的7B架构,参数量只有人家的零头,跑出85.2。郑总,这么跟您说吧,这就好比我们县城中学的一个学生,高考分数比全省状元还高三十分。”
刘大海边说边留意郑晓波的表情。
技术人给领导汇报,既怕技术细节说多了领导听不懂,又怕说少了、说简略了领导不满意,只能小心翼翼,随时调整。
“我能想到的唯一解释是:这个县城学生用的根本不是普通课本,而是一份全世界别的学生都没有的黄金复习资料。”
程远插了一句。
他没听懂,这倒没关系;他主要怕郑总也没听懂,而这种问题不能等郑总来问。
“刘博士,不好意思,你这个比喻指的是什么?”
“是标注数据。”刘大海也意识到说上头了,赶紧收回来,“郑总您应该了解,我就简单说说。”
“咱们做模型训练,主要分几个阶段:先是预训练,这个阶段就是堆语料,恨不得把互联网上的东西全给它整进去。”
“第二步是监督微调。第一步训出来的模型好坏不分,微调相当于给它看作文范文,教它分明白啥是好赖话儿。”
“再往后还有对齐阶段,这个先不聊了。”
说到这儿,刘大海叹了口气,继续道:“郑总,咱们做乾元的时候,占了数据量特别大的便宜,效果才好。现在做通用模型,大家用的语料差不多,互联网就那么多东西,你抓我也抓。真想拉开差距,还得看后训练阶段。”
“所以我说,那个……对方效果能做到这么好,一定有好的标注数据。”
刘大海把韩路一的名字忘了,公司名也忘了,只好中途改口。
不行,回去得查查这个公司,还有那个叫赵文渊的技术负责人,看看他的论文。
能训练出这种水平的模型,不可能在学术界默默无闻。
一直沉默听着的郑晓波突然开口:“Scale AI。”
本文每页显示
5000字 共
502页 当前第
144页
目录 上一页 ← 144/502 →
下一页 加入书签