第四百四十一章新模型，新名字

    「什麽?」韩路一问道。

    他知道由於大模型本身和人脑的相似性，很多研究人工智慧的计算机科学家都会阅读一些脑科学的书籍，他自己也看了几本流传广的畅销书。

    但是真到一些细节方面他就抓瞎了。

    旁边的江松然也摸不着头脑。

    但是看着赵文渊在视频里兴奋地样子，两个人都意识到，这位研究院的院长恐怕还有什麽新东西能拿出来。

    「是决策的可选项本身。」赵文渊说道， 「系统一最擅长做的是是否类的判断，那种几选一的也可以，但是一旦决策的可选项超过一定数量，系统一几乎不可能做出选择。」

    「我给你们举个例子，比如说我现在问你们想不想喝豆汁儿，你们是不是立即就可以得出答案? 」

    江松然还没什麽反应，韩路一的脸色已经变得难看了。

    这个确实是系统一就能得出答案的问题。

    「如果我问你 vim好还是 emacs好，你是不是也能马上就得出答案?」赵文渊接着问道。

    韩路一和江松然几乎同时出声。「当然是 vim。」这是韩路一说的。

    「emacs。」这是江松然说的。

    两人又飞快地对视了一眼，只是眼神中的含义并不相同。

    韩路一的眼神中分明是：「原来你是个 emacs党。」江松然则有些惴惴不安，竟然在最不该站错队的地方站错队了。

    故意问出这个问题的赵文渊此时正在偷笑，他早就通过观察发现两个人对代码编辑器的偏好不同了。

    「但是如果我现在问你，在二十种果酱里选一种，你几乎不可能一瞬间就做出选择；如果我让你现在写一篇两百字的文章，别看只有两百字，这也不是系统一能够完成的任务。你们看到问题的所在了吗?」赵文渊说道。

    韩路一思考了一下，说道：「你是指输出的格式吧，无论是是否问题还是二选一问题，他们的输出格式都极为简单，不需要一个词元一个词元的进行生成。」

    江松然在旁边补充道：「听起来还有答案域的问题，输出的答案域覆盖得越广，计算也就越复杂。」

    两人这个时候都意识到赵文渊为什麽会把系统一和系统二的话题拿出来讨论了。

    因为对计算任务进行复杂度预测，然後分类，然後规划调度，这个任务天然就是一个系统一的任务，答案域极为狭窄，无非是简单、中等、复杂三档，想要分得再细致一些，五档也绰绰有余了。

    韩路一开口问道：「所以这类任务，有比使用汤圆的轻量版更好的解法?」

    视频里的赵文渊露出一副高深莫测的笑容：「有的，韩总，有的。」然後他开始解释道：「当初 transfrmer架构刚出来的时候，用的是编码器-解码器 (encer-ecer)架构，但是现在的类pt架构的大模型，包括汤圆，全都使用的是只有解码器的架构。这当然是因为这个路线足够优秀，能够解决非常复杂的问题。但是实际上不同的路线适用的是不同的问题，我们刚才讨论的这种分类问题，有一种更适合的架构，就是只有编码器的架构。」

    江松然此时惊讶地出声道：「你是说bert?」

    韩路一慢了一拍才反应过来。bert是谷歌在2018年提出的一种技术路线，在pt出来之前也曾经在机器学习领域非常热门，但是随着类pt模型成为市场主流，现在已经渐渐没什麽提起了。

    「你是说?」韩路一问道。

    「传统的bert大概是在几亿参数这个级别，而且因为不需要自回归生成预测，它不需要反覆地进行前向运算，只需要一次就能得出结论，对於我们刚才说的分类任务，完全可以做到50毫秒以内。」

    「多少?」江松然的呼吸都变得急促了。

    「还不止，我刚才说的是通用分类器，使用这个思路，我们完全可以训练对调度任务进行特化的分类器，汤圆api开放到现在我们积攒的调度数据就足够进行训练了，这种情况下我们连几亿的参数都不需要，可以把参数压缩到千万这个级别，这种模型的一次运算——」

    赵文渊一口气说了一大段话，也是越说越兴奋，说到这特意停顿了一下，才伸出两只手，五指张开，说道：「我说一个数，10毫秒。」

    「不可能！」江松然脱口而出。

    韩路一倒是没有表态，现在还只是在讨论技术方向，10毫秒的任务分类确实很夸张，这个速度都能赶上用代码写死的规则集分类了，更别提用模型动态分类了。

    但是即使达不到10毫秒，50毫秒也足以让每一次任务调度都跑一次这个新的分类器模型了，如果还能保持现在汤圆1.0的精确度的话，整个调度层的效率还能再往上提一大截。

    同样的硬体，同样的算力集群，通过这种优化就可以发挥出比之前高好几成的效果来。「文渊，这个技术思路你想了多久了?」韩路一问道。

    视频里的赵文渊一愣，然後「嘿嘿」笑了两声，说道：「韩总，我是咱们讨论的时候刚想出来的。」

    霍，听起来像模像样的，竟然还是刚刚头脑风暴出来的。

    「那如果做这个技术验证，需要多久?」韩路一继续问道。

    「几千万参数的话，包括前面的数据清洗加上後面的调参，我估计一两个星期就能做出个原型出来。」赵文渊想了想，说道。

    然後他看了一眼韩路一，突发奇想道：「韩总，您要不要——」

    韩路一开口打断他：「我最近很忙，没工夫帮你洗数据。你先安排人把这个模型做出来，让老江这边测试一下，看一看分类的准确度和上生产环境的实际延迟。」

    赵文渊迟疑了一下，问道：「韩总，这个东西有多优先?」

    韩路一笑了一下：「要是真有你说的那麽好用，你要的训练算力就能一下省出来一半，你说有多优先?」

    赵文渊神色一肃。

    懂了，最高优先级。

    江松然也适时开口道：「赵总，你的新模型出来之後第一时间告诉我，我安排基础设施部门马上测试。」给赵文渊和江松然下完了任务，韩路一的思绪又飘了出去。

    刚才他们讨论的是算力调度里的复杂度预测和分类任务，但是其实真实的使用场景里这种答案空间有限，需要快速运算的场景还有很多啊。

    比如御风的任务调度，如果後台使用混合模型，哪些任务使用旗舰模型，哪些任务使用轻量模型；再比如汤圆回答问题的时候，哪些可以使用自有知识，哪些需要联网搜索信息；甚至脱离开起源现有的产品体系，如果把这个新模型当成一个单独的产品来出售呢?是不是有企业的业务场景也合适，哪些用户反馈可以自动回复，哪些需要转人工客服?

    总之，只要是分类类型的任务，这个架构就是天然适合。

    「韩总，这个新模型和汤圆的关系不大，要取一个新名字吗?」赵文渊问道。

    韩路——想，确实有这个必要。

    既然汤圆已经是一种食物了，新模型也用食物好了。

    他脑筋一转，开口说道：「就叫豆汁儿吧…」