为了避开返工高峰，韩路一打算初五就启程回海城，也提前跟周敏说好了。

    奇怪的是，往年没这个习惯的周敏，特意在初四晚上拉着韩路一请了尊财神到家里。

    财神请进来摆好，周敏烧了香，又劝韩路一也拜了拜。

    韩路一心里暗暗嘀咕：妈妈平时最反对封建迷信，难道是年纪大了，信仰也转变了？

    拜完，周敏坐到沙发上，拿起遥控器，却没有立刻打开电视。

    韩路一准备回房间工作。

    周敏突然叫住他。

    “路头，在海城工作忙吗？”

    韩路一愣了愣，这问题来得没头没尾：“还行。”

    周敏“嗯”了一声，说：“路头啊，别太累了。不管做什么，身体最重要。”

    韩路一感觉妈妈话里有话，张口道：“妈——你想说什么？直说就行，我受得了。”

    他知道不是身体的问题。回家的第一件事，他就用视界给妈妈做了个全身大扫描，比国庆时还健康一些。

    周敏站起身，看着韩路一，缓缓开口：“我知道，你去年就被裁员了。你不想让我担心，没告诉我。”

    她顿了顿，接着说道：“路头，创业不容易。真有什么大风大浪，你也别怕。我这些年存了些钱，还有你这几年打给我的钱，我也都存着。如果真不顺利，咱们就不干了，你回来，妈也可以养你，啊？”

    韩路一心里一暖，喉咙有点儿疼，转过头去不看妈妈，同时又有点儿惊讶：“妈，你怎么知道的？彪哥和你说了？”

    话一出口，他才发现声音有点儿哑。

    周敏淡淡地笑了一下，还有点儿小得意：“你回来之前我就知道了。你们两个小孩儿，还给我演戏。你小时候不做作业，妈哪次没发现？”

    然后她还是解释了一下：“上次小王老师不是用开物做了个课程表吗？她挺喜欢的，老刷你们那个公众号。有一次她给我看你演讲的视频，一边看一边夸你。我当时心里还挺骄傲的，没告诉她那是我宝贝儿子。”

    韩路一听到这儿有点儿害羞。他还以为瞒妈妈瞒得挺好，结果自己反而是被瞒着的那个。

    “妈……嗯……”韩路一一时也不知道该说什么好。

    “你从小就是个不让人操心的孩子，这么优秀，妈相信你会越来越好。”周敏说到这儿，表情像陷入了些回忆。

    当初那么小个小不点儿，一转眼，都这么大了。

    再也不是抱着妈妈的腿哇哇哭着要抱抱的小路头了。

    “早点睡吧，明天还得开车。你让小张多开点，我看他比你靠谱。”

    周敏摇了摇头，似乎也不打算再深入这个话题。她轻轻拍了拍韩路一的后背，转身走回卧室。

    等妈妈走进卧室，韩路一才把头回过来。他又看了看摆在柜子里的财神像，明白妈妈还是多了一层担心和牵挂。

    但是有妈妈关心的感觉——

    真好。

    ……

    回到海城，第一件事就是和赵文渊对进度。没想到赵文渊给他带来了一个惊喜。

    两人没去办公室，而是在赵文渊家附近找了个咖啡馆。

    初五下午，大部分人都还在放假，咖啡馆里比平时工作日热闹多了。

    三个人找了张桌子坐下来，一人点了一杯热拿铁。

    韩路一和张彪刚开完长途车，看起来都有点儿疲惫。赵文渊倒是精神头十足。

    “韩总，好消息！预训练的进度这两天稳定下来了。”赵文渊兴奋地说，“下一步就是退火了。”

    张彪已经在旁边掏出笔记本，乍一听这个名词，还以为自己听错了。

    他现在也主动多了，知道这些东西早晚都得接触，就算不懂原理，也要了解个大概。

    所以他举起手，动作像个在课堂上提问的小学生。

    赵文渊看看张彪：“怎么了？”

    “什么叫退火？”张彪问。

    “退火就是——”赵文渊想了想，“Annealing。”

    张彪头上写满了问号：你这解释和没解释有什么区别？

    韩路一在旁边笑了一声，开口解释：“退火本来是冶金里的术语，因为形象，模型训练时也借鉴了过来。”

    张彪想了想，说：“就是铁匠打铁，往水里“嗤”的那一下？”

    赵文渊纠正：“你说的那个是Quenching，中文叫淬火，要的是急速冷却。退火不一样，是慢慢冷却。”

    韩路一说：“不用纠结这个，就是个比喻，差不多就是那个意思。”

    然后韩路一从张彪手里拿过笔记本和圆珠笔，边画边说：“咱们说过，模型训练分为预训练和后训练。但在预训练的最后阶段，还有一个特殊阶段，就是退火。”

    说到这儿，韩路一已经在本子上画出一个简单示意图，用笔在其中一个地方点了一下。

    “在这里，前面喂的数据已经足够多、足够杂了，但都是些背景知识。想让模型的基础能力提升，这个阶段要单独给很多高质量语料，比如经过筛选的代码库、文学出版物之类。”

    韩路一画完，觉得解释得似乎还不够通俗，于是又加了一句：“如果说一开始的阶段是从小学到高二上课学知识，现在就是高三复习刷真题。不是什么都学，而是只学最经典、最有代表性的题。”

    然后他把笔记本转回给张彪。

    张彪接过笔记本，对韩路一举的例子并没有什么感同身受——他没刷过真题。

    但他感觉自己这一回听两个高材生讨论，已经不像以前那么一头雾水了。

    “这个阶段一般耗时比较短。”韩路一说完，转向赵文渊，“你预计还需要多久？”

    赵文渊伸出一只手：“最慢最慢，五天就够了。”

    然后他把手收回去，端起拿铁喝了一口。

    “退火数据是我和团队之前就准备好的，三千万条高质量代码片段，一批精选的各领域书籍和学术论文。”

    “原因呢？”韩路一问，“是大年初一修了那次数据问题之后，曲线更稳了？”

    “那是一部分。”赵文渊点头，“主要原因是您前面写的那套清洗规则收益比预期高，原始数据质量显著高于业内标准。无效数据少了以后，同样的训练步数，实际有效学习效率高很多。”

    韩路一点了点头：视哥出品，让人放心。

    赵文渊说着，拿出手机，调出一张曲线图。

    “这是修正前后的对比。之前我担心最后阶段会震荡，所以留了比较大的冗余。但现在看，没有必要，可以直接上退火数据。”

    韩路一看着曲线，没有立刻说话。

    赵文渊继续说：“退火结束后，我们可以先做一轮基础能力评测，代码、数学、中文理解、长上下文，还有通用知识，都跑一遍。只要底座能力过线，就可以进入后训练，到时候标注数据才开始发力。”

    “不要只看公开榜单。”韩路一说，“评测集要分开两层：一层是对外可比较的基础能力，另一层是我们自己的产品前置任务。”

    他说着把身子往前倾了倾：“和一般的研究机构不一样，我们做汤圆不是为了发论文。御风、开物，我们已经有了真实的应用场景，这是我们的优势。一定要确保汤圆有这方面的潜力。”

    赵文渊一愣。确实，他没考虑到和产品结合的这个方面。

    他以前在研究院的时候，做研究就是做研究，不用考虑和产品结合的能力，觉得基础能力到位了，自然能找到用途。

    就像先造锤子，再找钉子。

    可源智现在的情况不一样。源码科技这边两个应用层产品都已经打开市场，汤圆做出来，根本不用考虑哪些场景可以用到。

    场景，御风和开物都给准备好了。

    赵文渊点了点头，在手机上快速记了条备忘录，说道：“好的，韩总，我一开工就安排团队做咱们自己的测评集。”

    安排完工作，韩路一在心里默默算了算时间：五天退火，那就是二月十五日。

    比训练开始时预计的二月二十号提前了几天。

    这样也为Kaiwu海外版后台的迁移又争取出几天时间。

    江松然那边也要抓紧了。能不能用国产卡集群跑通训练，也是这个计划的重要一环。

    预训练结束之后，再花二十天做后训练的微调和对齐。算一算，三月初就可以把完全从头开始训练的汤圆做出来了。

    这和之前用7B开源底座加上八千条标注喂出来的汤圆v0.1可不一样。

    到那时，用视界级数据清洗标准加视界级标注数据训练出来的大模型，将第一次面世。

    被全套金手指资源加持的汤圆，成绩会怎么样？他无比期待。

    想到这儿，韩路一打开视界看了一眼右下角的经验进度。

    百分之五十。

    一半了啊。

    韩路一这么想着，拿起桌上的拿铁喝了一口。

    ……

    与此同时，在海城的另一端，张弛也刚刚在虹桥落地。

    他没回家，让司机直接送他去鼎盛大厦。

    到了鼎盛大厦，秘书已经在楼下等他。

    他把手里的包交到秘书手上，一边往电梯走一边问：“人都到了吗？”

    “刘总监和王总监都在会议室等您。”秘书紧跟在后面，快速回答。

    出了电梯，张弛直奔会议室。

    门一打开，刘勃和王浩都站着。看见张弛进来，两人一起往前一步，赶紧问好。

    张弛看着两人紧张的样子，直接在他们对面拉了张椅子坐下，然后摆了摆手，开口：“哎，站着干嘛？坐下说。”

    于是两人都赶紧拉开椅子坐下。

    等两人坐定，张弛开口问道：

    “说说吧，什么进度？”