微调之后：能力涨了，哪里却变差了

引言

微调是让通用大模型适应特定任务最常用的办法：用一批领域数据再训练一轮，模型在该领域的表现往往立刻提升。于是很多人默认，微调是只赚不赔的买卖。但用过微调模型的人会发现，事情没有那么简单：它在目标任务上变强了，却可能在别的方面悄悄变弱。这种“涨了这里、弱了那里”的现象，不是偶然的副作用，而是微调机制本身带来的取舍。

一、遗忘是微调的固有代价

通用模型的能力来自海量通用数据的训练，微调数据只是其中很小的一部分。当训练目标集中到某个领域时，模型的参数会朝着新任务倾斜，那些在新数据里很少出现的通用能力，就会逐渐淡化。这就是常说的灾难性遗忘：它不是模型故意丢掉旧知识，而是参数空间有限，顾此难免失彼。微调得越彻底，偏离通用模型越远，遗忘往往也越明显。

二、变强的部分可能比看起来窄

微调带来的提升，有时比评估分数显示的更窄。模型可能只是学会了新数据的表达风格、答题格式和常见套路，而不是真正掌握了领域知识。换一种问法、换一批没见过的案例，提升就可能大打折扣。更隐蔽的是，模型可能把训练数据里的偏见和错误也一并学了进去，在特定任务上表现得很自信，错得也很有底气。评估微调效果时，只看目标任务的分数是不够的，还要看它在相邻任务和通用任务上的表现。

三、数据质量比数据数量更关键

微调的效果高度依赖数据质量。标注不一致的数据会让模型无所适从，同一类问题有两种答案，模型学到的就是摇摆；带有错误的数据会被模型当成标准答案认真记住；过于单一的数据会让模型形成刻板印象，遇到正常变化就应对失当。很多人把微调效果不好归咎于模型或参数设置，实际上问题常常出在数据本身：没有经过清洗、校验和去重的数据，喂得越多，副作用越大。

四、轻量微调是一种折中

正因为全量微调代价大、遗忘明显，实践中更常用轻量方法：只调整模型的一小部分参数，或者在模型外挂一个小型适配层。这样做的好处是，通用能力保留得更多，训练成本也更低，多个任务可以各挂一个适配层、互不干扰。代价是，轻量方法的天花板通常低于全量微调，面对与通用模型差异很大的领域时，提升可能不够。选择哪种路线，本质上是在“改得多”和“忘得少”之间做权衡，没有放之四海而皆准的答案。

五、微调之后还要做回归测试

一个容易被忽略的环节，是微调完成后的回归测试。除了目标任务，还应当检查通用问答、指令遵循、安全性等方面的表现有没有明显下滑，检查模型是否开始拒绝回答以前能回答的问题，或者在不该拒绝的地方过度拒绝。把微调当成一次性的训练任务是不够的，它应当被当作一次版本变更来管理：留好基线、记录数据版本、定期回归，才能在效果变差时找到原因。

结语

微调不是给模型贴一块补丁，而是一次再平衡。能力涨了，代价一定在某个地方付了，关键是把这个代价控制在可接受的范围内，并且事先知道它可能出现在哪里。对微调抱有清醒的预期，比对它抱有无限的期待，更能做出好用的模型。