常见的迁移学习策略
- Linear Probing：在适配下游任务时，冻住预训练模型，对其参数不进行更新，只对模型最后一层的线性层进行参数更新。线性探测一般用于检验预训练模型的好坏
- Fine-tuning：使用预训练模型适配下游任务时，对整个预训练模型全部进行参数更新。微调也可以选择不进行全部更新，只对后面一部分模型进行更新，因为模型前几层一般提取的都是比较公共的特征，保留的底层信息较多，可以不用进行微调。
- VPT（Visual Prompt Tuning）：在输入和每个中间层中添加额外的prompt token，并只调整prompt token。
- LoRA（LoRA: Low-Rank Adaptation of Large Language Models）：将低秩矩阵添加到网络中的线性变换权值上，并只调整低秩矩阵。而在实际使用时，这些附加的矩阵可以被合并到原始的权重上，从而不会影响模型的推理流程。
- Adapter：在冻结预训练模型中插入可学习的模块，在迁移下游任务时，仅训练这些插入的组件。
