1.1.2 RAG与模型微调的对比

模型微调是指在一个特定任务上用一定量的数据来训练模型的过程，通过在特定数据集上微调可以提高模型在特定数据集上的性能。如果有足够大的监督数据集，且数据集不会发生改变，那么微调是一个很不错的方法。尽管大模型的微调成本较高，但现在已有大量低成本微调的方法，例如LoRA、QLoRA。然而，如果数据集是动态的，就需要不断地重新训练模型以跟上数据的变化；或者如果没有足够大的数据集，那么微调不是一个好方法。在这种情况下，可以使用RAG来提高大模型的性能。同样，可以利用RAG来提高大模型在摘要、翻译等任务上的性能，因为这些任务可能无法进行微调。

表1-1清晰地展示了两者的区别。