每个 AI 工程师在构建基于 LLM。 要了解指导决策的因素，我们首先要了解这些术语的含义。
提示工程： 提示是您提供的文本输入，LLM输入生成响应。 它基本上是一个改进的输入，用于指导模型的输出。 输出将基于 LLMs。
RAG（检索增强一代）： 当您将提示工程与数据库查询相结合以获得上下文丰富的答案时，我们称之为 RAG。 生成的输出将基于数据库中可用的知识。
微调 微调是指使用特定于任务的数据调整 LLM，以专注于某个领域。 例如，语言模型可以针对医学文本进行微调，以更擅长回答与医疗保健相关的问题。 这就像为已经熟练的工人提供额外的培训，使他们成为特定领域的专家。 回到重要的问题，我们如何决定应该采取什么方法！ （请参阅下图）
有两个重要的指导参数，一是外部知识的要求，二是模型适配的要求。
虽然 former 的含义很明确，但 model adaption 意味着改变 model 的行为，包括词汇、写作风格等。 例如：预训练的 LLM 可能会发现总结公司会议的记录具有挑战性，因为他们可能在两者之间使用一些内部词汇。
因此，微调更多的是改变结构（行为）而不是知识，而 RAG 则相反。
当你想生成基于自定义知识库的输出时，你会使用RAG，而LLM保持不变。
如果您不需要它们中的任何一个，那么 prompt engineering 是要走的路。
如果您的应用程序既需要自定义知识又需要模型行为的改变，那么混合（RAGs + 微调）是首选。