rag大模型5个基本参数

1. Top-K

• 核心作用：决定模型“能看到多少参考资料”。
• 如何调整：
  • K值过小 (如1-2)：可能导致信息不足，遗漏关键信息，回答不完整。
  • K值过大 (如10以上)：虽然信息更全面，但会引入更多不相关的“噪音”，增加模型处理负担，甚至导致混淆和幻觉，同时也会降低响应速度。
• 建议：通常从 3-5 开始测试，根据回答的完整性和准确性进行微调。

2. 相似度阈值

• 核心作用：充当“质量过滤器”，确保参考资料的相关性。
• 如何调整：
  • 阈值过高 (如>0.8)：筛选标准非常严格，只有高度相关的内容才会被使用，回答准确性高，但可能因过滤掉太多信息而回答“未找到相关信息”。
  • 阈值过低 (如<0.3)：筛选标准宽松，会纳入更多边缘相关的内容，增加了信息量，但也大幅提升了引入噪音和导致模型胡编乱造（幻觉）的风险。
• 建议：这是一个需要精细平衡的参数，通常从 0.5-0.7 的区间开始尝试。

3. 分块大小

• 核心作用：决定每个参考资料的“信息粒度”。
• 如何调整：
  • 块过大：包含的上下文信息更完整，但可能混杂不相关内容，且会快速消耗模型的上下文窗口限制。
  • 块过小：检索更精准，但可能丢失关键的上下文，导致语义不完整，模型难以理解。
• 建议：对于中文通用场景，500-800个字符是一个不错的起点。对于结构严谨的文档（如法律条文），可采用基于结构的切分；对于长文本，可适当增大块大小。

4. 温度

• 核心作用：决定模型回答的“确定性与创造性”。
• 如何调整：
  • 温度低 (如0 – 0.2)：模型输出非常确定和保守，倾向于选择概率最高的词。这对于需要绝对准确的事实查询、技术文档解读等场景至关重要，能最大程度减少幻觉。
  • 温度高 (如>0.7)：模型输出更具多样性和创造性，但同时也更容易偏离事实，产生不准确的内容。
• 建议：在RAG场景中，为了确保回答忠实于检索到的上下文，强烈建议将温度设置得很低，通常为0或0.1。

5. 随机种子

• 核心作用：保证实验和调试的“稳定性”。
• 如何调整：
  • 固定种子值 (如42)：在输入和所有其他参数不变的情况下，模型每次都会生成完全相同的输出。这在系统开发、调试和效果对比时是必不可少的。
  • 不固定种子：每次运行都可能产生不同的结果，适用于需要多样性输出的创意场景，但在RAG中不常用。
• 建议：在开发和测试阶段，务必固定一个随机种子，以便于排查问题和验证优化效果。