1.3.3 答案生成

一旦检索到用户问题相关的数据片段，RAG系统就将其与用户的问题和相关数据一起传递给生成器（LLM）。LLM利用检索到的数据和用户的查询或任务生成输出。输出的质量取决于数据的质量和检索策略，同时生成输出的指令也会极大地影响输出的质量。

在中文的开源大模型中，对于70亿、140亿规模的开源模型，Qwen-chat是一个不错的选择。相较于ChatGLM、Baichuan等开源大模型，Qwen-chat具有更少的幻觉，更适用于大模型检索增强生成的模式。在RAG场景下，幻觉主要体现在跳脱知识片段回答问题上，即回答的答案并不出现在增强的知识片段中。模型对于未知答案的拒绝能力也属于这个范畴。对于参数量不够大的模型，可以考虑通过适量数据的微调来提升模型在问答场景的效果。