以特定格式

因为随着大模型在各行各业的渗透，除文本数据外，诸如表格和图形数据等越来越多的结构化数据正被融入 RG 系统。

比如在

些tBI的场景下，就需要将用户的Query内容，转化为Q语句，进行数据 手机号码数据 库查询，这就是Text-to-Q。再比如工业设计场景下，可能需要将用户的Query转化为设计指令，或者设备控制指令，这就是Text-to-yper。 在查询构建环节，我们将实现Text-to-Q、Text-to-yper和ef-Query让大模型自行构建Query）三种优化方案。 . Retriev检索） 在检索的时候，用户的问题会被输入到嵌入模型中进行向量化处理，然后系统会在向量数据库中搜索与该问题向量语义上相似的知识文本或历史对话记录并返回。 在朴素RG中，系统会将所有检索到的块直接输入到 M生成回答，导致出现中间内容丢失、噪声占比过高、上下文长度限制等问题。

在检索环节，我们将实现Rernking重排序）、Refinement压缩）、orretive Rg纠正性Rg）等方案。  Genertion生成） 在生成环节，可能会出现以下问题。

当系统忽略了

例如表格或列表）提取信息的指令时，输出可 统包括国家区号主要包括 能会出现格式错误； 第二，输出错误或者输出不完整，比如对于一些比较类问题的处理往往不尽人意，以及可能出现的幻觉问题； 第三，可能会输出一些不太符合人类/社会偏好，政治不正确的回答 在生成环节，我们将重点介绍ef-Rg方案。 要覆盖所有上面提到的优化环节，需要较长的内容篇幅，因此风叔会分成几篇文章来写。接下来，我们先从整体上，看看一个最小化的RG系统是如何实现的。

构建最小

化的Nve Rg系统 RG发展初期，其核心框架由 美国b2b清单 索引、检索和生成构成，这种范式被称作Nve RG。Nve Rg的原理非常简单，包括以下三个步骤： 索引：这一过程通常在离线状态下进行，将原始文档或数据进行清洗并分块，然后将分块后的知识通过embedding模型生成语义向量，并创建索引。