掘金文章归档 · 第 77 篇 AI · RAG

大模型实现 - RAG 的基础流程和难点分析

文档切割存储 → 提问检索 → 大模型回答,三阶段工作流与上线级难点

原文作者:随意_(掘金) | juejin.cn/post/7431590701496320038 | 发布于 2024-10-31 | 阅读 362 · 约 2 分钟

0前言

最近刷 B 站对于 rag 的看法有了变化,现将 B 站老师的讲解做下记录,主要记录 rag 的主要工作流程及 rag 实现大模型的难点分析。

1RAG 大致的工作流程

文档切割存储流程

1大量的文档文本
↓
2文档切割,分割 chunks(段落)
↓
3chunks embding 转向量
↓
4存储向量数据库(向量数据库加速检索)

用户提问及检索过程

1用户发起提问,提问问题 request
↓
2request embding 向量化
↓
3向量问题从向量数据库检索
↓
4检索完成返回检索结果 context

大模型回答阶段

1context 和提问问题结合,生成提示词 Prompt
↓
2提示词交给大模型回复
↓
3大模型回复 response,展示给用户

2RAG 的难点分析

虽然基于经典的 rag 流程,我们可以很快地开发大模型应用,但是实际上其中的注意点及难点不少,细节不好达不到上线的要求。

文档切割存储流程难点

用户提问及检索过程

大模型回答阶段

阶段核心难点
文档切割存储多格式文档读取、合理分块策略、embedding 与向量库选型
提问与检索问题处理(扩充/清理)、检索效率与准确性、rerank 排序
大模型回答prompt 编排、模型选型、回复筛选与合规检查

3总结

以上就是 rag 的基本流程和难点分析。