理论上可行。
前面的操作只是将数据向量化(也可以本地做向量化),后面的LLM模型用来优化回答
向量化之后大概率是放到要给向量数据库,不确定OpenAI是否需要放到指定的向量数据库
关于向量可以看B站的这两个视频
【上集】向量数据库技术鉴赏】
【下集】向量数据库技术鉴赏】
本地的向量数据库可以用这个 qdrant/qdrant docker一键部署,有图形化界面可以查看向量数据
少量数据的向量数据库,可以用 chroma-core/chroma 基于内存部署,也可以做持久化存储
后面的LLM模型用来优化回答。前后端流程大概如下
- 将文档数据向量化存入向量数据库
- 产品侧,前端用户输入
- 服务端,将用户的输入向量化
- 服务端,用向量化的数据在向量数据库检索相近的内容
- 在将用户的输入和检索的内容塞给LLM,依照参考资料回答
- 前端渲染数据