Insert and retrieve documents

工作流名称

Insert and retrieve documents

主要功能和亮点

该工作流自动抓取Paul Graham网站上的最新文章列表，提取文章链接，限制抓取前三篇文章的正文内容，清洗提取纯文本后，将文本分块并通过OpenAI的文本嵌入模型生成向量，批量插入Milvus向量数据库中。用户可通过聊天接口发送查询，系统基于Milvus向量检索相关文本块，利用GPT-4模型结合上下文进行智能问答，并附带引用来源，确保答案的准确性和可追溯性。

解决的核心问题

• 自动化大规模文本数据的爬取、解析和结构化存储
• 将非结构化文本转换为高效的向量表示，实现快速语义检索
• 结合强大的语言模型，实现基于文档内容的精准问答
• 提供来源引用，提升问答结果的可信度和透明度

应用场景

• 知识库建设与管理：自动采集和结构化存储专业文章，方便后续查询和分析
• 智能客服和问答系统：基于特定文档集合提供专业解答与辅助决策
• 内容聚合与研究辅助：快速检索和引用相关文章内容，提升研究效率
• 企业内部文档管理与智能检索

主要流程步骤

1. 手动触发工作流执行
2. 通过HTTP请求抓取Paul Graham的文章列表页面
3. 使用HTML解析节点提取文章链接，并拆分为单条记录
4. 限制抓取前三篇文章内容
5. 逐篇发送HTTP请求获取文章全文
6. HTML解析提取纯文本内容，剔除图片和导航元素
7. 使用文本分割器对文章文本进行分块处理
8. 利用OpenAI文本嵌入模型生成向量表示
9. 将向量数据插入Milvus向量数据库，支持后续检索
10. 通过聊天触发节点接收用户查询
11. 在Milvus中基于查询向量进行语义检索，获得相关文本块
12. 调用GPT-4模型结合上下文回答问题，并生成带有引用的完整回答

涉及的系统或服务

• HTTP请求节点：抓取网页内容
• HTML内容解析节点：提取链接和文本
• OpenAI API：文本嵌入（text-embedding-ada-002）、聊天语言模型（gpt-4o-mini）
• Milvus向量数据库：向量存储与检索
• n8n工作流自动化平台及其内置节点
• LangChain组件：文本切割、向量存储接口、信息抽取

适用人群或使用价值

• 内容聚合平台运营者，需定期采集和管理大量文章数据
• AI开发者和数据科学家，构建基于语义检索的智能问答系统
• 企业知识管理团队，提升内部文档的利用率和检索效率
• 研究人员和学者，快速访问和引用专业文章内容
• 任何需要将非结构化文本转化为结构化知识，并通过自然语言交互获取信息的用户

该工作流集成爬取、处理、存储、检索、智能问答全链路，极大简化文本知识管理流程，提升内容利用价值。