Vector DB Loader from Google Drive
该工作流旨在自动从Google Drive中下载并处理PDF、纯文本和JSON文件，通过OpenAI的文本嵌入模型将其转化为向量数据，并存储到Postgres数据库中的PGVector向量库。此过程实现了文档的高效管理与检索，同时自动归档已处理文件，提升了工作效率和自动化程度，适合数据工程师、知识管理团队及研究机构使用。
流程图
工作流名称
Vector DB Loader from Google Drive
主要功能和亮点
该工作流自动从指定的Google Drive文件夹中搜索并下载文件，支持PDF、纯文本和JSON三种格式的内容提取，利用OpenAI的文本嵌入模型将文本内容转化为向量表示，最终存储进Postgres数据库中的PGVector向量库，实现文档的高效向量化管理。同时，处理完成的文件会被自动移动到另一个指定文件夹，确保文件管理清晰有序。工作流支持手动触发及定时自动运行，极大提升自动化程度和工作效率。
解决的核心问题
- 自动批量处理多种格式文件（PDF、文本、JSON）
- 将非结构化文档内容转为结构化向量数据，方便后续相似度搜索和知识库构建
- 自动化文件下载、处理和归档，减少人工操作和遗漏风险
- 集成OpenAI强大的文本嵌入功能，实现高质量的文本向量化
应用场景
- 企业知识库建设与维护
- 研究资料的向量化存储与快速检索
- 文档智能分析和内容推荐系统
- 自动化文档处理和归档管理
- 需要将Google Drive中大量文档内容转化为向量数据库的场景
主要流程步骤
- 定时触发或手动启动工作流
- 在Google Drive指定文件夹中搜索目标文件
- 逐个文件循环下载
- 根据文件类型通过Switch节点分流处理：
- PDF文件提取文本内容
- 纯文本文件直接提取内容
- JSON文件解析内容
- 使用OpenAI的text-embedding-3-small模型生成文本向量
- 将向量数据插入Postgres PGVector数据库指定表和集合
- 文件处理完毕后，自动移动至Google Drive的“vectorized”归档文件夹
- 完成后等待下一次触发
涉及的系统或服务
- Google Drive（文件搜索、下载、移动）
- OpenAI（文本嵌入模型）
- Postgres数据库（PGVector向量存储）
适用人群或使用价值
- 数据工程师与自动化运维人员：实现文档数据自动化处理与管理
- 知识管理与信息检索团队：构建高效的向量化知识库
- 研究机构和企业：快速将大量文档转化为结构化向量数据，支持智能搜索和分析
- 开发者和产品经理：快速搭建基于向量数据库的智能应用和服务
此工作流采用Creative Commons Attribution-ShareAlike 4.0国际许可协议（CC BY-SA 4.0），允许自由使用、改编和共享，助力更多用户构建智能文档向量化解决方案。