API Schema Crawler & Extractor（API架构爬取与提取工作流）

工作流名称

API Schema Crawler & Extractor（API架构爬取与提取工作流）

主要功能和亮点

本工作流通过自动化流程，实现对指定服务的API文档的智能搜索、内容爬取、信息提取及自定义API架构生成。核心亮点包括：

• 自动从谷歌搜索获取与目标服务API相关的网页链接
• 利用Apify平台进行网页内容爬取，过滤无关资源，确保数据精准
• 采用Google Gemini大语言模型（LLM）进行内容分类、API操作提取、产品识别等智能处理
• 将提取的API操作结构化后存储于Google Sheets，方便管理与查看
• 生成定制化API架构JSON文件，并上传至Google Drive，实现文档的集中管理
• 多阶段流程设计（研究、提取、生成），支持异步批量处理与状态跟踪

解决的核心问题

• 传统手动查找API文档繁琐且容易遗漏关键信息
• API文档格式多样，结构不统一，难以快速提取有效API操作数据
• 需要统一管理和生成标准化的API架构文档，提升开发与集成效率

应用场景

• 软件研发团队需要快速了解第三方服务API详情
• API文档自动化采集与维护系统
• 产品经理或技术分析师进行API服务调研和对比分析
• 自动化测试或集成平台需要动态获取API接口信息
• 数据驱动的API目录或知识库建设

主要流程步骤

1. 研究阶段：
   • 从Google Sheets获取待研究服务列表
   • 通过Google搜索API相关文档链接
   • 利用Apify爬取网页内容，去除无关文件
   • 将爬取内容存入向量数据库（Qdrant）以便后续检索
2. 提取阶段：
   • 根据研究阶段结果，从Google Sheets提取待处理项
   • 查询向量数据库，定位相关产品和文档内容
   • 使用Google Gemini模型抽取REST API操作（GET、POST、PATCH、DELETE等）
   • 将提取的API操作信息写入Google Sheets
3. 生成阶段：
   • 获取所有提取完成的API操作数据
   • 使用代码节点整合并生成定制化JSON格式的API架构文档
   • 上传生成的文档至Google Drive，便于分享和存档

涉及的系统或服务

• Google Sheets：作为数据库，存储服务列表、爬取及提取的中间数据和结果
• Apify：用于网页内容抓取和批量爬取管理
• Google Gemini模型（LLM）：执行文本分类、信息抽取和语义搜索
• Qdrant向量数据库：存储网页内容的向量表示，实现高效语义检索
• Google Drive：存储生成的API架构文档文件
• n8n自动化平台：整合以上服务，实现流程自动化

适用人群或使用价值

• API开发者、架构师和技术分析师，可以快速自动化获取和整理API信息，提升工作效率
• 产品经理和业务分析师，帮助理解服务功能和API能力，支持决策和规划
• 自动化测试及集成团队，实现动态API文档更新和管理
• 任何需要批量调研和维护多服务API文档的企业或团队

---

综上所述，API Schema Crawler & Extractor工作流是一套高度自动化、智能化的API文档采集与处理方案，通过结合搜索引擎、网页爬虫、大语言模型和向量数据库，实现API操作的精准识别与结构化管理，显著简化了API文档的调研和生成流程，极大提升了用户的生产力与数据利用价值。