API Schema Crawler & Extractor（API架构抓取与提取工作流）

工作流名称

API Schema Crawler & Extractor（API架构抓取与提取工作流）

主要功能和亮点

该工作流能够自动化完成API文档的调研、内容抓取、API操作提取及自定义API架构生成。它结合了多种先进技术，包括网络搜索引擎调用、网页内容爬取、自然语言处理（NLP）模型（Google Gemini）、向量数据库（Qdrant）以及Google Sheets和Google Drive的数据存储与管理，实现了端到端的API信息自动化采集与整理。

解决的核心问题

• 自动从互联网检索目标服务的API文档，解决人工查找分散文档的繁琐与低效。
• 自动过滤和分析网页内容，避免无关或低质量的搜索结果干扰。
• 利用大语言模型智能抽取API操作（GET、POST、PATCH、DELETE等），减少手动解析API接口的工作量。
• 将提取的API操作结构化存储，并生成统一的自定义API架构文件，方便后续集成和调用。
• 实现多阶段任务管理和状态跟踪，确保流程的稳定执行和错误处理。

应用场景

• API集成平台开发：自动化采集第三方服务API文档，快速生成调用规范。
• 开发者工具：辅助开发者快速了解和使用目标服务的API。
• 产品调研与竞品分析：自动搜集竞争对手服务的API信息。
• 文档管理与自动化生成：定期更新API目录和操作列表，提升文档维护效率。

主要流程步骤

1. 调研阶段（Research）

   • 从Google Sheets获取待调研服务列表。
   • 调用Google搜索API，基于定制搜索词检索相关API文档网页。
   • 利用Apify Web Scraper抓取网页内容，过滤无关页面。
   • 将网页内容与元数据存入Qdrant向量数据库，方便后续相似度搜索。
   • 将调研状态和结果更新回Google Sheets。

2. 提取阶段（Extraction）

   • 从Google Sheets获取待提取服务列表。
   • 查询Qdrant数据库，检索与服务相关的产品、解决方案及API文档。
   • 使用Google Gemini大语言模型智能识别和抽取API操作。
   • 对抽取结果进行去重和过滤。
   • 将提取的API操作写入Google Sheets，更新提取状态。

3. 生成阶段（Generate）

   • 查询Google Sheets获取待生成服务列表及对应API操作。
   • 利用代码节点对API操作进行分组和结构化，生成符合自定义格式的API架构JSON。
   • 将生成的架构文件上传至Google Drive。
   • 更新生成状态及输出文件信息到Google Sheets。

涉及的系统或服务

• Google Sheets：作为数据库存储服务列表、任务状态以及API操作数据。
• Google Drive：存储生成的API架构文件。
• Google Search API（通过Apify）：进行定制化的网络搜索。
• Apify Web Scraper：抓取并获取API文档网页内容。
• Qdrant向量数据库：存储网页内容的向量化表示，实现语义搜索。
• Google Gemini大语言模型（Google Gemini Chat Model、Embeddings）：文本理解、API操作抽取和文本嵌入生成。
• n8n工作流自动化平台：整体流程管理和节点调度。

适用人群或使用价值

• API开发者和集成工程师：快速获取目标服务的API详情，减少手动查找和解析工作。
• 产品经理和技术调研人员：高效调研第三方服务的API能力和产品功能。
• 自动化运维和数据工程师：构建自动化的API文档管理和更新体系。
• 技术团队：提升API信息采集的准确性和自动化水平，加快项目进度。

---

该工作流通过多阶段分布式任务执行和智能分析，极大提升了API文档抓取与结构化的效率和质量，是现代API管理与集成的重要工具。