Vision-Based AI Agent Scraper - with Google Sheets, ScrapingBee, and Gemini

工作流名称

Vision-Based AI Agent Scraper - with Google Sheets, ScrapingBee, and Gemini

主要功能和亮点

该工作流利用先进的视觉AI智能代理，结合Google Sheets、ScrapingBee网页抓取服务和Google Gemini-1.5-Pro多模态大语言模型，实现对网页内容的高效结构化数据提取。核心亮点包括：

• 以网页截图为主要数据来源，结合AI视觉理解技术进行信息提取。
• 在截图提取不完整时，自动调用HTML抓取作为补充，确保数据准确全面。
• 结构化输出解析，自动转化为JSON格式，方便后续处理和存储。
• 集成Google Sheets，实现自动读取目标URL列表和写入抓取结果，支持数据管理一体化。
• HTML转Markdown优化Token使用，提升AI处理效率，降低成本。

解决的核心问题

传统网页数据抓取往往依赖HTML代码解析，面对复杂页面结构或动态加载时易出现信息遗漏或错误。本工作流通过视觉方式直接从网页截图中提取信息，突破页面结构限制，并辅以HTML抓取作补充，极大提升了数据抓取的准确性和完整性，特别适合电商商品信息等视觉依赖性强的场景。

应用场景

• 电商平台商品信息采集与监控，如价格、品牌、促销信息等。
• 市场调研与竞争对手分析，通过批量抓取目标网站数据形成报告。
• 内容聚合平台，自动整理商品或服务的结构化数据。
• 需要跨页面、多格式数据融合的复杂网页数据提取任务。

主要流程步骤

1. 手动触发工作流或替换为自定义触发器。
2. 从Google Sheets中读取待抓取的URL列表。
3. 设置抓取字段（如URL）。
4. 使用ScrapingBee API获取网页的全页截图。
5. 视觉AI代理（基于Google Gemini-1.5-Pro模型）分析截图，提取产品标题、价格、品牌及促销信息。
6. 若截图信息不足或不清晰，调用HTML抓取工具，抓取网页HTML并转换为Markdown格式，辅助数据提取。
7. 结构化输出解析节点将AI提取的数据格式化为标准JSON。
8. 拆分JSON数组为单条记录。
9. 将结构化数据追加写入Google Sheets的结果页，方便查看和后续处理。

涉及的系统或服务

• Google Sheets：管理抓取的URL列表及存储抓取结果。
• ScrapingBee：提供网页截图及HTML数据抓取服务。
• Google Gemini Chat Model (Gemini-1.5-Pro)：多模态大语言模型，执行视觉内容理解与数据抽取。
• n8n内置节点：如HTTP请求、Markdown转换、结构化输出解析、数组拆分等。

适用人群或使用价值

• 电商运营和数据分析人员，快速获取竞品及市场商品信息。
• 市场调研机构，自动化收集并结构化处理大量网页信息。
• 开发者与自动化专家，构建基于视觉AI的综合数据抓取解决方案。
• 任何需要突破传统HTML解析瓶颈，实现高准确度网页数据采集的用户。

该工作流模板可根据具体需求灵活调整字段和解析逻辑，适合多样化网页数据抓取场景，帮助用户节省大量人力，提高数据获取效率和质量。