Extract & Summarize Indeed Company Info with Bright Data and Google Gemini
该工作流通过Bright Data的Web Unlocker服务自动抓取Indeed网站上的公司信息，并利用Google Gemini大语言模型对内容进行解析和智能摘要，最终将结构化结果推送至指定Webhook接口。它有效解决了反爬虫及数据格式复杂的问题，简化了信息获取流程，适用于人力资源、市场调研和自动化开发等领域，显著提升了数据利用效率和业务智能水平。
流程图
工作流名称
Extract & Summarize Indeed Company Info with Bright Data and Google Gemini
主要功能和亮点
该工作流通过Bright Data的Web Unlocker服务自动抓取Indeed网站上的公司信息，利用Google Gemini大语言模型（LLM）对抓取的内容进行Markdown格式解析、文本提取和智能摘要，最终将结构化和简洁的公司信息推送到指定Webhook接口，实现从数据抓取到智能总结的全自动闭环。
亮点包括：
- 利用Bright Data强大的代理服务突破网页反爬限制，稳定获取Indeed公司数据
- 结合多步骤AI链路，精准转换Markdown内容并用Google Gemini模型完成高质量文本摘要
- 配备AI Agent智能格式化并按需推送结果，支持Webhook通知自动化集成
- 充分展示n8n平台中集成AI和外部API的强大灵活性
解决的核心问题
- 解决了直接抓取Indeed公司数据时遇到的反爬虫和数据格式复杂问题
- 通过AI自动解析和摘要，避免手动筛选和冗长信息，提高数据利用效率
- 简化数据抓取到结果输出的流程，降低技术门槛，实现自动化信息洞察
应用场景
- 人力资源和招聘团队快速获取目标公司最新概况与招聘动态
- 市场调研人员进行竞争对手分析和行业趋势洞察
- 数据工程师和自动化开发者构建定制化企业信息采集与智能报告系统
- AI能力演示与技术学习，体验结合Web抓取与大语言模型的工作流设计
主要流程步骤
- 手动触发工作流启动
- 设定Indeed搜索关键词及Bright Data代理区域（zone）
- 通过Bright Data API向Indeed发起请求，获取页面Markdown格式原始数据
- 使用Google Gemini模型解析Markdown并转换为结构化文本
- 利用Google Gemini Summarization链对文本进行内容摘要
- AI Agent基于摘要结果对内容进行格式化
- 将最终结果通过HTTP请求推送至Webhook，实现数据通知和后续处理
涉及的系统或服务
- Bright Data Web Unlocker（网页代理抓取服务）
- Indeed（招聘信息网站，数据来源）
- Google Gemini（PaLM）大语言模型，用于内容解析与摘要
- n8n自动化平台节点（HTTP请求、数据转换、AI模型调用、Webhook）
- Webhook.site（示例Webhook接收端，用于结果通知演示）
适用人群或使用价值
- 招聘人员和HR经理：快速获取目标公司招聘信息，辅助人才战略决策
- 市场分析师和行业研究员：自动采集竞争企业资料，提升调研效率
- 自动化开发者和数据工程师：学习并应用结合AI与爬虫的智能工作流设计
- 企业数字化转型团队：构建智能信息采集与分析系统，提升业务响应速度
此工作流完美结合了现代自动化、数据抓取与AI智能处理技术，帮助用户高效获得精准的公司信息洞察，显著提升信息利用效率和业务智能水平。