LinkedIn Web Scraping with Bright Data MCP Server & Google Gemini

工作流名称

LinkedIn Web Scraping with Bright Data MCP Server & Google Gemini

主要功能和亮点

本工作流集成了Bright Data MCP（Market Client Platform）数据采集服务和Google Gemini大型语言模型，实现对LinkedIn个人和公司页面的自动化数据抓取与智能内容生成。能够高效抓取网页信息，结构化提取并自动生成详细的公司故事或个人简介，输出Markdown格式的高质量文本，同时支持将数据保存为本地文件，方便后续使用。

解决的核心问题

• 自动化抓取LinkedIn中公开的个人及公司资料，避免手动复制粘贴带来的时间浪费和错误。
• 利用AI模型对抓取的原始数据进行智能整理和内容生成，提升信息利用效率和表达质量。
• 支持通过Webhook将抓取和处理结果实时推送，方便集成到其他系统或触发后续自动化操作。

应用场景

• 市场调研人员需要快速收集目标公司的详细信息和背景故事。
• 招聘团队自动获取候选人LinkedIn档案数据，辅助筛选和评估。
• 内容创作者基于公司或个人资料自动生成介绍性文章或博客。
• 数据分析师进行行业或竞争对手分析时，快速批量采集并格式化数据。

主要流程步骤

1. 手动触发工作流启动。
2. 列出Bright Data MCP支持的所有爬虫工具。
3. 设置目标LinkedIn个人和公司页面的URL。
4. 使用Bright Data MCP客户端分别抓取个人和公司页面数据，结果以Markdown格式返回。
5. 通过代码节点解析抓取结果的JSON内容。
6. 利用LangChain的Information Extractor节点提取结构化的公司详细信息。
7. 调用Google Gemini模型，根据提取信息生成完整的公司故事或个人介绍。
8. 合并并聚合抓取与生成的内容。
9. 通过Webhook发送爬取的LinkedIn公司和个人信息。
10. 将个人和公司信息分别编码为二进制格式并写入本地JSON文件保存。

涉及的系统或服务

• Bright Data MCP Server：提供强大的网页爬取和数据采集能力。
• Google Gemini（PaLM API）：AI语言模型，支持自然语言生成和信息提取。
• n8n自动化平台：作为工作流的基础框架，实现节点间数据流转和逻辑控制。
• Webhook.site：用于接收和测试Webhook推送的临时URL。
• 本地文件系统：保存抓取结果为JSON文件。

适用人群或使用价值

• 数据科学家、市场分析师、招聘专员等专业人员，通过该工作流可大幅提升LinkedIn数据采集和分析效率。
• 自动化工程师和技术团队，借助此工作流可快速构建基于AI和爬虫技术的智能信息处理系统。
• 内容创作者和企业用户，通过自动生成的公司故事或个人简介，提高内容生产质量和速度。
• 任何需要定期批量抓取和智能处理LinkedIn公开资料以支持业务决策的用户。

---

该工作流通过整合领先的数据采集与人工智能技术，全面提升LinkedIn信息的获取和应用效率，助力用户实现智能化的数据驱动业务。