自主AI网站社交媒体链接爬取工作流

工作流名称

自主AI网站社交媒体链接爬取工作流

主要功能和亮点

该工作流能够自动从指定公司网站爬取所有社交媒体个人/企业账号链接，输出统一格式的JSON数据。它集成了文本抓取工具和URL抓取工具，结合强大的OpenAI GPT-4模型，实现智能内容解析与数据结构化。工作流支持多页爬取，去重与有效性过滤，确保数据准确完整。

解决的核心问题

传统手动收集企业社交媒体链接效率低、易遗漏且难以维护。该工作流自动化爬取并标准化输出，极大提升数据采集速度和准确性，解决了数据抓取繁琐、信息分散和格式不统一的问题。

应用场景

• 市场营销团队快速获取目标客户的社交媒体信息
• 竞争对手情报收集与分析
• CRM系统中客户社交账号的自动补充
• 数据分析和客户画像构建
• 招聘猎头了解企业社交影响力渠道

主要流程步骤

1. 通过Supabase数据库获取公司名称及官网网址。
2. 利用“Text”工具工作流抓取目标网站所有文本内容，并转换为Markdown格式。
3. 利用“URLs”工具工作流抓取网页中所有超链接，过滤无效及重复链接。
4. 结合OpenAI Chat模型，执行自主爬虫代理，基于抓取的文本和链接数据智能提取社交媒体链接。
5. 解析并统一输出所有社交媒体链接的JSON格式数组。
6. 将结果与公司名称、官网网址合并，写入Supabase目标数据库表。

涉及的系统或服务

• Supabase（作为数据源和数据存储）
• OpenAI GPT-4（自然语言理解与智能爬取决策）
• n8n自定义节点（文本抓取、URL提取、数据处理、数据库操作）
• HTTP请求服务（网页内容抓取）

适用人群或使用价值

此工作流适合数字营销人员、数据分析师、市场研究专家、招聘猎头及任何需要批量采集企业社交媒体信息的专业人士。通过自动化流程显著节省时间成本，提升数据质量，为后续营销活动、客户管理和市场洞察提供可靠数据支持。