Convert URL HTML to Markdown and Get Page Links
该工作流自动将网页内容从 HTML 格式转换为结构化的 Markdown，并提取网页中的所有链接。用户可以批量处理多个 URL，系统会自动管理 API 请求速率限制，确保高效稳定的数据抓取。工作流灵活，支持从用户数据库读取 URL，并将处理结果输出到指定的数据存储系统，适用于内容分析、市场调研及网站链接管理等场景。
Tags
工作流名称
Convert URL HTML to Markdown and Get Page Links
主要功能和亮点
该工作流利用 Firecrawl.dev API 自动将网页内容从 HTML 转换为结构化的 Markdown 格式，并提取网页中的所有链接。它支持批量处理 URL，自动管理 API 请求速率限制，确保高效且稳定的网页数据抓取。此外，工作流设计灵活，支持从用户自有数据库中读取 URL，并将处理结果输出到用户指定的数据存储系统。
解决的核心问题
- 自动将网页内容转换为易于人工智能和文本分析处理的 Markdown 格式，去除复杂的 HTML 标记。
- 批量抓取和整理多个网页内容及其链接，节省手动采集和格式化的时间和人力成本。
- 处理 API 调用限制，避免请求过载导致失败。
- 支持数据源和输出端自定义，方便集成到现有业务流程。
应用场景
- 需要将网页内容转换为 AI 友好格式以进行大语言模型（LLM）分析的场景。
- 内容采集与整理，用于市场调研、竞争对手分析、内容聚合平台。
- 自动化爬取网页链接，构建网站地图或链接库。
- 企业或开发者希望通过 API 高效批量处理网页数据。
主要流程步骤
- 手动触发工作流：通过手动触发节点启动流程。
- 获取 URL 列表：从用户自有数据源或示例配置中读取待抓取的网页 URL，要求 URL 列以“Page”命名。
- 拆分 URL 批次：将 URL 分批（默认40个为一批，每批10个请求）处理以符合服务器内存和 API 限制。
- 等待节奏控制：在批次之间等待设定时间，防止触发 API 速率限制。
- 调用 Firecrawl API：针对每个 URL，调用 Firecrawl.dev 的抓取接口，获取网页的 Markdown 内容和所有链接。
- 数据格式化：将返回的标题、描述、内容和链接整理成结构化数据。
- 输出结果：将处理后的数据输出到用户指定的数据库或存储系统（如 Airtable）。
涉及的系统或服务
- Firecrawl.dev API：网页内容抓取与转换服务。
- 自有数据源：用户的 URL 存储数据库（列名需为“Page”）。
- 数据输出服务：如 Airtable 等第三方数据库。
- n8n 自动化平台：实现工作流编排和节点管理。
适用人群或使用价值
- 内容运营人员和数据分析师，需批量抓取和整理网页内容用于后续分析。
- AI 研究者和开发者，需获取高质量 Markdown 格式训练数据。
- 市场调研团队，通过自动化方式快速汇总竞争对手网页信息。
- 开发者和自动化工程师，希望快速集成网页数据抓取功能，提升工作效率。
此工作流由 Simon @ automake.io 制作，设计理念注重易用性和高效性，帮助用户轻松实现网页内容的结构化采集与管理。
AI驱动的企业信息自动调研与数据丰富工作流
该工作流通过先进的AI语言模型和网络数据抓取技术，实现企业信息的自动调研与结构化丰富。用户可以批量处理企业列表，精准获取各类关键信息，如公司域名、LinkedIn链接和市场类型等，结果自动更新至Google Sheets，便于管理和分析。该系统显著提高数据收集效率，解决传统人工调研中的信息不完整和更新滞后问题，适用于市场研究、销售线索挖掘及投资尽职调查等场景。
LinkedIn个人画像及ICP评分自动化工作流
该工作流通过自动抓取和分析LinkedIn个人资料，提取关键信息并计算ICP评分，从而实现销售线索和候选人的精准评估。用户只需手动启动工作流，系统便能自动访问LinkedIn，分析数据并更新至Google Sheets，实现数据闭环管理。这一过程显著提高了工作效率，减少了人工操作，确保了信息的时效性和准确性，适用于销售、招聘和市场分析等多个场景。
Google analytics template
该工作流实现了从Google Analytics自动获取网站访问数据，并通过AI进行两周数据对比分析，生成SEO报告及优化建议。数据智能化处理后，结果自动保存至Baserow数据库，方便团队共享与长期跟踪。适用于网站运营者和数字营销团队，提升工作效率，减少手动操作，同时提供科学的数据驱动的SEO优化方案，助力网站流量增长与用户参与度提升。
日期与时间高级处理示例工作流
该工作流展示了如何灵活处理日期与时间数据，包括时间的加减、格式化显示以及从ISO字符串转换等功能。用户可以通过简单的节点配置，快速计算和格式化时间，解决在自动化流程中常见的日期时间处理需求，提升工作效率与数据准确性。适合需要精准管理时间数据的开发者、业务人员及培训讲师，帮助他们实现复杂时间运算与格式转换。
Update Crypto Values（更新加密货币价值）
该工作流实现了自动获取和更新加密货币投资组合的最新市场价格，计算总价值并保存数据到Airtable。它每小时自动执行，确保用户实时掌握资产动态，减少手动更新的错误和负担。通过调用CoinGecko API，工作流有效解决了加密货币价格波动带来的挑战，适用于投资者、财务分析师及任何管理加密资产的团队或个人，提升了数据维护的效率和准确性。
Zoho CRM 数据一键获取工作流
该工作流通过简单的手动触发，快速批量获取 Zoho CRM 中的客户数据。用户只需点击“执行”按钮，即可自动调用 API 实时拉取并整理客户信息，省去繁琐的手动导出步骤，大幅提升数据获取效率。适用于销售、市场及客服等多个岗位，确保数据的及时性和完整性，助力企业数字化转型。
从 Hacker Noon 网站抓取文章标题与链接
该工作流通过手动触发，自动访问 Hacker Noon 网站，抓取首页所有二级标题中的文章标题及其链接。用户无需手动浏览网页，即可快速获取最新文章信息，提升信息收集效率。适用于媒体监控、内容聚合和数据采集等场景，方便内容分析和舆情跟踪，尤其对内容编辑、市场调研以及开发者具有较高的应用价值。
模拟数据拆分工作流
该工作流主要用于生成和拆分模拟用户数据，方便后续处理。通过自定义函数节点，创建包含多条用户信息的数组，并将其拆分成独立的JSON数据项。这一过程解决了批量数据处理中的灵活性问题，适合用于测试数据生成、逐条操作的业务场景，以及快速构建演示数据，提升了工作流设计的效率与可控性。