Convert URL HTML to Markdown and Get Page Links（URL网页内容转Markdown并提取链接）
此工作流旨在将网页HTML内容转换为结构化的Markdown格式，并提取网页中的所有链接。通过调用Firecrawl.dev API，支持批量处理URL，自动管理请求速率，确保稳定高效地抓取和转换内容。适用于数据分析、内容聚合和市场调研等场景，帮助用户快速获取和处理大量网页信息，减少手动操作，提高工作效率。
Tags
工作流名称
Convert URL HTML to Markdown and Get Page Links（URL网页内容转Markdown并提取链接）
主要功能和亮点
本工作流通过调用 Firecrawl.dev API，实现将网页的HTML内容转换为结构化的Markdown格式，同时提取该网页中的所有链接。支持批量处理URL，并自动控制请求速率以避免超过API限制，确保稳定高效地抓取和转换网页内容。
解决的核心问题
- 需要将复杂的网页HTML内容转成易于AI处理的Markdown格式，去除冗余的HTML标签。
- 同时提取网页中的所有超链接，便于后续数据分析或内容挖掘。
- 自动管理API请求频率，防止因请求过多导致接口拒绝服务。
- 支持从数据库批量导入URL，自动分批处理，提升大规模数据抓取的效率。
应用场景
- 需要对大量网页内容进行结构化处理，如为大语言模型（LLM）准备训练或分析数据。
- 内容聚合和信息抽取项目，需同时获取网页正文和内链。
- SEO、市场调研或竞争分析中批量抓取网页内容和链接。
- 自动化数据采集，减少手动复制粘贴工作。
主要流程步骤
- 手动触发工作流开始执行。
- 从用户自定义的数据源中获取网页URL列表（要求URL字段名为“Page”）。
- 将URL列表拆分成批次（最大40条，实际10条一批请求）。
- 通过Firecrawl.dev API逐条请求网页内容，转换为Markdown格式并抓取网页中的所有链接。
- 处理API限速，确保每分钟不超过10次请求。
- 将抓取得到的标题、描述、Markdown内容及链接等数据输出到用户指定的数据源（例如Airtable）。
- 完成批量处理，等待下一次触发。
涉及的系统或服务
- Firecrawl.dev API（提供网页内容转换及链接提取）
- 用户自定义数据源（用于输入URL和输出结果，支持如Airtable等数据库）
- n8n自动化平台（实现流程编排、限速控制及批处理）
适用人群或使用价值
- 数据分析师、内容运营者和AI开发人员，需快速批量处理网页内容并结构化输出。
- 需要将网页内容转为Markdown供AI或其他下游系统使用的技术团队。
- 市场调研、SEO优化和内容聚合项目团队。
- 希望自动化网页内容抓取流程，减少人工操作，提高效率的企业和个人。
此工作流由Simon（automake.io）设计，用户只需配置Firecrawl API密钥及数据源，即可轻松实现网页内容的自动抓取与转换，助力高效数据处理与内容分析。
Smart Factory Data Generator（智能工厂数据生成器）
智能工厂数据生成器定期生成模拟的工厂机器运行数据，包括机器ID、温度、运行时间和时间戳，并通过AMQP协议发送到指定的消息队列。该工作流有效解决了智能工厂和工业物联网环境中缺乏实时数据源的问题，支持开发者和测试人员在无需真实设备的情况下，进行系统功能验证、性能调优以及数据分析，提升整体工作效率。
HTTP_Request_Tool（网页内容抓取与简化处理工具）
该工作流是一种网页内容抓取与处理工具，能够自动从指定URL获取网页内容，并将其转换为Markdown格式。它支持完整和简化两种抓取模式，简化模式减少了链接和图片，防止内容过长而浪费计算资源。内置的错误处理机制可智能反馈请求异常，确保抓取过程的稳定性和准确性，适用于AI聊天机器人、数据抓取和内容摘要等多种场景。
Trustpilot客户评价智能分析工作流
该工作流旨在自动化抓取Trustpilot上指定公司的客户评价，利用向量数据库进行高效管理与分析。通过K-means聚类算法识别评价主题，并应用大型语言模型进行深入总结，最终将分析结果导出到Google Sheets，便于团队共享和决策。此流程显著提高了客户评价数据处理的效率，帮助企业快速识别客户关注的热点主题与情感趋势，从而优化客户体验和产品策略。
Twitter与表单内容情感分析与存储自动化工作流
该工作流实现了Twitter和外部表单内容的自动化抓取与情感分析，定时监控与“strapi”或“n8n.io”相关的最新推文，并过滤不必要的信息。通过自然语言处理技术，智能判断文本情绪，自动存储正面评分的内容到Strapi内容管理系统，提升了数据整合效率。适用于品牌舆情监控、市场调研和客户关系管理，为决策提供数据支持和高质量内容。
智能电商产品信息采集与结构化处理工作流
该工作流实现了电商产品信息的自动化采集与结构化处理。通过抓取指定网页的HTML内容，利用AI模型智能提取产品名称、描述、评分、评论数和价格等关键信息，并对数据进行清洗和结构化，最终将结果存储到Google Sheets中。此流程显著提高了数据采集的效率与准确性，适用于市场调研、电商运营及数据分析等场景。
My workflow 2
该工作流自动从意大利地区的Google Trends抓取热门关键词及相关资讯，筛选出新趋势关键词，并利用jina.ai接口获取相关网页内容生成摘要，最终将数据存入Google Sheets作为编辑计划数据库。通过这一流程，用户能够高效监测市场动态，避免遗漏重要信息，提升关键词监测的准确度与效率，适合内容营销、SEO优化及市场分析等场景。
GitHub Stars 分页获取与网页数据提取示例工作流
该工作流展示了如何自动化获取和处理API数据，特别是通过分页请求抓取GitHub用户的收藏项目。它支持自动递增页码，判断数据结束条件，实现完整数据获取。同时，该流程还演示了如何从维基百科随机页面提取文章标题，结合HTTP请求与HTML内容提取，适用于需要批量抓取和处理多来源数据的场景，帮助用户高效搭建自动化工作流。
Dashboard
Dashboard 工作流通过自动抓取和整合来自 Docker Hub、npm、GitHub 和 Product Hunt 等多个平台的关键指标，实时更新并展示在自定义仪表盘上。它解决了开发者在管理开源项目时面临的数据分散和更新不及时的问题，提高了数据获取的效率和准确性。适用于开源项目维护者、产品经理等，帮助他们全面监控项目健康状况，优化决策和社区运营。