ETL pipeline
该工作流实现了自动化的ETL数据管道，定期从Twitter抓取特定话题的推文，进行情感分析，并将数据存储至MongoDB和Postgres数据库。分析结果会被筛选并推送至Slack频道，以便团队实时获取重要信息。此流程有效避免了手动监控社交媒体的繁琐，提高了数据处理效率，支持快速响应市场动态和品牌声誉管理。
Tags
工作流名称
ETL pipeline
主要功能和亮点
该工作流实现了一个自动化的ETL（Extract-Transform-Load）数据管道，从Twitter抓取特定话题的推文，进行情感分析，再将数据存入MongoDB和Postgres数据库，最后根据分析结果将重要信息推送至Slack频道。流程自动化高效，集成了社交媒体数据采集、自然语言处理和多数据库存储，支持实时监控和团队协作。
解决的核心问题
- 自动抓取Twitter指定标签（#OnThisDay）的最新推文，避免手动监控社交媒体内容。
- 通过Google云自然语言API进行情感分析，快速识别推文的情绪倾向和强度。
- 实现数据的双重存储（MongoDB与Postgres），满足不同业务对数据结构和查询的需求。
- 通过条件判断筛选高情感分值推文，自动推送重要内容至Slack，提升团队响应效率。
应用场景
- 社交媒体舆情监控与分析
- 品牌声誉管理和危机预警
- 市场营销活动效果跟踪
- 数据驱动的内容推荐与洞察
- 企业内部信息流通和协作提醒
主要流程步骤
- 定时触发（Cron）：每天早上6点自动开始数据拉取。
- 从Twitter搜索推文：抓取包含#OnThisDay标签的最新3条推文。
- 存储至MongoDB：将推文文本保存到MongoDB集合。
- 情感分析：调用Google Cloud Natural Language API，对推文文本进行情感评分和强度分析。
- 设置数据字段：提取并封装情感得分、强度和推文文本。
- 存储至Postgres：将处理后的数据存入Postgres数据库的tweets表。
- 条件判断：判断情感得分是否大于0（即是否为正面情绪）。
- 信息推送：若为正面情绪，自动将推文及情感数据发送至Slack指定频道；否则跳过推送。
涉及的系统或服务
- Twitter API：用于实时抓取社交媒体数据。
- MongoDB：非关系型数据库，用于存储原始推文文本。
- Google Cloud Natural Language API：提供文本情感分析服务。
- Postgres数据库：关系型数据库，用于存储结构化的推文及情感数据。
- Slack：团队通讯工具，用于推送分析结果通知。
- n8n自动化平台：连接和编排各系统节点，实现流程自动化。
适用人群或使用价值
- 社交媒体分析师和营销团队：自动获取并分析热点推文，快速响应市场动态。
- 数据工程师与开发者：示范多数据源整合及自动化流程搭建。
- 企业管理者和决策者：通过情感数据洞察客户反馈和舆论趋势，辅助决策。
- 内容策划及公关人员：实时监控品牌相关推文，及时调整策略。
- 任何需要将社交媒体数据转化为结构化情报的组织和团队。
该ETL pipeline工作流通过自动化实现了从数据采集到情感分析、存储再到团队通知的完整闭环，极大提升数据处理效率和信息价值转化能力。
每日Product Hunt精选抓取与更新
该工作流每日自动抓取Product Hunt平台上发布的最新产品信息，包括名称、标语、描述及官网链接。它智能处理官网链接的重定向和多余参数，确保数据准确、简洁。最终，整理后的产品详情会被追加或更新至指定的Google Sheets文档中，方便用户进行管理和分析，提升信息获取的效率，适合创业者、投资人和内容创作者等需要跟踪最新产品动态的人群。
Format US Phone Number
该工作流专注于美国电话号码的格式化和校验，能够自动清理非数字字符，验证号码的长度和国家区号有效性，并输出多种标准格式，如E.164格式和国际拨号格式。其核心功能包括支持带分机号的处理，以及对无效号码的自动清空，确保输入输出的电话号码规范一致，适用于CRM系统、营销平台和客服系统等场景，提升数据质量与业务流程的自动化水平。
Stripe Payment Order Sync – Auto Retrieve Customer & Product Purchased
该工作流旨在自动监听Stripe支付完成事件，实时抓取并同步客户的支付订单详情，包括客户信息和购买的产品内容。通过这一自动化流程，能够高效获取订单关键数据，提升数据处理的准确性，减少人工干预和延迟，适用于电商平台、SaaS产品以及订单管理系统，帮助相关团队节省时间并提升响应速度。
图片文字识别与自动归档工作流
该工作流实现了从网络图片自动抓取到文字内容识别及结果存储的全自动化处理。利用强大的图像文字检测服务，准确提取图片中的文本，并经过格式化处理后，将识别结果自动保存至Google Sheets，方便后续管理与分析。此流程显著提高了图片文字处理的效率和准确性，适合需要批量处理图片文字信息的企业和个人，广泛应用于市场调研、客服运营等领域。
Umami analytics template
该工作流旨在自动化网站访问数据的采集与分析。它通过调用Umami工具获取关键访问指标，并利用人工智能生成易读的SEO优化建议，最终将分析结果保存至Baserow数据库。此流程支持定时触发和手动测试，帮助网站管理员、SEO专家和数据分析师高效获取数据洞察，减少人工工作量，提升决策效率，适用于希望实现智能化数据处理的用户。
[3/3] Anomaly detection tool (crops dataset)
该工作流是一个高效的农业作物异常检测工具，能够自动识别作物图像是否异常或未知。用户只需提供作物图像的URL，系统通过多模态嵌入技术将图像转化为向量，并与预设作物类别中心进行相似度比对，从而判断图像类别。此工具适用于农业监测、科研数据清洗和质量控制等场景，显著提高了作物监测的效率和准确性。
JSON数据导入至Google Sheets自动追加工作流
该工作流能够自动将本地JSON文件中的数据读取并转换格式，随后追加写入指定的Google Sheets表格。通过安全的OAuth2认证，确保数据操作的安全性，极大地简化了数据导入流程，避免了繁琐的手动操作，提升了数据处理的效率和准确性。适合需要定期整理和分析数据的企业和个人，帮助实现高效的数据管理与决策。
自主AI网站社交媒体链接爬取工作流
该工作流自动化爬取指定公司网站的社交媒体链接，并以统一的JSON格式输出。通过集成文本和URL抓取工具，以及OpenAI GPT-4模型，确保数据的准确性和完整性。支持多页爬取和去重功能，极大提升了数据采集的效率，解决了传统手动收集过程中的繁琐和信息分散问题，适合市场营销、数据分析和招聘等领域的专业人士。