Testing Mulitple Local LLM with LM Studio
该工作流实现了对多个本地大语言模型的自动化测试与性能评估，集成了LM Studio服务器，支持动态调用各模型生成文本。用户可以通过自定义提示词引导模型输出符合特定可读性标准的文本。同时，工作流内置多项文本分析指标，实时计算输出质量，并将结果自动保存至Google Sheets，方便后续比较与数据追踪，大幅提升语言模型测试的效率与准确性。
Tags
工作流名称
Testing Mulitple Local LLM with LM Studio
主要功能和亮点
本工作流实现了对多个本地大语言模型（LLM）的自动测试与性能评估，集成LM Studio服务器，支持动态调用各模型进行文本生成响应。通过自定义系统提示词，能够引导模型输出符合特定可读性标准（如5年级阅读水平）的文本。内置多项文本分析指标（词数、句数、平均句长、可读性分数等）自动计算，最终结果可同步保存至Google Sheets，方便批量比较与数据追踪。
解决的核心问题
- 多模型管理与统一调用的自动化
- 语言模型输出质量的量化分析与比较
- 可读性和响应时间等关键指标的实时统计
- 测试结果数据的有效存储与可视化
应用场景
- 语言模型研发团队进行本地模型性能对比测试
- 教育或内容创作领域评估文本易读性与表达清晰度
- 产品经理及数据分析师需要快速理解和比较多个LLM表现
- 任何需要批量生成和分析文本输出的自动化工作流
主要流程步骤
- LM Studio环境搭建：下载安装并配置LM Studio服务器，加载所需测试的LLM模型。
- 获取模型列表：通过HTTP请求动态抓取当前服务器上的所有可用模型ID。
- 接收聊天消息触发：监听外部输入的聊天消息，作为测试输入。
- 添加系统提示：自动注入引导语，确保模型输出简洁且易读。
- 调用模型生成响应：针对每个模型单独运行生成文本。
- 记录时间点：捕获请求开始和结束时间，计算响应时长。
- 文本指标分析：执行自定义代码节点，统计词数、句数、平均句长、平均词长及Flesch-Kincaid可读性得分。
- 数据准备与存储：整理数据后，将测试结果自动追加保存到Google Sheets在线表格。
涉及的系统或服务
- LM Studio：本地大语言模型服务器，用于加载和管理多个LLM模型
- n8n：流程自动化平台，调度触发、调用模型和执行数据处理
- Google Sheets：在线表格服务，用于存储和展示测试结果数据
适用人群或使用价值
- AI研发人员：便捷比较不同本地部署的LLM性能和输出质量
- 内容创作者与编辑：评估文本输出的易读性，优化内容表达
- 数据分析师与产品经理：获取详尽的模型响应指标，辅助决策
- 教育工作者：测试AI文本是否符合特定阅读水平标准
- 自动化工程师：利用自动化流程提升模型测试效率，减少人工操作
本工作流通过结构化与自动化的方式，极大简化了本地多模型测试的复杂度，提供科学的性能与文本质量对比基础，助力团队快速迭代与优化语言模型应用。
Twilio短信智能缓冲回复工作流
该工作流通过接收用户的短信，在短时间内将快速发送的多条消息缓存在Redis中。经过5秒的延迟判断后，将这些消息整合为一条发送给AI模型生成统一回复，最终通过短信返回给用户。此过程有效解决了用户频繁输入时的断续回复问题，提升了对话的连贯性和用户体验，适用于客服自动回复、智能聊天机器人等场景。
modelo do chatbot
该工作流构建了一个智能聊天机器人，旨在根据用户的个人信息和需求，快速推荐合适的健康保险产品。通过结合OpenAI的语言模型与持久化聊天记忆，机器人能够动态解析用户输入，实现个性化服务。同时，集成外部API和知识库，进一步丰富回答内容，提升用户交互体验，解决传统客服响应慢和匹配不精准的问题。
Fine-tuning with OpenAI models
该工作流实现了基于OpenAI模型的全自动微调流程，简化了传统模型微调的繁琐步骤。用户只需手动启动工作流，即可从Google Drive下载训练数据，自动上传至OpenAI进行微调训练，并生成可通过API调用的定制模型。此流程支持智能问答功能，适用于企业、教育及客服等领域，帮助用户快速搭建专业的AI助手，提升业务智能化水平。
Dynamically switch between LLMs Template（动态切换大型语言模型模板）
该工作流能够根据用户输入动态选择不同的大型语言模型进行对话生成，灵活调用多种OpenAI模型以满足复杂的客户需求。它具备自动校验生成回复的质量，确保内容礼貌且切中要害。此外，工作流还设有错误检测和自动切换机制，提升了对话的鲁棒性和成功率，适用于客服自动应答、AI实验平台及智能助理等场景。通过智能化管理，显著提高客户服务效率。
智能Todoist任务自动分类与优先级更新
该工作流通过定时获取Todoist中的待办任务，利用AI智能分析任务内容，实现自动分类与优先级更新。用户无需手动操作，能够高效管理任务，避免遗漏重要事项。适合个人及团队使用，尤其在任务量大、分类复杂时，极大提升了任务管理的智能化与效率，帮助用户更合理地安排时间和精力。
spy tool
该工作流具备自动监控指定网站内容的能力，通过智能解析网页变化，并运用AI模型进行差异分析，精准判断是否需要发送邮件通知。它整合了网页抓取、内容对比与自动邮件发送等功能，避免了无关变动的干扰，确保用户及时获得重要更新，极大提升信息监控的效率与精准度，适用于市场分析、产品管理及媒体公关等多个场景。
AI Agent with charts capabilities using OpenAI Structured Output
该工作流通过集成基于GPT-4模型的智能聊天代理，实现了自然语言请求与动态图表生成的无缝结合。用户只需描述需求，系统即可自动生成符合Quickchart.io规范的图表定义，并以图片形式嵌入对话中，大幅提升数据分析和决策支持的效率，适用于商业报告、教育培训等多种场景。
YogiAI
YogiAI 是一款为瑜伽爱好者设计的自动化工具，每天定时从瑜伽体式数据库中随机抽取练习，利用人工智能生成亲和的练习文本，并通过 Line 推送给用户，简化了日常练习内容的准备过程。它以智能化和个性化的方式提升用户的练习体验，帮助用户形成规律的瑜伽练习习惯，同时提高了内容的互动性和多样性。