Testing Mulitple Local LLM with LM Studio

工作流名称

Testing Mulitple Local LLM with LM Studio

主要功能和亮点

本工作流实现了对多个本地大语言模型（LLM）的自动测试与性能评估，集成LM Studio服务器，支持动态调用各模型进行文本生成响应。通过自定义系统提示词，能够引导模型输出符合特定可读性标准（如5年级阅读水平）的文本。内置多项文本分析指标（词数、句数、平均句长、可读性分数等）自动计算，最终结果可同步保存至Google Sheets，方便批量比较与数据追踪。

解决的核心问题

• 多模型管理与统一调用的自动化
• 语言模型输出质量的量化分析与比较
• 可读性和响应时间等关键指标的实时统计
• 测试结果数据的有效存储与可视化

应用场景

• 语言模型研发团队进行本地模型性能对比测试
• 教育或内容创作领域评估文本易读性与表达清晰度
• 产品经理及数据分析师需要快速理解和比较多个LLM表现
• 任何需要批量生成和分析文本输出的自动化工作流

主要流程步骤

1. LM Studio环境搭建：下载安装并配置LM Studio服务器，加载所需测试的LLM模型。
2. 获取模型列表：通过HTTP请求动态抓取当前服务器上的所有可用模型ID。
3. 接收聊天消息触发：监听外部输入的聊天消息，作为测试输入。
4. 添加系统提示：自动注入引导语，确保模型输出简洁且易读。
5. 调用模型生成响应：针对每个模型单独运行生成文本。
6. 记录时间点：捕获请求开始和结束时间，计算响应时长。
7. 文本指标分析：执行自定义代码节点，统计词数、句数、平均句长、平均词长及Flesch-Kincaid可读性得分。
8. 数据准备与存储：整理数据后，将测试结果自动追加保存到Google Sheets在线表格。

涉及的系统或服务

• LM Studio：本地大语言模型服务器，用于加载和管理多个LLM模型
• n8n：流程自动化平台，调度触发、调用模型和执行数据处理
• Google Sheets：在线表格服务，用于存储和展示测试结果数据

适用人群或使用价值

• AI研发人员：便捷比较不同本地部署的LLM性能和输出质量
• 内容创作者与编辑：评估文本输出的易读性，优化内容表达
• 数据分析师与产品经理：获取详尽的模型响应指标，辅助决策
• 教育工作者：测试AI文本是否符合特定阅读水平标准
• 自动化工程师：利用自动化流程提升模型测试效率，减少人工操作

本工作流通过结构化与自动化的方式，极大简化了本地多模型测试的复杂度，提供科学的性能与文本质量对比基础，助力团队快速迭代与优化语言模型应用。