Easily Compare LLMs Using OpenAI and Google Sheets

该工作流旨在自动化对比不同的大语言模型,通过用户聊天输入实时调用多个模型的独立响应,并将结果及上下文信息记录到Google Sheets中,方便后续评估和比较。支持记忆隔离管理,确保上下文准确传递,同时提供用户友好的模板,便于非技术人员参与模型效果评估,提升团队的决策效率和测试准确性。

Tags

多模型对比Google Sheets

工作流名称

Easily Compare LLMs Using OpenAI and Google Sheets

主要功能和亮点

  • 实时接收用户聊天输入,同时调用两个不同的大语言模型(LLMs)对同一输入进行独立响应。
  • 自动将两个模型的回答及上下文信息同步记录到Google Sheets中,方便后续对比和评估。
  • 在聊天界面中并排展示两个模型的回答,支持直观对比。
  • 支持基于会话ID对模型记忆进行隔离管理,保证上下文的准确传递。
  • 灵活支持OpenRouter、OpenAI、Google Vertex AI等多家模型提供商,便于扩展和切换。
  • 为团队提供简单易用的Google Sheets模板,非技术人员也能参与模型效果评估。

解决的核心问题

在AI代理开发中,由于大语言模型的非确定性,选用哪个模型更合适往往需要反复测试和比较。该工作流帮助用户自动化这一对比过程,避免手动调用和整理答案的繁琐,提高效率和准确性。

应用场景

  • AI产品研发团队评估不同LLM模型性能表现。
  • 需要在多模型间选择最佳语言模型以用于生产环境。
  • 组织内想让非技术成员参与模型回答质量评估。
  • 教育和研究机构进行语言模型对比实验。

主要流程步骤

  1. 用户通过聊天接口发送消息触发工作流。
  2. 定义并拆分待对比的模型列表(默认为OpenAI GPT-4.1和Mistral大模型)。
  3. 为每个模型设置独立的会话ID,实现记忆隔离。
  4. 同步调用两个模型生成回答,AI代理节点处理模型调用和上下文管理。
  5. 聚合整理两个模型的回答,格式化为便于阅读和比较的文本。
  6. 将用户输入、模型回答、上下文及评估字段写入Google Sheets。
  7. 聊天界面显示两个模型的回答,支持即时对比。

涉及的系统或服务

  • OpenRouter API(支持OpenAI、Mistral等模型调用)
  • Google Sheets(作为结果记录和评估平台)
  • n8n自动化平台核心节点(如Set、Split、Loop、Aggregate等)
  • LangChain相关节点(聊天触发、记忆管理、AI代理)

适用人群或使用价值

  • AI开发者和数据科学家:快速测评模型表现,优化模型选型。
  • 产品经理和业务人员:通过Google Sheets直观参与模型效果评估。
  • 教育和研究人员:便捷搭建多模型对比实验环境。
  • 团队协作:统一平台管理、比较模型响应,提升决策效率。

该工作流极大地简化了多模型对比的流程,通过自动化和结构化的数据记录,帮助团队科学、系统地选择最佳语言模型,降低AI项目的试错成本。

推荐模板

AI Agent to chat with you Search Console Data, using OpenAI and Postgres

该工作流构建了一款智能AI聊天代理,用户可以通过自然语言与其对话,实时查询和分析Google Search Console中的网站数据。借助OpenAI的智能对话理解能力和Postgres数据库的历史记忆存储,用户无需了解API细节即可轻松获取精准的数据报告。同时,该代理能主动引导用户,优化数据查询过程,提升用户体验,支持多轮对话,简化了数据分析和决策支持的流程。

智能聊天搜索数据查询

智能文档问答 - 基于Google Drive与Pinecone的向量检索聊天系统

这个工作流主要实现了从Google Drive自动下载文档,并利用OpenAI进行文本处理和向量生成,存储在Pinecone向量数据库中。用户可以通过聊天界面快速进行自然语言提问,系统会基于向量检索返回相关答案。该方案有效解决了传统文档检索的低效与不精准问题,广泛适用于企业知识库、法律、科研及客服等场景,提升信息获取的便捷性与准确性。

智能问答向量检索

自动文档笔记生成与导出工作流

该工作流通过监控本地文件夹,实现新文档的自动提取、智能摘要、向量存储,并生成学习笔记、简报和时间线等多种格式的文档。支持PDF、DOCX及纯文本等多种文件格式,结合先进的AI语言模型和向量数据库,提升内容理解与检索能力,显著减少传统文档整理所需的时间,适合学术研究、培训、内容创作及企业知识管理等场景,极大提高信息提炼和使用的效率。

智能摘要文档自动化

AI Document Assistant via Telegram + Supabase

此工作流将Telegram机器人转变为智能文档助理,用户可通过Telegram上传PDF文档,系统自动解析并生成语义向量,存储于Supabase数据库中,便于智能检索与问答。机器人利用强大的语言模型实时回答复杂问题,支持丰富的HTML格式输出和自动拆分长回复,确保信息清晰展示。此外,集成天气查询功能,增强用户体验,适用于个人知识管理、企业助手、教育辅导和客服支持等场景。

智能文档助理向量检索

Create AI-Ready Vector Datasets for LLMs with Bright Data, Gemini & Pinecone

该工作流通过自动化方式,从网页抓取数据,提取和格式化内容,生成高质量文本向量嵌入,并将其存储在向量数据库中,形成一个完整的数据处理闭环。结合高效的数据爬取、智能内容提取和向量检索技术,用户能够快速构建适用于大语言模型训练的向量数据集,提升数据质量与处理效率,适用于机器学习、智能搜索和知识管理等多个场景。

向量数据库数据采集

API Schema Crawler & Extractor(API架构爬取与提取工作流)

API架构爬取与提取工作流是一款智能化的自动化工具,能够高效地搜索、爬取和提取指定服务的API文档。通过整合搜索引擎、网页爬虫和大语言模型,该工作流不仅能精确识别API操作,还能将信息结构化存储至Google Sheets,并生成定制化的API架构JSON文件,便于集中管理和分享,极大地提升了开发和集成的效率,帮助用户快速获取和整理API信息。

API文档提取自动化爬取

智能文档问答与向量数据库管理工作流

该工作流通过从Google Drive下载电子书,自动拆分文本并生成向量,存储于Supabase向量数据库。用户可以通过聊天接口实时提问,系统利用向量检索和问答链技术,快速提供智能回答。此外,支持文档的增删改查操作,提升了知识库管理的灵活性,适用于企业知识管理、教育辅导和研究机构的内容提取需求。

智能问答向量数据库

🤖 AI Powered RAG Chatbot for Your Docs + Google Drive + Gemini + Qdrant

这个工作流构建了一款智能聊天机器人,利用检索增强生成技术从Google Drive文档中提取信息,结合自然语言处理进行智能问答。它支持文档批量下载、元数据提取和文本向量化存储,能够高效进行语义搜索。通过Telegram实现操作通知和人工审核,确保数据安全,适用于企业知识库、法律咨询和客户支持等场景,提升信息检索与人机交互效率。

智能问答向量检索