LLM 工具
共收录 190 款与「LLM」相关的 AI 工具，按站内热度排序。
Llama 3大众熟知Llama 3是Meta公司推出的新一代开源大型语言模型官方介绍站点，核心定位为向开发者、研究人员及相关从业者公开Llama 3的技术参数、性能表现与落地应用路径。站点核心功能包括Llama 3全系列模型的技术规格公示、多场景落地案例展示、模型接入与授权使用指南公示，同时同步后续模型迭代规划。该站点面向AI开发从业者、科研机构研究人员、企业技术负责人等群体，可用于查询模型适配方案、了解模型性能边界、获取商用授权相关信息，为不同主体基于Llama 3开展二次开发、落地行业应用提供官方参考依据。
RAGFlow开源RAGFlow是一款开源的检索增强生成（RAG）引擎，核心定位为基于深度文档理解的大模型应用开发支撑工具。其核心功能包括多格式复杂文档解析、可配置的检索增强工作流、可溯源的引文引用机制，主要面向大模型应用开发者、企业IT部门、AI解决方案服务商等用户，可应用于企业内部知识库问答系统搭建、智能客服知识库构建、行业专业文献问答工具开发、大模型幻觉问题优化等场景，帮助用户在结合大语言模型生成内容时，提升回答的准确性与信息可信度。
OpenCompass 2.0 Large Language Model LeaderboardOpenCompass 2.0 Large Language Model Leaderboard是面向大语言模型领域的专业性能评估平台，核心定位是提供中立、多维度的大模型能力评测结果展示。平台支持全球主流大语言模型的多维度能力评估，覆盖语言理解、知识储备、逻辑推理、数学计算、代码开发等多个技能维度，可生成模型综合排名与单项能力得分对比，支持不同模型的横向能力对标。目标用户包含大模型研发人员、AI领域研究者、企业技术选型负责人、AI应用开发者、高校计算机专业师生等群体，可用于大模型研发效果验证、学术研究性能参照、企业落地模型选型、AI应用开发模型匹配等多种场景，为大模型相关的研发、选型、研究工作提供客观的数据参考。
DifyDify 是一款面向开发者与企业团队的LLM应用开发平台，核心定位是降低大语言模型应用的落地门槛，帮助用户快速搭建、部署和管理各类AI应用。平台支持可视化构建RAG检索增强生成流水线、拖拽式编排智能体工作流，同时提供完整的应用运维与数据监控能力。目标用户覆盖个人开发者、AI产品团队、企业技术部门等，可适用于企业内部知识库问答系统搭建、客户服务智能体开发、自动化业务工作流设计、多模态AI应用落地等多个场景，无需从零编写底层框架代码，即可完成可商用AI应用的全生命周期管理。
Command-RCommand-R是Cohere推出的大语言模型产品，核心定位是面向企业生产级场景优化的大语言模型，针对检索增强生成（RAG）和工具调用能力做了专项适配。其核心功能包括长上下文信息处理、低延迟高吞吐推理、多工具串联调用，支持企业将内部知识库、业务系统与大语言模型能力结合，目标用户覆盖企业AI开发团队、技术架构师、企业服务解决方案提供商等，可应用于企业内部智能问答系统搭建、业务流程自动化改造、行业专属大模型微调部署等场景，满足大规模生产环境下的AI落地需求。
AnythingLLMAnythingLLM是一款面向大语言模型私有化部署需求的桌面客户端工具，核心定位是为用户提供可本地运行的LLM使用与知识库管理解决方案。核心功能包括多模型兼容接入、本地知识库构建、离线无网运行，用户无需复杂的服务器配置即可快速搭建专属的大模型应用环境。目标用户覆盖个人开发者、企业内部IT人员、科研人员、内容创作者等群体，可应用于企业内部文档问答、个人离线科研文献检索、敏感数据内容生成、自定义模型效果测试等多种场景，所有数据处理均在本地完成，降低数据外泄风险。
PromptfooPromptfoo是专注于大语言模型Prompt质量评估与测试的开源工具，核心定位是帮助开发者降低LLM应用的落地风险，提升Prompt的稳定性与有效性。核心功能包括自定义测试用例创建、多维度评估指标配置、Web可视化结果对比，同时支持与现有测试流程、CI/CD pipeline无缝集成。目标用户覆盖LLM应用开发者、AI产品经理、Prompt工程师、算法测试人员等，可应用于对话机器人Prompt调优、RAG系统检索效果验证、AI生成内容合规性检测、多模型输出效果横向对比等多个场景，帮助用户在LLM应用迭代过程中快速定位Prompt的缺陷，减少线上异常问题的出现。
Unsloth AIUnsloth AI是专注于大语言模型微调加速的工具平台，核心定位为降低大模型微调的算力成本与时间门槛。平台支持主流开源大模型的轻量化微调，可实现数倍的训练速度提升，同时减少显存占用；内置预优化的模型库与微调模板，用户无需复杂配置即可启动训练任务；支持训练结果一键导出至多种部署框架，适配不同生产环境需求。目标用户覆盖AI算法工程师、机器学习研究者、大模型应用开发者、高校AI专业师生等，适用于垂类大模型定制、私有知识库微调、特定任务模型适配、学术研究模型训练等场景，帮助用户在有限算力资源下完成大模型微调工作。
LangfuseLangfuse是一款开源的LLM应用全生命周期分析管理工具，核心定位为开发者及AI产品团队提供LLM应用的生产环境观测、质量评估与成本优化能力。核心功能包括全链路请求追踪，可还原LLM应用从输入到输出的完整调用链路；多维度指标分析，支持成本、延迟、准确率等核心指标的聚合统计；内置Prompt管理模块，可实现不同版本Prompt的迭代、对比与上线。目标用户覆盖AI应用开发者、产品经理、运维工程师、算法工程师等群体，可用于LLM应用上线前的调试场景、上线后的运行监控场景、迭代过程中的效果对比场景，帮助团队系统化管理LLM应用的全流程运行状态。
WizardLM-2WizardLM-2是WizardLM团队推出的新一代大型语言模型官方介绍站点，核心定位为面向AI开发人员、研究人员提供大模型技术细节、使用方法与落地参考的技术平台。站点公开了8x22B、70B、7B三个参数规格的模型训练框架与性能基准，提供模型下载指引与推理部署教程，支持用户查看不同场景下的模型效果实测数据。目标用户覆盖AI研究人员、应用开发工程师、企业AI技术负责人、高校AI相关专业学生，可用于大模型选型评估、定制化微调训练、下游AI应用开发、学术研究对比等多种场景。
LiteLLMLiteLLM是Berri AI推出的大语言模型网关工具，核心定位是帮助开发者统一对接不同厂商的大语言模型服务，适配OpenAI接口格式。核心功能包括跨100+大模型的统一请求适配、调用权限与身份校验管理、多模型负载均衡调度、调用消费明细追踪统计。目标用户覆盖AI应用开发者、企业AI技术团队、MLOps运维人员、AI产品研发团队等，可应用于多模型融合应用开发、企业大模型调用统一管控、AI服务稳定性运维、研发成本核算统计等场景，降低开发者对接不同大模型的适配成本，提升大模型调用的管控效率。
LlamaIndex.TS开源LlamaIndex.TS是面向TypeScript/JavaScript生态的大语言模型应用开发框架，核心定位为降低私有数据与大语言模型结合的开发门槛。核心功能包括多源私有数据结构化接入、上下文检索增强生成、多运行时环境适配，支持开发者将业务私有数据快速接入大模型应用，解决大模型知识时效性不足、私有领域信息缺失的问题。目标用户覆盖全栈开发人员、AI应用开发者、企业技术团队，可用于搭建企业内部知识库问答系统、领域专属智能客服、个人知识助理、文档智能分析工具等多种场景，无需开发者具备深度学习专业背景即可完成功能落地。
Unify AIUnify AI是面向开发者的大语言模型统一接入与管理平台，核心定位是为多LLM调用场景提供一站式解决方案。平台支持通过一套API对接全球多家主流大模型服务商，提供实时性能基准测试、自定义路由规则设置、自动流量调度三大核心功能。目标用户覆盖AI应用开发工程师、AI产品负责人、大模型研究人员、企业技术团队等，可应用于AI应用多模型兼容开发、大模型选型评估、生产环境LLM流量负载优化、多模型效果对比测试等场景，帮助开发者降低多模型对接成本，提升调用效率。
LLM ArenaLLM Arena是专注于大语言模型第三方测评分析的工具平台，核心定位是为用户提供中立、可量化的大模型对比参考。平台支持盲测对比不同大模型的输出效果，可整理公开各主流大模型的定价明细，同时标注不同模型的接口参数、功能差异并生成结构化对比报告。面向AI开发者、产品经理、AI领域研究者、企业技术选型人员、AI创业从业者、高校相关专业师生等用户，可应用于大模型技术选型、输出效果验证、调用成本核算、参数适配调研、功能适配评估等场景，帮助用户直观了解不同大语言模型的实际表现差异，为技术选型和应用开发提供参考依据。
RetellRetell是专注于语音类AI代理开发与部署的服务平台，核心定位是为开发者和企业提供低代码的智能语音交互系统搭建能力。平台支持自定义工作流配置、多端部署、多LLM适配三大核心功能，面向需要搭建智能语音客服、语音通知、语音交互产品的开发者、企业运营人员、产品经理等群体，可应用于客户服务自动呼入应答、批量外呼通知、语音助手开发、合规语音交互场景搭建等多种场景，帮助用户降低语音类AI系统的开发成本，缩短上线周期。
GPTBotsGPTBots是面向开发者和企业用户的AI Bot定制开发平台，核心定位是帮助用户快速将大语言模型与自有数据、业务服务对接，搭建符合特定场景需求的AI应用。平台支持知识库上传绑定、多模型调用、插件市场拓展三大核心能力，目标用户覆盖开发者、企业运营人员、产品经理等群体，可应用于企业内部智能客服搭建、业务流程自动化改造、教育类AI助手开发、行业专属工具生成等多种场景，降低AI应用的开发门槛，缩短落地周期。
Evidently AI开源Evidently AI是专注于机器学习模型全生命周期监控与评估的开源工具平台，核心定位为ML从业者提供数据质量校验、漂移检测、模型性能评估等一站式可观测能力。其核心功能包括支持结构化数据模型与大语言模型应用的多场景评估，内置百余种预设指标与可视化报告模板，可无缝对接本地Python开发环境与云端生产部署链路。目标用户覆盖机器学习工程师、数据科学家、AI产品运维人员、大语言模型应用开发者、科研机构AI研究人员以及企业AI团队。可应用于模型上线前的验证测试、生产环境实时监控告警、大语言模型RAG系统效果迭代、模型合规性审计、团队模型实验效果对比等多个场景。
Confident AI开源Confident AI 是面向大语言模型应用开发者的开源评估基础设施平台，核心定位是为LLM应用的性能验证与生产落地提供全链路支持。平台支持用户自定义测试用例完成LLM输出评估，内置多维度开源性能指标可量化模型表现，同时提供版本差异跟踪与全链路监控能力。目标用户覆盖LLM应用开发工程师、算法研究员、AI产品经理等群体，可应用于LLM应用原型验证、迭代优化、上线前性能校验、生产环境稳定性监测等多种场景，帮助开发者明确模型优化方向，降低LLM投产的不确定性。
Higress.AIHigress.AI是面向AI原生场景打造的开源API网关，专注于AI Agent开发与大语言模型（LLM）API管理服务。平台提供统一的流量管控、多模型路由、token用量统计等核心能力，支持开发者将不同来源的LLM接口统一接入管理，降低AI应用开发的复杂度。核心功能覆盖多LLM提供商聚合、请求路由分发、访问权限管控、流量控制以及可观测性数据统计，适合AI应用开发团队、AI Agent创业者、企业AI部门等群体使用，可满足AI应用上线前接口统一管理、生产环境流量管控、多模型调度开发等场景需求。
LLM Price CheckLLM Price Check是专注于大语言模型API价格比对与成本测算的在线工具，核心定位是为AI应用开发者、企业技术采购方等群体提供透明的LLM成本参考体系。核心功能包括多厂商LLM API价格实时同步更新、自定义输入输出量成本测算、同能力层级模型性价比横向对比。目标用户覆盖AI开发从业者、企业技术团队负责人、AI创业项目成员等，可应用于AI应用立项阶段的成本预估、API服务商选型阶段的价格比对、日常AI调用的成本优化方案制定等场景，帮助用户在选型LLM服务时梳理成本结构，做出适配自身需求的选择。
Helicone AI开源Helicone AI是面向开发者的开源大语言模型应用运维平台，核心定位为LLM调用全链路观测与调试工具。核心功能包括LLM请求全量日志记录、调用指标实时监控、错误请求快速溯源，支持多厂商大模型接入，无需额外安装SDK即可完成接入配置。目标用户覆盖大模型应用开发者、AI产品运维人员、算法调优工程师、技术团队负责人等群体，适用于大模型应用上线前性能测试、生产环境运行状态监控、接口异常问题排查、调用成本统计分析、prompt效果对比实验等多个场景，帮助开发者降低LLM应用运维复杂度，提升应用稳定性。
GPTResearcherGPTResearcher是一款面向多代理框架设计的自主研究代理工具，核心定位是为用户提供具备事实性的在线研究与内容生成服务。其核心功能包括多源数据自动聚合整理、跨大语言模型适配调用、多格式研究报告生成，可覆盖学术调研、行业分析、资料汇总等多元场景。目标用户包含学术研究者、市场分析人员、内容创作者、企业调研岗人员等，用户无需手动检索大量零散网页，仅通过简单输入研究主题即可获取结构化的调研结果，有效降低信息收集的时间成本。
Starling-7BStarling-7B是由伯克利团队研发的开放大型语言模型，依托强化学习从AI反馈（RLAIF）框架训练而成。核心功能包括模型推理交互、开源资源下载、测评数据展示、在线演示体验与技术文档预览。该项目面向AI研究者、大模型开发者、自然语言处理学习者、企业技术人员等群体，可应用于模型效果验证、下游任务微调、大模型技术研究、对话类应用原型开发等多个场景，为开源大语言模型生态提供可复用的训练框架与基础模型资源。
CS25CS25是斯坦福大学推出的专注于Transformer深度学习模型的公开课程网站，核心定位为面向全球学习者的前沿AI技术学习资源平台。核心功能包括公开课程资料下载、行业前沿嘉宾讲座回放、Transformer相关研究成果梳理，同时配套课程作业与项目实践参考内容。目标用户覆盖高校AI专业学生、人工智能领域研发人员、AI应用开发从业者以及对大模型技术感兴趣的科技爱好者。使用场景包括在校学生补充课堂外的前沿AI知识、研发人员跟进Transformer技术最新进展、开发人员学习大模型架构原理并应用到实际项目中，以及科技爱好者系统了解大语言模型、生成式AI的技术底层逻辑。
PulsarPulsar是AstraMind开发的本地大语言模型运行管理工具，核心定位为帮助用户在个人设备上离线部署、运行和管理各类开源大语言模型，全程无需上传个人数据到云端，保障数据隐私安全。核心功能包括多系统兼容的模型一键部署、个性化AI助手自定义配置、本地离线对话交互。目标用户覆盖AI研发人员、隐私敏感的办公人群、大模型爱好者、学生群体等，可应用于本地私密文档分析、个性化工作助手搭建、离线AI学习实践、敏感内容交互处理等多个场景，让用户在可控的环境中使用大语言模型服务。
LLMonitorLLMonitor是面向大语言模型应用开发者的观测与优化平台，核心为LLM应用提供全链路的运行数据采集、分析与迭代支持。平台核心功能包括全维度LLM调用日志追踪，可完整记录每次模型请求的输入输出、响应时长、token消耗等参数；内置对话评估体系，支持开发者结合业务规则对模型回复质量进行打分标注；还提供多维度成本分析能力，可按模型类型、调用时段、用户群体拆分token消耗情况。平台服务于AI应用开发者、产品经理、运维人员等群体，可用于聊天机器人迭代、AI Agent开发调试、企业级LLM应用上线后的日常运维等场景，帮助开发者及时定位模型调用异常、优化prompt设计、控制整体使用成本。
Neural MagicNeural Magic是专注于AI模型优化与推理部署的技术服务平台，核心面向有AI模型落地需求的企业与技术团队，提供适配CPU、GPU硬件的大语言模型推理优化方案。核心功能包括开源模型稀疏压缩工具链、跨硬件推理引擎、企业级部署全流程支持。平台可帮助用户在无需采购专用AI加速硬件的前提下，提升大模型运行效率，适配云服务器、私有数据中心、边缘设备等多种部署场景，降低AI应用落地的硬件成本与运维复杂度。
CangjieMagic开源CangjieMagic是基于仓颉编程语言打造的LLM Agent开发框架，核心定位是为仓颉生态开发者提供低门槛的大模型智能应用搭建能力。框架内置任务智能规划模块，可自动拆解复杂用户需求为可执行步骤；支持多工具模块化调用，可接入各类第三方API和自定义功能组件；提供标准化的Agent开发模板，减少重复代码编写工作。主要面向仓颉语言开发者、大模型应用开发人员、AI应用创业团队等群体，可用于搭建智能客服系统、自动化任务处理工具、行业知识库问答应用、个人智能助理等多种AI原生产品，帮助开发者将大模型能力快速集成到仓颉生态的各类应用中。
TrismikTrismik是一个第三方大语言模型评测对比平台，核心定位是基于自有测试数据，为用户提供不同大语言模型在质量、成本、速度维度的客观对比信息。平台可支持用户查看不同模型在多场景下的评测结果，也可让用户筛选符合自身需求的大语言模型，帮助用户在选择模型时获得参考数据。核心功能包含多维度模型评测、自定义筛选对比、成本估算工具、速度测试展示、模型信息汇总等，面向需要选型大语言模型的开发团队、AI应用创业者、AI研究者等用户，适用在模型选型、项目开发、AI应用部署前的参考对比场景。
Chat NioChat Nio是面向多类用户的大语言模型一站式解决方案平台，核心定位为提供AI模型集成与部署服务。平台支持30余款主流AI模型接入，覆盖文本、图像、音频、视频等多模态处理需求，同时提供私有化部署与API中转服务，还内置多租户令牌管理、调用日志追踪等功能。目标用户包含个人开发者、企业技术团队、内容创作机构、中小企业运营者等，可满足AI应用快速开发、团队AI能力统一管理、多模态内容批量生产、企业级AI服务私有化部署等不同场景的使用需求。
OpenPlugin开源OpenPlugin是专注于大语言模型插件生态的开源服务平台，核心定位是降低ChatGPT等大语言模型插件的开发与使用门槛，帮助用户拓展AI工具的应用边界。平台提供插件集市检索、一键接入适配、开发文档支持、插件效果测试、跨模型兼容调度五大核心功能，面向大语言模型使用者、AI应用开发者、企业技术团队等群体，可满足个人用户拓展AI对话能力、开发者快速迭代插件产品、企业搭建专属AI工具矩阵等多场景需求。
Laminar.aiLaminar.ai是一个开源全栈AI工程平台，核心定位是从第一性原理出发助力开发者提升大语言模型（LLM）应用开发质量。平台支持多模态模型运行数据追踪、零开销可观测性分析、在线评估与数据集构建三大核心功能，面向AI应用开发者、算法工程师、技术团队负责人等群体，可满足LLM应用开发调试、生产环境运行监控、模型迭代效果验证、多模态模型适配开发等场景需求，同时支持便捷自托管部署，适配不同规模团队的自主可控部署要求。
NVLM开源NVLM是一个开源多模态大型语言模型项目站点，核心定位为向学术研究与产业开发群体提供高性能的视觉-语言融合模型资源。项目核心功能包含多模态模型权重开源下载、训练推理代码仓库访问、模型性能基准测试结果公开，同时配套模型适配与二次开发指导文档。目标用户覆盖AI领域研究人员、应用开发工程师、高校相关专业师生等群体，可应用于多模态任务性能对比、定制化视觉理解应用搭建、多模态模型技术原理研究等多个场景，为多模态大模型技术落地与学术探索提供可复用的基础资源。
MLPerf ClientMLPerf Client是MLCommons推出的面向个人端设备的AI性能基准测试平台，核心定位是为消费级到专业级个人电脑提供统一的生成式AI工作负载性能评估标准。平台支持大语言模型本地推理性能测试、AI图像生成负载模拟测试、多场景AI任务综合跑分三大核心功能，目标用户覆盖硬件厂商、PC产品研发人员、AI开发者、数码测评机构、普通消费级用户等，可应用于新品硬件AI性能验证、不同设备AI能力横向对比、AI应用落地前的设备兼容性测试、个人购机前AI性能参考等多个场景，测试结果可直观反映设备处理实际AI任务的实际表现，为PC端AI生态的迭代提供统一的参考依据。
LiveKit AgentsLiveKit Agents 是面向开发者的端到端多模态AI代理开发框架，核心定位是降低语音、视频类交互式AI应用的开发门槛。核心功能包括预集成STT、LLM、TTS的全链路开发流水线，支持WebRTC低延迟实时音视频交互，自带电话呼入呼出适配能力。目标用户覆盖后端开发者、AI应用开发者、实时通讯场景开发人员等，可用于智能客服语音助手、视频互动AI接待、电话自动应答系统、线上会议AI助理等多类场景的快速开发落地。