LLM 工具
共收录 190 款与「LLM」相关的 AI 工具，按站内热度排序。
NVLM开源NVLM是一个开源多模态大型语言模型项目站点，核心定位为向学术研究与产业开发群体提供高性能的视觉-语言融合模型资源。项目核心功能包含多模态模型权重开源下载、训练推理代码仓库访问、模型性能基准测试结果公开，同时配套模型适配与二次开发指导文档。目标用户覆盖AI领域研究人员、应用开发工程师、高校相关专业师生等群体，可应用于多模态任务性能对比、定制化视觉理解应用搭建、多模态模型技术原理研究等多个场景，为多模态大模型技术落地与学术探索提供可复用的基础资源。
Helicone AI开源Helicone AI是面向开发者的开源大语言模型应用运维平台，核心定位为LLM调用全链路观测与调试工具。核心功能包括LLM请求全量日志记录、调用指标实时监控、错误请求快速溯源，支持多厂商大模型接入，无需额外安装SDK即可完成接入配置。目标用户覆盖大模型应用开发者、AI产品运维人员、算法调优工程师、技术团队负责人等群体，适用于大模型应用上线前性能测试、生产环境运行状态监控、接口异常问题排查、调用成本统计分析、prompt效果对比实验等多个场景，帮助开发者降低LLM应用运维复杂度，提升应用稳定性。
Higress.AIHigress.AI是面向AI原生场景打造的开源API网关，专注于AI Agent开发与大语言模型（LLM）API管理服务。平台提供统一的流量管控、多模型路由、token用量统计等核心能力，支持开发者将不同来源的LLM接口统一接入管理，降低AI应用开发的复杂度。核心功能覆盖多LLM提供商聚合、请求路由分发、访问权限管控、流量控制以及可观测性数据统计，适合AI应用开发团队、AI Agent创业者、企业AI部门等群体使用，可满足AI应用上线前接口统一管理、生产环境流量管控、多模型调度开发等场景需求。
HumanloopHumanloop是专注于大语言模型生产级应用搭建与全生命周期管理的协作平台，核心定位为降低AI应用从原型落地到生产环境的门槛，提升上线后运行的稳定性与效果。平台支持多模型适配管理、提示词全流程迭代优化、多角色协同开发、运行数据实时监控等核心功能，目标用户覆盖AI应用开发者、产品经理、运营人员、企业技术团队等。适用于企业搭建智能客服系统、开发智能营销内容生成工具、构建企业内部知识库问答机器人、上线AI代码辅助开发工具等多元场景，可帮助团队缩短AI应用开发周期，降低运维阶段的效果波动风险。
LLMonitorLLMonitor是面向大语言模型应用开发者的观测与优化平台，核心为LLM应用提供全链路的运行数据采集、分析与迭代支持。平台核心功能包括全维度LLM调用日志追踪，可完整记录每次模型请求的输入输出、响应时长、token消耗等参数；内置对话评估体系，支持开发者结合业务规则对模型回复质量进行打分标注；还提供多维度成本分析能力，可按模型类型、调用时段、用户群体拆分token消耗情况。平台服务于AI应用开发者、产品经理、运维人员等群体，可用于聊天机器人迭代、AI Agent开发调试、企业级LLM应用上线后的日常运维等场景，帮助开发者及时定位模型调用异常、优化prompt设计、控制整体使用成本。
PongoPongo是一款专注于优化检索增强生成（RAG）工作流的技术服务工具，核心定位是降低大语言模型输出的幻觉问题，提升生成内容的准确性。其核心功能包括高精度语义过滤、快速系统集成、零数据留存处理，支持开发者、企业技术团队在搭建RAG应用、知识库问答系统、智能客服机器人等场景中使用，无需大幅调整现有技术架构，即可提升生成内容的可信度，减少错误信息输出。
WebWalkerWebWalker是由阿里巴巴集团通义实验室开发的多智能体框架，核心定位是评估大型语言模型在网页遍历任务中的表现，可模拟人类浏览网页的行为逻辑，通过探索与评估相结合的范式系统提取高质量网页数据，支持深入挖掘多层级网页信息，可帮助研究人员优化大模型信息检索能力，适用场景包括大模型开放域问答能力优化、多步骤信息检索场景模拟、网页数据结构化提取研究等，目标用户覆盖大模型研发人员、自然语言处理研究者、信息检索领域从业者等群体。
CS25CS25是斯坦福大学推出的专注于Transformer深度学习模型的公开课程网站，核心定位为面向全球学习者的前沿AI技术学习资源平台。核心功能包括公开课程资料下载、行业前沿嘉宾讲座回放、Transformer相关研究成果梳理，同时配套课程作业与项目实践参考内容。目标用户覆盖高校AI专业学生、人工智能领域研发人员、AI应用开发从业者以及对大模型技术感兴趣的科技爱好者。使用场景包括在校学生补充课堂外的前沿AI知识、研发人员跟进Transformer技术最新进展、开发人员学习大模型架构原理并应用到实际项目中，以及科技爱好者系统了解大语言模型、生成式AI的技术底层逻辑。
Propel for LLM AppsPropel for LLM Apps是专为生成式人工智能应用打造的数据分析与用量计量工具，依托Propel成熟的数据应用API平台能力，为LLM应用开发者提供全链路的运行数据观测能力。核心功能包括LLM API调用全维度数据追踪、灵活的用量限制规则配置、自定义可视化分析看板，支持开发者快速接入后实现调用成本管控、用户分层运营、产品体验优化等目标。面向独立开发者、AI应用创业团队、企业AI研发部门等群体，适用于ChatGPT类对话应用、AI内容生成工具、AI辅助开发平台等多种LLM应用的日常运维与运营场景。
PromptMagePromptMage是一款面向大语言模型应用开发者的Python框架，核心定位是简化LLM应用开发流程，围绕提示词工程提供系统化管理支持。核心功能包含提示词分层管理、多版本跟踪控制、灵活变量注入、LLM服务统一调用接口、本地调试环境支持，可帮助开发者减少重复性开发工作，专注于核心业务逻辑实现。目标用户覆盖LLM应用开发工程师、AI产品研发团队、NLP算法研究员、AI创业项目开发人员等，适用于企业级LLM应用开发迭代、prompt工程调优实验、多版本prompt管理协作、AI助手类应用快速搭建等场景。
mcpscan.aimcpscan.ai是专注于Model Context Protocol（MCP）服务器的安全扫描工具，核心定位为MCP生态下的安全检测服务平台。核心功能包括MCP服务器漏洞专项检测、实时交互安全监控、漏洞详情溯源分析、修复方案定向推荐，同时支持自定义扫描规则配置。目标用户覆盖大语言模型应用开发者、MCP服务运维人员、AI系统安全工程师、企业AI架构师等群体，适用于MCP服务上线前安全验收、日常运行安全巡检、漏洞应急响应排查、合规性安全审计等多个场景，能够帮助用户识别MCP服务器在与大语言模型、外部工具交互过程中存在的安全风险，降低敏感数据泄露、系统被未授权访问的可能性。
LlamaoLlamao是一款基于开源大语言模型打造的离线AI助手，核心定位为面向隐私敏感用户的本地AI服务工具，所有运算均在用户本地设备完成，无需上传数据至外部服务器。核心功能包含本地智能写作辅助、离线知识问答、多场景任务处理三类，无需联网即可正常调用，适合对数据安全、隐私保护有较高要求的用户，可应用于无网络环境办公、敏感内容撰写、内部资料分析等多个场景，避免数据传输过程中可能出现的泄露风险。
Lune AILune AI是社区驱动的技术向大型语言模型市场，核心定位是为开发者群体提供基于真实技术数据源训练的垂直领域AI模型，解决通用大模型技术查询准确率不足的问题。核心功能包括：支持开发者基于GitHub仓库、技术文档等数据源训练专属垂直LLM，模型输出结果自带原始参考来源标识；提供与OpenAI完全兼容的API接口，可直接适配现有支持OpenAI协议的开发工具；设置创作者激励机制，用户贡献模型可获得对应收益。目标用户覆盖后端开发者、前端工程师、技术文档编辑、开源项目维护者等技术从业者，使用场景包括开发过程中查询特定框架用法、排查开源项目代码问题、生成符合项目规范的代码片段、快速梳理技术文档核心要点等。
DocETLDocETL是面向文本数据处理场景的LLM驱动数据处理系统，核心定位是帮助用户高效完成非结构化文本的结构化转换、信息提取与分析工作。核心功能包括基于YAML声明式配置的工作流定义、LLM与传统数据操作的混合编排、交互式playground提示工程调试。目标用户覆盖数据分析师、AI工程师、科研人员、内容运营等需要处理批量文本的群体，可应用于学术文献批量分析、客服工单信息提取、媒体内容标签化、多源文档信息整合等场景，降低复杂文本处理流程的搭建与调试成本。
ell开源ell是面向开发者的轻量级语言模型编程库官方文档站，核心定位是为开发者提供将提示视为函数的LLM应用开发范式支持。核心功能包括：其一，提供函数式提示编程规范，开发者可通过定义Python函数的方式生成LLM调用所需的提示或消息列表，无需手动拼接字符串；其二，内置监控、版本控制与可视化工具，可追溯每次提示迭代的效果差异，实现提示工程的可复现与可量化；其三，提供与主流大模型API的适配支持，兼容OpenAI、Anthropic等多个厂商的模型接口。目标用户覆盖LLM应用开发者、AI算法工程师、提示工程研究人员等，适用于企业级LLM应用开发、个人AI工具原型搭建、学术研究中的提示效果对比测试等场景，帮助开发者降低LLM应用的维护成本，提升提示迭代效率。
ZeroTrusted.aiZeroTrusted.ai是专注于生成式人工智能安全领域的服务平台，核心定位是为大语言模型应用场景提供全链路安全防护解决方案。平台核心功能包括LLM流量防火墙防护、敏感数据匿名化处理、提示词与输出结果合规校验三类，同时支持多工具集成适配与动态加密管理。目标用户覆盖AI应用开发者、企业数据安全负责人、SaaS服务提供商、合规审计人员等群体，可应用于企业内部LLM应用部署、客户服务智能回复系统搭建、AI生成内容合规校验、API接口数据传输防护等多个场景，帮助使用者降低AI应用落地过程中的数据泄露、内容违规等安全风险。
CencurityCencurity是一款专注于大语言模型交互场景的安全网关工具，核心定位是为大语言模型的输入输出环节提供数据安全防护能力。其核心功能包括敏感数据实时检测脱敏、高风险代码识别拦截、访问行为审计溯源、自定义安全规则配置、多LLM平台适配对接，主要面向企业IT安全管理人员、AI应用开发人员、数据合规专员等用户，可应用于企业内部LLM服务部署、AI应用对外输出安全管控、数据合规场景审计、研发团队代码交互防护等多个场景，帮助用户降低大语言模型使用过程中的数据泄露、违规内容输出等安全风险。
Parea AIParea AI是面向大语言模型应用开发场景的LLM全流程管理平台，核心定位是为开发者提供标准化的LLM应用性能优化解决方案。平台支持多版本提示词并行实验、自动化测试用例评估、一键式提示词调优三大核心功能，面向LLM应用开发者、AI产品经理、算法测试人员等群体，可应用于AI对话系统开发、智能客服模型迭代、内容生成工具优化等多种场景，帮助使用者建立规范化的LLM开发流程，降低反复调试模型的时间成本。
dimBasedimBase是一个支持用户快速部署自定义大语言模型API的在线服务平台，核心定位为降低大语言模型应用开发的部署门槛，帮助开发者缩短模型API上线周期。平台支持私有模型托管、多模型统一管理、弹性扩缩容调用、访问权限控制等核心功能，面向大语言模型应用开发者、AI创业团队、AI研究人员等用户，适用于个人AI应用开发、团队产品原型验证、学术研究模型接口部署等多种场景。
impaction.aiimpaction.ai是面向AI本地化产品的对话数据分析工具，核心定位是帮助产品团队处理LLM驱动应用生成的对话数据，挖掘用户需求、优化产品体验。核心功能包括自然语言对话检索、Columbus Copilot智能分析、多数据源统一接入，适配不同部署环境的AI应用数据管理需求。目标用户覆盖AI产品经理、对话系统研发人员、用户运营团队、数据分析师等群体，可应用于大模型应用迭代、用户意图识别、异常对话排查、本地化功能优化等多个场景，帮助团队从非结构化的对话数据中提取可落地的决策依据。
Hoody AIHoody AI是主打隐私保护的AI工具统一访问平台，核心定位是为用户提供匿名化的多大型语言模型调用服务。平台支持集成市面多种主流LLM产品，用户无需在多个AI站点分别注册账号即可统一调用，同时采用端到端加密技术保障交互数据安全，还支持匿名支付方式避免身份关联。平台配备响应式操作仪表板，支持桌面端、移动端多设备访问，适合注重个人信息保护的内容创作者、研究人员、职场办公人群使用，可满足日常AI写作、信息查询、创意生成等多场景需求，同时全程避免个人身份信息被平台追踪留存。
Agents开源Agents Flex是面向Java开发者的大语言模型应用开发框架，核心定位为降低LLM应用的开发门槛，提供标准化的大模型对接与能力调度方案。核心功能包含多协议大模型适配、多范式Prompt工程模板、本地函数调用编排、工作流可视化搭建、调用链路可观测等模块。目标用户覆盖Java生态的后端开发人员、AI应用研发工程师、企业级应用架构师等群体，可满足对话式AI应用开发、企业内部知识库问答系统搭建、AI工作流集成、智能客服系统开发等多种场景的开发需求。
EpsillaEpsilla是面向RAG应用开发需求推出的RAG即服务平台，无需用户编写复杂代码即可完成从数据接入到应用上线的全流程搭建。平台核心功能包含多源异构数据统一管理、自动化RAG pipeline配置、全链路效果评估体系三类，同时内置企业级安全管控能力，可帮助技术开发人员、AI产品经理、企业技术团队等群体，快速搭建基于内部文档、公开知识库、业务数据的问答机器人、智能客服、知识库检索等LLM应用，降低RAG应用的开发与运维成本，提升查询响应效率与内容准确性。
Keywords AIKeywords AI是面向企业和开发者的大语言模型成本优化与能力增强服务平台，核心定位是帮助用户在不降低输出质量的前提下降低大语言模型调用成本。平台支持多模型路由调度、LLM调用成本实时统计、输出效果一致性校验三大核心功能，目标用户覆盖AI应用开发团队、内容生产企业、智能客服服务商、SaaS平台开发者等群体，可应用于大语言模型调用成本管控、多模型能力整合适配、AI输出效果质量管控、推理性能优化等多种业务场景。
iGOT.aiiGOT.ai是面向无编程基础用户的低代码GPT开发平台，核心定位是降低大语言模型应用的开发门槛，帮助用户不用编写代码即可完成自定义AI模型的搭建、测试与落地。平台核心功能包括自然语言驱动的推理对象创建、可视化LLM任务编排、内置多维度效果测试工具，支持用户将所在领域的专业规则、经验知识转化为可自动化执行的AI能力。目标用户覆盖企业业务人员、行业研究者、AI应用开发者等群体，可应用于企业内部业务流程自动化、行业专属问答系统搭建、定制化AI分析工具开发等多个场景，帮助用户将专业知识快速转化为可复用的AI服务。
InductorInductor是面向LLM应用开发团队的质量管控平台，核心定位是帮助开发者在全生命周期内提升大语言模型应用的稳定性与成本合理性。平台提供多维度自动化评估能力，可对LLM应用的输出准确性、合规性、相关性等指标进行批量校验；内置生产环境实时监控模块，可捕捉异常输出、调用成功率波动等问题并触发告警；还支持跨角色协作流程，方便不同岗位成员共同参与应用质量优化。目标用户覆盖LLM应用开发工程师、测试人员、产品经理、运维人员等，适用于LLM应用原型验证、上线前测试、上线后运维、版本迭代效果核验等多个场景，可兼容各类主流大模型与LLM应用开发框架，支持本地部署与云端部署两种部署模式。
findablefindable是一款面向内容创作者与运营人员的LLM SEO工具包，核心定位为帮助用户优化内容在AI搜索中的可见性与排名表现。网站提供AI搜索排名检测、内容优化建议、关键词适配分析、竞品可见性对比等核心功能，目标用户涵盖内容创作者、SEO从业者、独立站运营者、品牌营销人员等，可用于发布内容前的AI搜索适配优化、定期监测内容在大模型搜索结果中的表现、调整内容策略提升AI曝光，以及制定差异化的AI搜索优化方案。
SailorSailor是一套专为东南亚地区定制的开放语言模型项目官网，核心定位是为东南亚多语言场景提供适配性高的大语言模型解决方案。平台支持印尼语、泰语、越南语、马来语、老挝语等东南亚主流语种的文本理解与生成，提供从0.5B到7B不同参数规模的模型版本，还开放了模型训练相关的数据集说明与部署指引。该项目面向东南亚区域的AI开发者、企业技术团队、语言研究人员，可用于构建区域语言问答系统、多语言内容生成工具、区域语料语义分析服务等场景，助力降低东南亚本地语言AI应用的开发门槛。
GentraceGentrace是一款面向生成式AI全生命周期管理的协作评估与观测平台，核心定位为帮助团队系统性把控生成式AI应用的输出质量、运行效率与资源成本。平台支持AI自动评估与自定义启发式规则评估结合的质量校验体系，可对生产环境中AI应用的响应速度、调用成本进行实时追踪，还能支持多人协作标注评估结果沉淀团队校验标准。其目标用户覆盖AI产品经理、算法工程师、测试工程师、业务运营等不同角色，适用于大语言模型应用上线前的效果验证、上线后的运行状态观测、迭代版本的效果对比、异常输出的根因定位等多个场景，助力团队降低生成式AI应用的落地风险，提升迭代效率。
Not DiamondNot Diamond是一款专注于优化大语言模型选择的AI模型路由器，核心定位为通过动态路由机制为用户请求匹配最合适的大语言模型。支持根据请求内容特征自动选择模型，提供混合调用方案，同时兼顾输出准确性与使用成本效率。目标用户包括AI应用开发者、企业AI部署团队、独立开发者以及AI服务提供商，适合在AI应用集成、批量文本处理、多场景生成任务等场景中使用，帮助用户平衡输出质量与调用成本。
OAK (Open Agent Kit)OAK (Open Agent Kit)是面向开发者的开源AI代理开发平台，核心定位是降低AI代理的开发门槛，助力开发者完成AI代理的构建、定制与部署全流程工作。平台提供模块化开发组件，支持开发者自定义代理逻辑配置，可对接多种主流大语言模型，同时内置多代理协作调度框架，无需从零搭建底层架构即可快速推进项目。支持个人开发者进行小型AI工具开发，也支持团队开展复杂多代理系统搭建，适用于AI原型验证、生产级AI服务部署、多代理场景模拟、智能客服系统开发等多种开发场景。
OpenLITOpenLIT是聚焦生成式AI与大语言模型应用可观察性的开源AI工程平台，核心定位是为AI应用全生命周期的运行状态监控、性能优化提供技术支撑。平台支持OpenTelemetry原生集成，可实现多维度细粒度的LLM调用数据洞察，同时提供代码全透明与私有化部署选项满足不同场景的数据安全需求。目标用户覆盖AI应用开发者、数据科学家、企业AI工程团队，适用于LLM应用上线前的性能调试、运行中的异常排查、资源使用成本核算、多模型调用效果对比等场景，帮助相关从业者简化AI应用运维流程，提升应用运行稳定性与资源使用效率。
KelKel是一款集成AI能力的命令行助手工具，核心定位是为命令行界面赋予大语言模型交互能力，帮助用户优化命令行操作流程。核心功能包括多LLM厂商支持、文件上传交互对话、重复任务自动化执行三类，支持接入OpenAI、Anthropic、Ollama等主流大模型及OpenAI助手服务。目标用户覆盖后端开发人员、运维工程师、CLI工具使用者、技术运维从业者等，可应用于日常命令调试、批量脚本生成、日志内容分析、重复操作自动化等场景，帮助用户降低命令行操作门槛，提升工作执行效率。