TAG

大模型推理工具。

共收录 5 款与「大模型推理」相关的 AI 工具，按站内热度排序；每张卡片可直达详情页查看定价、平台支持与同类对比。

Groq

专注于AI推理加速领域，为开发者、技术团队、AI应用服务商提供基于自研LPU推理引擎的超高速大模型推理服务，支持Llama、Mixtral等主流开源模型调用，同时开放API接入能力，广泛用于实时智能客服、低延迟AI交互、高并发推理请求处理等对响应速度要求较高的场景。

WebLLM是专注于浏览器端运行大语言模型的推理引擎，核心定位是通过WebGPU硬件加速技术，让大语言模型推理完全在用户本地浏览器执行，无需依赖远程服务器。核心功能包括WebGPU硬件加速推理、多模型适配支持、OpenAI API兼容对接，面向前端开发者、AI应用创作者、隐私敏感需求用户，可用于搭建本地AI助手、无服务器AI交互组件、离线AI工具、隐私导向AI问答系统等场景，在降低服务部署成本的同时，保障用户交互数据不会上传至第三方服务器。

LTM

LTM是Magic团队开发的超长上下文大语言模型，核心定位是面向软件开发场景的大模型技术方案，可支持最高100M tokens的上下文处理能力。核心功能包括百万级令牌上下文信息存储与检索、代码全量知识库关联推理、复杂程序逻辑自动合成，同时搭配NVIDIA GB200硬件集群支撑高效推理。目标用户覆盖软件开发人员、AI算法工程师、企业技术架构师、技术文档撰写人员等，可应用于大型代码库智能问答、全项目代码生成与重构、跨文档技术方案推理、复杂系统逻辑验证等多个场景，帮助开发者在处理大规模代码项目时减少上下文查找成本，提升代码输出的一致性与准确性。

Query Fan-Out Optimizer

Query Fan-Out Optimizer是一款针对大语言模型搜索引用流程进行分析优化的技术工具，核心定位是拆解大语言模型在查找和引用网页来源过程中生成的隐藏子查询，帮助用户直观了解LLM的搜索推理路径。它支持子查询可视化展示、搜索流程优化分析、引用溯源验证、路径断点定位、结果偏差分析等核心功能，主要面向AI研究人员、大语言模型开发者、搜索引擎优化从业者、检索增强生成技术研发人员以及AI技术爱好者等用户群体，可应用于大语言模型推理逻辑研究、搜索生成内容准确性验证、检索增强生成技术优化、大模型搜索流程调试等多种场景，帮助相关从业者梳理大模型搜索环节的逻辑，发现现有流程中的潜在问题。

KPU - Maisa

KPU是maisa.ai推出的知识处理单元框架，核心定位是基于大语言模型能力，通过推理与执行分离的架构设计，实现复杂任务的高效处理。核心功能包括推理引擎分步任务规划、执行引擎指令落地处理、虚拟上下文窗口信息流转管理三类，面向AI应用开发者、企业AI方案落地人员、科研机构大模型应用研究人员等群体，可应用于多模态数据批量处理、开放性复杂问题求解、大模型应用流程优化、实时信息检索类任务开发等场景，帮助用户规避大模型生成幻觉、数据处理能力不足、实时信息获取滞后等问题，提升大模型任务处理的准确性与运行性能。