Toolifai logo
Toolifai 编辑整理

Archgw

AI开发者工具开源网关

Archgw 是一款面向生成式AI应用开发场景的开源网关产品，核心定位为大语言模型提示词处理与流量调度中间件，基于Envoy架构构建，具备跨语言适配能力

Archgw 是一款面向生成式AI应用开发场景的开源网关产品，核心定位为大语言模型提示词处理与流量调度中间件，基于Envoy架构构建，具备跨语言适配能力。核心功能包括提示词全生命周期治理、多LLM流量智能路由、全链路可观测性监控，可帮助开发者降低GenAI应用与后端大模型服务、业务系统的集成复杂度。目标用户覆盖AI应用开发者、后端架构师、SRE运维工程师等群体，适用于生成式AI应用上线部署、多模型服务调度优化、大模型应用可观测性建设等场景，支持快速部署与无侵入式升级，无需对现有业务代码做大量改造即可接入使用。

访问官网
免费AI开发者工具热度第 155 / 542 名官网可达收录证明开发者认领
官网预览官网首页：Archgw 界面预览（ 截图）1 / 1
适用对象
AI应用开发者(开发GenAI应用时对接多模型服务)
主要功能
提示词治理、多模型流量路由
计费方式
免费
平台
API
已收录
2026.06.14（142 天）
阅读目录

编辑评测与站内热度

全站热度排名

#4751

分类内排名

#155 / 542

累计站内点击

1

近 7 日点击

1

排名与点击为站内真实统计口径，反映 Toolifai 用户行为，非编辑评分。

Archgw是什么，怎么使用？

约 5 分钟

Archgw 是一款面向生成式AI应用开发场景的开源网关产品，核心定位为大语言模型提示词处理与流量调度中间件，基于Envoy架构构建，具备跨语言适配能力。核心功能包括提示词全生命周期治理、多LLM流量智能路由、全链路可观测性监控，可帮助开发者降低GenAI应用与后端大模型服务、业务系统的集成复杂度。目标用户覆盖AI应用开发者、后端架构师、SRE运维工程师等群体，适用于生成式AI应用上线部署、多模型服务调度优化、大模型应用可观测性建设等场景，支持快速部署与无侵入式升级，无需对现有业务代码做大量改造即可接入使用。

主要功能

  • 提示词治理：用户可通过配置规则实现提示词的预处理、校验、过滤等操作，支持设置敏感词拦截、格式标准化、参数补全等逻辑，当请求经过网关时会自动执行对应规则，可减少大模型的无效请求，同时降低不符合规范的输入对后续生成结果的影响，也支持自定义提示词模板注入，统一不同业务端的请求格式。
  • 多模型流量路由：支持对接多家主流大语言模型服务，用户可配置基于请求内容、QPS阈值、模型响应优先级等维度的路由规则，网关会自动将请求分发到适配的模型服务节点，也支持配置权重分流、灰度测试策略，方便开发者对比不同模型的调用效果，同时实现流量负载均衡避免单点服务过载。
  • 全链路可观测：自动采集每一次大模型调用的请求参数、响应时长、Token消耗、返回状态等全链路数据，支持对接Prometheus、Grafana等主流监控工具生成可视化看板，也提供端到端追踪能力，可定位请求过程中各个节点的耗时与异常点，帮助开发者快速排查调用故障，优化服务响应效率。
  • 边缘网关部署：支持作为前端边缘网关部署在业务应用与后端服务之间，可处理跨域请求、身份认证、速率限制等常规网关需求，同时内置GenAI场景专属的请求优化逻辑，无需额外部署多套网关组件即可覆盖常规流量治理与AI场景特殊需求，简化整体服务架构的复杂度。
  • 跨语言适配：基于Envoy架构设计，本身与上层应用的开发语言解耦，无论业务应用使用Python、Java、Go、Node.js等任何语言开发，都可以通过标准的HTTP/gRPC协议对接网关，无需引入特定语言的SDK，降低不同技术栈团队的接入成本，适配多样化的业务开发环境。
  • 快速部署升级：提供容器化部署镜像与Kubernetes编排模板，用户可通过少量配置即可完成网关的上线部署，升级过程支持热更新，无需重启服务即可完成规则配置调整与版本迭代，不会影响线上业务的正常运行，降低运维过程中的服务中断风险。

怎么使用

  1. 第一步，访问Archgw官网获取部署资源，可选择下载容器镜像或K8s编排文件，根据自身业务部署环境选择对应的部署方案，完成基础的环境准备与资源配置。第二步，完成网关的基础部署后，访问网关的配置后台，添加需要对接的大语言模型服务地址与认证信息，配置服务的基础调用参数与超时规则。第三步，根据业务需求配置提示词治理规则，包括敏感词过滤规则、提示词模板、参数校验逻辑等，也可配置多模型的路由分发策略与分流权重。第四步，将原有业务应用中的大模型调用地址修改为Archgw网关地址，无需修改其他业务逻辑，完成对接后可先进行小流量测试验证调用链路是否正常。第五步，配置监控与告警规则，对接自身常用的监控系统，查看调用数据看板，后续可根据运行数据持续调整路由与治理规则，优化整体服务表现。

适合什么人群

  • AI应用开发者(开发GenAI应用时对接多模型服务)
  • 后端架构师(设计生成式AI应用的整体服务架构)
  • SRE运维工程师(运维大模型相关的线上服务集群)
  • 大模型产品经理(测试不同大模型的业务适配效果)
  • 企业技术负责人(搭建企业级大模型服务网关)
  • 信息安全工程师(管控大模型请求的输入输出合规性)

总结

这款开源网关产品专门针对生成式AI应用的开发与运维场景设计，区别于传统的API网关，它在常规流量治理能力之外，新增了大量针对大语言模型调用场景的专属功能，比如提示词层面的治理、多模型服务的智能调度、Token消耗统计等AI场景刚需能力。基于成熟的Envoy架构构建，在稳定性和性能上有成熟的技术底座支撑，同时支持跨语言适配，不同技术栈的团队都可以低门槛接入。对于正在开发生成式AI应用的团队而言，它可以减少大量重复的中间层开发工作，不需要单独开发提示词处理、多模型调度、调用监控等通用组件，直接通过网关配置即可实现相关能力，同时支持快速部署和无侵入升级，不会对现有业务架构造成大的改动，适合不同规模的AI应用项目使用。

价格与免费额度

Archgw本身为完全开源的项目，核心功能全部免费开放使用，没有功能与调用量限制，用户可以自行下载部署源码或镜像，适用于所有规模的团队与个人开发者使用。目前官方没有推出商业化付费版本，仅提供社区化的技术支持，用户遇到问题可以通过GitHub仓库的Issue、社区讨论组寻求解决方案。如果企业有定制化开发、专属技术支持的需求，可以联系官方团队沟通定制服务，相关费用根据需求的复杂度单独评估。

优点与不足

优点

  • 针对GenAI场景做了专属功能设计，覆盖提示词治理、多模型路由等AI场景专属需求
  • 基于Envoy构建，稳定性经过大量生产环境验证，性能表现符合高并发调用要求
  • 支持跨语言适配，无需特定语言SDK，不同技术栈的业务系统都可以便捷对接
  • 支持热更新配置与升级，调整规则或版本迭代时无需重启服务，不影响线上业务

不足

  • 目前相关的中文文档资源较少，国内用户上手时需要查阅较多英文资料
  • 图形化配置界面的功能还不够完善，复杂规则需要通过编写配置文件实现
  • 对于小众的大模型服务需要手动添加适配，没有内置所有模型的默认对接配置

能帮你做的 8 件事

  1. 01提示词治理
  2. 02多模型流量路由
  3. 03全链路可观测
  4. 04边缘网关部署
  5. 05开源网关场景的常用方案
  6. 06LLM网关场景的常用方案
  7. 07AI应用开发者(开发GenAI应用时对接多模型服的日常效率工具
  8. 08零成本体验完整核心功能

更新历史

  • Archgw 收录进 Toolifai 目录
  • 页面资料核验与信息更新

常见问题

Archgw和传统API网关的区别是什么？

传统API网关主要聚焦通用的API流量治理，比如身份认证、速率限制、路由转发、负载均衡等能力，没有针对大语言模型调用场景做专属适配。而Archgw在具备常规网关能力的基础上，新增了大量GenAI场景的专属功能，比如提示词的预处理、校验、模板注入，大模型调用的Token消耗统计、多模型智能路由、基于请求内容的分流策略，以及大模型调用全链路的可观测性能力，这些都是传统API网关不具备的功能，更适合生成式AI应用的使用场景。

有帮助吗

部署Archgw需要对现有业务代码做大量改造吗？

不需要对现有业务代码做大量改造，Archgw作为中间层网关部署，用户只需要将原有业务代码中的大模型调用地址修改为Archgw的网关地址，同时在网关中配置好对应的大模型服务信息与规则即可，原有业务的调用逻辑、参数格式都不需要调整。如果需要使用提示词模板注入、响应后处理等进阶功能，也只需要在网关侧配置规则，不需要修改业务代码，整体接入成本较低，对现有业务的侵入性很小。

有帮助吗

Archgw支持对接哪些大语言模型服务？

Archgw原生支持对接OpenAI、Anthropic、谷歌Gemini、百度文心一言、阿里通义千问、腾讯混元等主流商用大模型服务，同时也支持对接开源大模型的部署服务，比如基于vLLM、Ollama、Text Generation Inference等部署的开源模型服务。对于不被默认支持的小众大模型服务，用户也可以通过自定义请求/响应转换规则来实现对接，只需要在配置中定义好请求格式转换、响应解析的逻辑即可适配。

有帮助吗

Archgw的性能表现如何，能支撑高并发场景吗？

Archgw基于Envoy架构构建，Envoy本身是经过大量互联网企业生产环境验证的高性能代理服务，具备支撑高并发流量的能力，Archgw在其基础上新增的AI场景相关处理逻辑都做了性能优化，常规的提示词处理、路由转发操作的延迟都在毫秒级，不会对大模型调用的整体响应速度造成明显影响。对于高并发的大模型调用场景，用户也可以通过集群部署的方式扩展Archgw的处理能力，支撑更大规模的请求量，符合企业级生产环境的性能要求。

有帮助吗

可以基于Archgw做二次开发吗？

可以，Archgw是完全开源的项目，代码托管在GitHub上，采用宽松的开源许可协议，允许用户基于源码进行二次开发，添加自定义的功能模块。用户可以根据自身的业务需求，开发专属的提示词处理规则、自定义路由策略、特殊系统的对接插件等，修改后的代码可以自行部署使用，也可以向官方仓库提交PR，贡献通用的功能模块，社区会根据功能的通用性评估是否合并到主版本中。

有帮助吗

Archgw支持哪些部署方式？

Archgw支持多种部署方式，个人开发者或小规模测试场景可以直接使用Docker容器启动，只需要拉取官方提供的镜像，挂载配置文件即可快速启动。生产环境可以使用Kubernetes进行部署，官方提供了Helm Chart模板，用户可以直接通过Helm命令一键部署，支持配置副本数、资源限制、挂载存储等参数，也可以和现有的K8s生态组件对接。除此之外，也支持部署在虚拟机、物理服务器上，或者作为Sidecar容器和业务应用同Pod部署，适配不同的基础设施环境。

有帮助吗

开始使用 Archgw

从官方入口了解最新功能与使用方式。

前往官网

由 Toolifai 编辑维护

欢迎产品方补充截图、功能介绍与官方资料。更新和纠错由编辑审核后发布。

参考来源官方产品介绍最近核验
提交资料更新邮件反馈

大家对 Archgw 的点评

加载中…

写点评

每周三，一封 AI 工具周刊

编辑精选本周值得试的新工具与真实用法，5 分钟读完，已连续更新 5 期。

每周一封，随时可退订。往期内容见AI 工具周刊归档。

同类替代工具

火山引擎

Volcano Engine是字节跳动推出的云服务平台，依托字节跳动的技术沉淀为不同规模的企业提供可扩展的计算、存储、网络类云服务解决方案。平台核心功能涵盖弹性计算资源调度、分布式对象存储、全球加速网络部署三类核心服务，同时配套提供大数据分析、人工智能模型部署、安全防护等多类衍生能力。目标用户覆盖互联网企业、传统数字化转型企业、人工智能研发团队、内容创作平台、跨境贸易企业等群体，可满足企业业务上线部署、数据存储备份、大流量业务并发支撑、AI模型训练推理、跨境业务访问加速等多类场景需求。

#云服务平台#弹性计算#对象存储
对比

硅基流动

硅基流动是国内专注于AI模型推理与部署服务的云平台，核心定位为开发者及企业提供低门槛、高性价比的大模型运行支撑服务。平台支持海量开源大模型的在线调用与私有化部署，提供稳定的高并发推理接口，同时配套一站式开发工具链降低AI应用搭建成本，目标用户覆盖AI开发者、企业技术团队、科研机构研究人员等，可应用于AI应用原型开发、企业级AI服务部署、大模型技术研究验证、行业AI解决方案落地等多个场景，帮助用户减少底层算力运维投入，专注于上层AI业务逻辑开发。

#AI推理服务#大模型API#模型私有化部署
对比

京东人工智能开放平台

京东人工智能开放平台NeuHub是京东推出的人工智能技术开放服务平台，核心定位是将京东沉淀的AI技术能力输出给不同领域的用户，助力各行业实现智能化升级。平台核心功能包括多模态AI能力调用、AI开发全流程工具支持、行业解决方案供给，用户可根据自身需求快速接入成熟的AI技术，无需从零开展技术研发。目标用户覆盖企业技术开发人员、传统行业运营管理者、AI领域创业者、高校科研人员等，适用于企业业务智能化改造、AI应用快速落地、科研项目技术验证、行业数字化升级等多个场景。

#AI开放平台#人工智能服务#AI开发工具
对比

百度飞桨AI Studio

百度飞桨AI Studio是基于百度飞桨深度学习框架打造的人工智能开发者开放服务平台，集学习资源、开发工具、算力支持、交流社区于一体。平台提供免费的云端GPU算力，覆盖从AI入门到进阶研发的全体系课程，还支持开发者在线完成模型训练、项目开发、成果部署等操作。面向学生、AI从业者、算法工程师等群体，可满足课程学习、实训作业完成、算法竞赛参赛、个人AI项目研发、企业技术预研等多种场景需求，同时支持开发者分享项目经验、参与社区交流，推动AI技术的落地实践与知识传播。

#AI开发平台#免费GPU算力#AI学习平台
对比

更多同类选择见AI开发者工具分类页，按分类整理全部替代方案与两两对比。

热门对比

Archgw vs 火山引擎Archgw vs 硅基流动Archgw vs 京东人工智能开放平台Archgw 的替代品

大家还在搜

开源网关工具LLM网关工具提示词治理工具多模型调度工具GenAI开发工具可观测性工具

推荐产品

推广
通义千问通义千问是阿里巴巴推出的大语言模型，核心定位是面向多场景的智能交互与内容生成工具。它支持文本内容创作与润色，可根据用户需求生成不同风格的文案、报告、脚本等内容，也能对现有文本进行优化调整；具备多模态理解能力，可识别图片、音频等多类型输入内容并给出对应的分析结果；同时提供开放的调用接口，支持开发者接入到自有产品中实现功能拓展。目标用户覆盖普通互联网用户、内容创作者、企业办公人员、技术开发者等群体，可用于日常信息查询、内容产出、办公效率提升、个性化产品开发等多个场景。作业帮作业帮是面向K12阶段学生、家长及教育从业者的在线学习服务平台，成立于2015年，依托人工智能技术将智能辅导与学习工具结合。核心功能包括拍照搜题解析、同步学科知识点练习、多形式在线辅导课程，可满足学生日常作业答疑、薄弱项巩固、课后提升等需求，也为家长提供作业检查、学情追踪等实用工具，帮助用户合理规划学习路径，提升学习效率。小艺小艺是华为推出的云端智能助手网站，集成自然语言处理与深度学习技术，为用户提供多场景智能交互服务。核心功能包含多模态内容创作、多语言翻译、编程辅助、知识查询、生活服务咨询等，适配办公、学习、日常使用等多个场景，面向华为生态用户、职场人士、学生群体、编程爱好者等不同人群，可帮助用户高效处理信息查询、内容产出、问题解答等各类需求，同时与华为多设备生态形成联动，为用户带来统一的智能服务体验。MarvisMarvis是腾讯基于混元大模型打造的AI智能助手，核心定位是为用户提供多场景的智能化辅助服务。其核心功能包括自然语言对话问答，可快速解答各领域常识、专业问题；支持多类型内容创作，能生成文案、报告、创意方案等内容；可实现文档深度分析，支持上传PDF、Word等格式文档并提取关键信息、解答文档相关问题。目标用户覆盖办公人群、学生群体、内容创作者、开发者等，可用于日常办公效率提升、学习知识查询、内容产出辅助、代码开发调试等多种场景。腾讯文档Ardot是腾讯推出的多功能AI助手产品，核心定位是为用户提供覆盖内容创作、视觉设计、互动咨询等场景的智能化服务，帮助用户优化数字化工作流程。其核心功能包括多模态内容生成、智能图像创作、多轮互动对话等，支持用户快速产出文案、海报、插画等各类数字内容。目标用户覆盖内容创作者、设计从业者、办公人群、学生群体等，可应用于日常文案撰写、营销物料制作、知识查询、创意灵感发散等多种场景，帮助用户降低内容产出的时间成本，提升创作与办公的效率。ChatGPTChatGPT是由OpenAI开发的AI对话类工具，搭载GPT-4o、o1等多款模型，具备多模态交互、多场景内容生成、专业领域辅助等核心能力。面向职场人士、学生、创作者、开发者等多类群体，可支持日常办公信息梳理、作业思路拓展、创意内容产出、开发代码调试等多种场景，帮助用户提升信息处理与内容产出的效率，满足不同领域用户的多样化AI使用需求。阿里云 (Aliyun)阿里云是阿里巴巴集团旗下的云计算服务提供商，为不同规模的企业、开发者和机构提供覆盖基础设施、数据智能、企业应用等多个领域的云服务产品。核心功能涵盖云服务器部署、云数据库管理、对象存储服务、人工智能开发平台以及内容分发网络加速等。目标用户包括互联网创业企业、传统行业转型企业、个人开发者、科研机构、电商平台和游戏厂商等，可应用于网站搭建、大数据存储分析、AI模型训练、线上业务扩容、业务容灾备份等多种场景。Feishu Smart NotesFeishu Smart Notes是字节跳动旗下飞书套件内的智能文档与会议记录辅助工具，核心定位为面向团队协作的智能化办公内容处理工具。核心功能包含AI驱动的会议内容实时转写与要点提炼、文档内容智能生成与润色、多模态内容的结构化整理三类，支持团队成员实时协同编辑内容，适配跨部门项目同步、远程会议记录留存、日常办公文档撰写等多类办公场景，主要面向企业办公人员、项目管理者、内容创作者、高校科研团队等用户群体，帮助降低办公内容处理的人力成本，提升团队信息流转的效率。通义灵码通义灵码是阿里云推出的AI编程辅助工具，依托通义大模型技术能力，为开发者提供全流程编程效率提升服务。核心功能包括智能代码补全、自然语言转代码、代码缺陷检测与优化、交互式编程问答等，可对接多款主流IDE环境，适配多种常见编程语言。面向各类软件开发从业者、计算机相关专业学生、编程爱好者等群体，适用于日常业务功能开发、代码调试排错、技术方案选型参考、编程学习入门等多种场景，帮助用户减少重复编码工作量，降低代码出错概率。百度AIBaidu AI是百度推出的智能对话交互平台，核心定位为结合搜索能力与生成式技术的AI助手。平台支持多轮对话交互，可实现信息检索整合、内容创作辅助、多模态内容生成等核心功能，面向学生、职场人士、内容创作者、科研人员等群体，可满足日常信息查询、工作报告撰写、学习资料整理、创意灵感产出等多场景使用需求，无需复杂配置即可通过网页端直接访问使用。