Toolifai logo

TensorRT-LLM 工具

共收录 1 款与「TensorRT-LLM」相关的 AI 工具，按站内热度排序。

ReDrafterReDrafter是苹果机器学习研究团队联合NVIDIA推出的大语言模型推理加速技术公开页面，核心定位是为机器学习开发者提供基于推测性解码的LLM推理提速方案。核心功能包括RNN草稿模型与动态树注意力机制的技术落地、NVIDIA TensorRT-LLM框架原生集成支持、不同GPU环境下的推理性能实测数据展示。目标用户覆盖从事大语言模型部署的算法工程师、AI应用开发人员、机器学习框架优化从业者，可用于云端LLM服务降本、端侧LLM推理提速、GPU资源密集型AI项目能耗优化等场景，帮助开发者在不损失生成质量的前提下提升LLM运行效率。