“推理成本优化”。

MInference 1.0

MInference 1.0 是面向长上下文大型语言模型优化的稀疏计算方案，核心定位为提升长序列处理预填充阶段的运行效率。其核心功能包括长上下文注意力模式识别、动态稀疏注意力计算、百万级Token提示加速、检索能力保留适配、多模型框架兼容。目标用户覆盖大模型研发人员、自然语言处理研究者、长文本应用开发者、AI系统优化工程师等群体，可应用于百万Token级长文档解析、多轮对话上下文预处理、长文档检索