买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉北京世纪好未来教育科技有限公司申请的专利基于投机采样的大模型推理加速方法、装置、设备及介质获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN121480743B 。

龙图腾网通过国家知识产权局官网在2026-04-28发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202610030514.4，技术领域涉及：G06N5/04；该发明授权基于投机采样的大模型推理加速方法、装置、设备及介质是由白杨;刘子韬设计研发完成，并于2026-01-09向国家知识产权局提交的专利申请。

本基于投机采样的大模型推理加速方法、装置、设备及介质在说明书摘要公布了：本申请提供一种基于投机采样的大模型推理加速方法、装置、设备及介质，该方法通过构建一个轻量级、自适应融合的双阶N‑Gram草稿模型框架，利用高阶N‑Gram模型捕捉局部上下文中的长序列依赖模式，同时借助低阶N‑Gram模型提供鲁棒的概率先验以缓解数据稀疏问题，在此基础上基于上下文语义强度感知动态确定插值权重，利用该插值权重对高阶与低阶N‑Gram模型各自输出的概率分布进行动态加权融合，有效结合高阶与低阶N‑Gram模型的互补优势生成混合概率分布，以利用该混合概率分布生成候选词元序列，避免了单一模型因阶数设定不当所引发的预测偏差，在保持极低计算开销和存储需求的同时，提升候选序列的语义合理性与验证通过率，实现大模型推理加速。

本发明授权基于投机采样的大模型推理加速方法、装置、设备及介质在权利要求书中公布了：1.一种基于投机采样的大模型推理加速方法，其特征在于，所述方法包括： 获得高阶N-Gram模型基于词汇表和输入的第一上下文所输出的第一概率分布，该第一概率分布包括所述词汇表中各词元作为所述第一上下文的下一个位置上的词元的概率；所述第一上下文包括K个词元，K+1为所述高阶N-Gram模型的阶数； 获得低阶N-Gram模型基于所述词汇表和输入的第二上下文所输出的第二概率分布，该第二概率分布包括该词汇表中各词元作为所述第二上下文的下一个位置上的词元的概率；所述第二上下文包括M个词元，M+1为所述低阶N-Gram模型的阶数，M小于K；所述第一上下文的下一个位置和所述第二上下文的下一个位置为同一位置； 基于所述第一上下文对应的文本向量获得插值权重，并基于该插值权重对所述第一概率分布与所述第二概率分布进行插值运算，得到混合概率分布，并按照设定的投机采样策略，基于所述混合概率分布确定所述位置上的目标词元； 若当前需要进行词元验证，则将所述位置上的目标词元以及所述位置之前的前L个位置上预测的目标词元提交至大模型，否则基于所述位置上的目标词元更新所述第一上下文与所述第二上下文并返回至获得所述第一概率分布与所述第二概率分布的步骤。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人北京世纪好未来教育科技有限公司，其通讯地址为：102200 北京市昌平区七辛中街9号院1号楼；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。