买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉北京世纪好未来教育科技有限公司申请的专利投机采样推理加速方法、装置及电子设备获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN121503699B 。

龙图腾网通过国家知识产权局官网在2026-04-28发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202610030517.8，技术领域涉及：G06N5/04；该发明授权投机采样推理加速方法、装置及电子设备是由白杨;刘子韬;程宇航设计研发完成，并于2026-01-09向国家知识产权局提交的专利申请。

本投机采样推理加速方法、装置及电子设备在说明书摘要公布了：本申请提供了投机采样推理加速方法、装置及电子设备。本申请中，由小模型和大模型配合进行投机采样，避免因为内存访问的带宽瓶颈延迟大语言模型在自回归解码阶段生成token的时间。进一步地，本实施例中小模型基于候选路径中各被预测出的token的预测概率、该候选路径的置信度、以及该候选路径的长度这几个维度来评估候选路径的路径综合潜力值，以基于各候选路径的路径综合潜力值来生成候选路径序列，这能够提升候选路径序列被大模型接受的接受率。

本发明授权投机采样推理加速方法、装置及电子设备在权利要求书中公布了：1.一种用于文本生成的投机采样推理加速方法，其特征在于，该方法应用于投机采样场景中，该方法包括： 获得小模型基于用户输入生成的候选路径序列；所述候选路径序列表示所述用户输入中最后一词之后可能的词；所述候选路径序列中各候选路径为满足路径综合潜力值要求的路径；所述路径综合潜力值要求用于使所述小模型预测出的所述候选路径序列中的token被大模型接受，任一候选路径的路径综合潜力值至少基于该候选路径中由所述小模型预测出的各token的预测概率、该候选路径的置信度、以及该候选路径的长度确定； 确定所述候选路径序列中各候选路径的奖励参数；任一候选路径的奖励参数基于该候选路径的基础奖励值、多样性奖励值和探索奖励值确定；其中，任一候选路径的基础奖励值是基于大模型对该候选路径的接受情况确定，任一候选路径的多样性奖励值基于该候选路径与已有历史路径的差异确定，任一候选路径的探索奖励值基于该候选路径在已有历史路径中出现的频次以及该候选路径的潜在价值确定，任一候选路径的潜在价值基于所述小模型输出的该候选路径中各token的预测概率确定； 基于所述候选路径序列中各候选路径、以及各候选路径的奖励参数更新所述小模型；若小模型未满足最优条件，则在再次接收到用户输入时，返回获得所述获得小模型用于基于用户输入生成候选路径序列，直至小模型满足最优条件。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人北京世纪好未来教育科技有限公司，其通讯地址为：102200 北京市昌平区七辛中街9号院1号楼；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。