憨猴科技集团有限公司张倩获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉憨猴科技集团有限公司申请的专利大模型服务的灰度发布与流量控制方法及装置获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN121547403B 。
龙图腾网通过国家知识产权局官网在2026-05-01发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202610064160.5,技术领域涉及:H04L47/20;该发明授权大模型服务的灰度发布与流量控制方法及装置是由张倩;赵宝华;詹瑜芬;葛师尧设计研发完成,并于2026-01-19向国家知识产权局提交的专利申请。
本大模型服务的灰度发布与流量控制方法及装置在说明书摘要公布了:本申请实施例提供一种大模型服务的灰度发布与流量控制方法及装置,通过创新性地设计版本评估体系,通过指标分析和稳定性评分,实现状态的有效监控。构建流量控制机制,结合路由决策和资源调度,建立可靠的发布策略。引入自适应调整,通过状态监控和规则优化,确保发布的平稳性。该方法有效解决了传统技术在版本评估、流量控制和动态调整等方面的不足,为大模型服务提供了技术保障。
本发明授权大模型服务的灰度发布与流量控制方法及装置在权利要求书中公布了:1.一种大模型服务的灰度发布与流量控制方法,其特征在于,所述方法包括: 采集模型服务组的运行指标数据,包含请求成功率、平均推理时延、业务转化指标、模型输出分布特征、流量波动模式,建立包含多个版本的模型服务组,每个版本包含模型权重文件路径、推理容器配置信息、计算资源配额,基于所述运行指标数据,通过计算指标均值、方差、趋势斜率、突变点位置来构建包含多维评估特征的状态矩阵,并对所述状态矩阵进行归一化处理以生成版本状态评估矩阵,根据所述版本状态评估矩阵计算版本稳定性得分,对所述流量波动模式采用密度聚类算法进行聚类分析生成异常流量特征库; 基于所述版本稳定性得分构建归一化权重向量并进行平滑处理,以此为模型服务组内的多个版本分配初始流量权重,生成包含版本标识、权重数值、会话保持规则的路由决策表,构建版本间计算资源调度策略,根据所述计算资源调度策略动态分配推理节点,为每个版本动态分配推理节点,生成节点分配映射表,计算版本选择概率,生成包含版本分配序列、资源配置参数、自适应调节规则的灰度发布方案,将所述异常流量特征库用于筛选异常请求并进行流量限制; 将所述灰度发布方案下发至推理服务网关,监控版本运行状态,生成包含请求量变化、错误率统计、性能波动数据、资源利用率的运行日志,基于所述运行日志分析版本间负载分布并触发资源再平衡,根据所述自适应调节规则对灰度比例进行动态调整,当触发回滚条件时将流量切换至稳定版本并更新路由决策表,记录版本状态变更信息。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人憨猴科技集团有限公司,其通讯地址为:100000 北京市丰台区南四环西路186号四区4号楼8层15室;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励