买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉北京赛思信安技术股份有限公司申请的专利一种应用于加密流量分类的ALBERT模型的改进方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116975714B 。

龙图腾网通过国家知识产权局官网在2026-05-08发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310928748.7，技术领域涉及：G06F18/241；该发明授权一种应用于加密流量分类的ALBERT模型的改进方法是由牛松鹏;董建武;索帅;蔡荣华;刘刚设计研发完成，并于2023-07-27向国家知识产权局提交的专利申请。

本一种应用于加密流量分类的ALBERT模型的改进方法在说明书摘要公布了：本发明公开了一种应用于加密流量分类的ALBERT模型的改进方法，属于网络加密流量分类领域。首先捕获一个网络流量数据包，经过预处理后，转化为ALBERT模型需要的标准输入格式。对ALBERT模型中Self‑Attention层和FFN层进行改进，得到改进后的ALBERT模型。利用ALBERT模型的标准输入，通过MLM方法，对改进后的ALBERT模型进行无监督预训练；当无监督预训练完成后，使用类别标签数据微调模型，并去除mask遮蔽层，保存最终的ALBERT模型。本发明能够有效减小资源损耗，保持稳定的准确率，应用前景更广泛。

本发明授权一种应用于加密流量分类的ALBERT模型的改进方法在权利要求书中公布了：1.一种应用于加密流量分类的ALBERT模型的改进方法，其特征在于，具体步骤如下： 步骤一，捕获网络流量数据包，经过预处理后，转化为ALBERT模型需要的标准输入格式，作为训练集； 网络流量数据包的预处理过程为： 首先，解析网络流量数据包，从其中提取SSL握手数据和传输数据； 然后，去除SSL握手数据和传输数据中的以太网头、IP和TCP端口信息，再按16进制把每个比特值转化为对应的双字符，产生两个字符串，分别记为A,B； 最后，A,B分别以4个字符从左向右划分成段，生成两个字符序列，并进行组合，判断组合后的字符序列长度是否满足ALBERT的标准输入长度s，当长度不足s时，在其后补零；当长度大于s时，逐步去除A,B中较长序列的末尾字符串，直到满足条件； A,B两个字符序列分别为： ， 转化的ALBERT标准输入如下： 其中； 步骤二，对ALBERT模型中Self-Attention层和FFN层进行改进，得到改进后的ALBERT模型； Self-Attention层是token之间的相互自注意层，其改进是在注意力矩阵中添加mask遮蔽层；所述的mask遮蔽层的作用在于遮蔽SSL握手部分或遮蔽文件数据传输部分，使除被遮蔽部分外的其他部分关注到全局token； FFN层的改进是减少原始FFN某一层的神经网络输出节点数目，然后添加一个新的神经网络；新的神经网络以减少后的输出节点数目作为输入，输出的节点数目为减少了的节点个数，最后将这个新的神经网络的输入和输出节点拼接在一起，组成和原始FFN相同的输出大小； 步骤三，采用MLM方法，利用训练集对改进后的ALBERT模型进行无监督预训练； MLM是指maskedlanguagemodeling，掩蔽语言建模； 无监督预训练的具体过程为： 步骤301，将标准输入格式的训练集数据输入到改进后的ALBERT模型中； 步骤302，以10%的概率，使用任意token随机替换模型输入中的某些token，并把原始token作为预测标签； 步骤303，采用MLM方法进行前馈运算，使用交叉熵计算替换处token的模型输出和预测标签之间的差异； 步骤304，结合模型输出与预测标签的差异，通过反馈调节来优化模型参数，并判断是否满足训练停止条件，若否，则返回步骤302继续训练，直至满足训练停止条件；若是，则模型无监督预训练完成； 训练停止条件为： 全部训练数据依次输入ALBERT后，即完成一轮模型训练，计数加1，当计数的值大于预设的批次时，便达到了停止条件，终止训练； 步骤四，当无监督预训练完成后，使用类别标签数据微调模型后，去除mask遮蔽层，并保存最终的ALBERT模型。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人北京赛思信安技术股份有限公司，其通讯地址为：100125 北京市朝阳区霞光里5号瑞普电子大厦二层；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。