一种神经网络模型的训练方法

本复审请求涉及申请号为202010396685.1，名称为“一种神经网络模型的训练方法”的专利申请（下称本申请）。申请人为哈尔滨工程大学。 经审查，国家知识产权局实质审查部门于2022年07月25日发出驳回决定，驳回了本申请，其理由是本申请权利要求1-5不符合专利法第二条第二款的规定，不属于专利法保护的客体。 驳回决定所针对的权利要求书如下： “1.一种神经网络模型的训练方法，其特征在于，所述方法包括： S11、将图像的训练集输入到神经网络模型中进行训练，获取当前神经网络模型的参数，回归模型根据当前神经网络模型参数的数值拟合出下一步的梯度； 所述回归模型的获取方法为： 使用神经网络模型在所述训练集的相似图像数据集上进行训练时记录的神经网络模型参数矩阵和梯度矩阵构成先验知识，利用回归模型构建神经网络模型参数和梯度之间的关系； S12、根据S11拟合出的梯度更新神经网络模型的参数。 2.根据权利要求1所述的神经网络模型的训练方法，其特征在于， 所述回归模型的训练数据为神经网络模型的卷积层在正向传播过程中由权值、偏置与梯度组成的数据库， 根据数据库在神经网络模型的每一个卷积层上分别构建两个回归模型，两个回归模型分别表示权值参数和偏置参数与梯度之间的关系。 3.一种神经网络模型的训练方法，其特征在于，所述方法包括： S21、采用两种梯度获取方法交叉调用的方式，获取下一步梯度； 两种梯度获取方法分别为梯度下降算法和权利要求1或2中的S11； S22、根据S21获取的梯度更新神经网络模型的参数。 4.根据权利要求3所述的神经网络模型的训练方法，其特征在于，所述S21中，通过设定转换两种获取梯度方法的阈值，实现交叉调用。 5.根据权利要求4所述的神经网络模型的训练方法，其特征在于，所述阈值为神经网络模型训练中两次迭代之间分类正确率的增幅。”申请人（下称复审请求人）对上述驳回决定不服，于2022年11月08日向国家知识产权局提出复审请求， 同时修改了权利要求书和说明书，其所作的修改主要包括：将权利要求书及说明书中的“一种神经网络模型的训练方法”修改为“一种基于神经网络模型的图像分类方法”，以及在权利要求1、3中增加步骤“利用神经网络模型进行图像分类”。复审请求人认为：修改后的权利要求1-5体现了对图像数据的处理，将算法与图像特征进行技术上的关联处理，上述手段与具体的领域紧密结合，采用符合自然规律的技术手段形成一个专利法意义上的技术方案。复审请求时新修改的权利要求书如下： “1.一种基于神经网络模型的图像分类方法，其特征在于，所述方法包括： S11、将图像的训练集输入到神经网络模型中进行训练，获取当前神经网络模型的参数，回归模型根据当前神经网络模型参数的数值拟合出下一步的梯度； 所述回归模型的获取方法为： 使用神经网络模型在所述训练集的相似图像数据集上进行训练时记录的神经网络模型参数矩阵和梯度矩阵构成先验知识，利用回归模型构建神经网络模型参数和梯度之间的关系； S12、根据S11拟合出的梯度更新神经网络模型的参数； S13、利用神经网络模型进行图像分类。 2.根据权利要求1所述的基于神经网络模型的图像分类方法，其特征在于， 所述回归模型的训练数据为神经网络模型的卷积层在正向传播过程中由权值、偏置与梯度组成的数据库， 根据数据库在神经网络模型的每一个卷积层上分别构建两个回归模型，两个回归模型分别表示权值参数和偏置参数与梯度之间的关系。 3.一种基于神经网络模型的图像分类方法，其特征在于，所述方法包括： S21、采用两种梯度获取方法交叉调用的方式，获取下一步梯度； 两种梯度获取方法分别为梯度下降算法和权利要求1或2中的S11； S22、根据S21获取的梯度更新神经网络模型的参数； S23、利用神经网络模型进行图像分类。 4.根据权利要求3所述的基于神经网络模型的图像分类方法，其特征在于，所述S21中，通过设定转换两种获取梯度方法的阈值，实现交叉调用。 5.根据权利要求4所述的基于神经网络模型的图像分类方法，其特征在于，所述阈值为神经网络模型训练中两次迭代之间分类正确率的增幅。”经形式审查合格，国家知识产权局于2022年11月15日依法受理该复审请求，并对其进行前置审查。 前置审查意见坚持驳回决定。 国家知识产权局成立合议组对本案进行审理。 合议组对所审查的案件依职权进行审查，并于2025年11月27日向复审请求人发出复审通知书，指出： 本申请的说明书未对发明作出清楚、完整的说明，致使所属技术领域的技术人员不能实现该发明，因此不符合专利法第二十六条第三款的规定，并且修改后的权利要求1-5仍未克服驳回决定所指出的不属于专利法保护客体的缺陷。 复审请求人于2025年12月26日提交意见陈述书，陈述了本申请说明书符合专利法第二十六条第三款规定，以及权利要求1-5属于专利法保护客体的理由，未修改申请文件。 在上述程序的基础上，合议组认为本案事实已经清楚，可以作出审查决定。

1、审查文本的认定复审请求人仅在提出复审请求时提交了修改的权利要求书和说明书。因此，本复审请求审查决定所针对的文本同复审通知书，为：申请日2020年05月11日提交的说明书附图、说明书摘要以及摘要附图，2022年11月08日提交的权利要求第1-5项以及说明书第1-6页。 2、专利法第二十六条第三款专利法第二十六条第三款规定：说明书应当对发明或者实用新型作出清楚、完整的说明，以所属技术领域的技术人员能够实现为准；必要的时候，应当有附图。摘要应当简要说明发明或者实用新型的技术要点。 本申请涉及神经网络模型的训练方法。现有技术中，神经网络模型通常由多层互联的神经元构成，每个神经元有对应的参数即权重和偏置。模型训练的目标是找到一组最优的权重和偏置，使得网络对于训练数据的预测误差最小。以图像训练过程为例，将图像转为特征向量或特征矩阵输入模型，其特征值与神经元的权重和偏置共同计算后输入下一层神经元，如此逐层计算直至模型获得输出值；随即通过损失函数来计算模型的输出值与实际值之间的差值（即正向传播）。然后，通过链式法则从输出层开始反向逐层计算损失函数相对于每一个神经元参数的梯度（即反向传播），最后通过优化器根据当前神经元对应的梯度值更新该神经元的权重和偏置。如此循环迭代直至模型满足训练结束的条件。 为提升模型的训练速度，本申请说明书提出一种基于先验知识的优化方法，将先验知识应用到了神经网络训练过程中（参见说明书第25段），屏蔽梯度下降算法的正向与反向传播过程，只保留梯度更新过程，而其梯度是回归模型根据当前神经网络的参数矩阵拟合得到（参见说明书第28段），其中该回归模型已经预先基于相似图像数据集上的训练记录（即先验知识）对模型参数与梯度之间的关系进行了构建。 合议组认为：本申请的说明书未对发明作出清楚、完整的说明，致使所属技术领域的技术人员不能实现该发明，不符合专利法第二十六条第三款的规定。具体理由如下： 2.1、本申请说明书第27段记载：“使用神经网络模型在训练集的相似数据集上进行训练时记录的参数矩阵和梯度矩阵构成先验知识”，即本申请中“相似数据集”是构建先验知识、训练回归模型的基础，数据集的相似程度与先验知识对当前模型训练过程是否有指导价值相关。然而，本申请并未对相似数据集给出明确的定义，本领域技术人员不能确定何种数据集属于相似数据集，不能确定数据集达到何种相似程度则足以使得基于先验知识拟合出的梯度值在当前模型训练中是有效的。因而，“相似数据集”含义及相关实施例的缺失使得本领域技术人员无法为特定的目标训练集选择合适的源数据集，以实现基于先验知识的有效训练。 2.2、本申请说明书仅提及利用回归模型构建神经网络参数和梯度之间的关系，但未给出足以使本领域技术人员能够实施的技术手段。 首先，神经网络的训练过程是一个极其复杂的非线性动态系统寻找最优解的过程，梯度受到当前节点参数、其他节点参数、输入数据、损失函数、反向计算过程甚至随机性等多重因素的影响。由于随机初始化、 数据输入顺序、Dropout等随机因素的存在，通常即使采用完全相同的数据集对完全相同的网络结构进行训练时，模型参数的变化过程和最终结果完全有可能并不相同，更勿论数据集发生变化的情况。本申请说明书中并未公开在何种特定情况下，神经网络模型参数和梯度之间才具有明确的、稳定的、可被学习的规律。 其次，本申请说明书给出的具体回归模型也无法实现上述关系的构建。本申请说明书第36-39段给出了构建回归模型来拟合“参数（含权值w和偏置b）-梯度”变化规律的过程，并分别构建了“权值w-梯度”和“偏置b-梯度”两个回归模型，公式（4）、（5）为对应的构建过程。结合公式（4）、（5）的呈现形式来看， 二者均是线性加权求和的线性回归模型。然而，神经网络损失函数是高维空间中的复杂曲面，参数与梯度之间本质上也应是高维度非线性的复杂关系，简单的线性回归模型无法完成这种非线性复杂关系的拟合任务。 强行以线性回归模型计算表示权值和偏置间的关系可能导致预测结果与实际结果误差极大，无法实现声称的保持分类准确率的效果。且公式中x 和y 的含义也不清楚，针对权值-w梯度和偏置b-梯度分别建立两个独i i立的回归模型是否能满足训练过程中权值w、偏置b协同变化的内在关联也有待证实。综上，本领域技术人员无法基于说明书给出的回归模型来实现所述参数和梯度之间关系的构建。 最后，即使本领域技术人员可以选择其他非线性模型来构建该回归模型，但是说明书除记载上述线性模型以及利用回归模型构建参数-梯度关系这一任务设想之外，对于回归模型的具体类型、网络结构的具体设计、 训练数据的处理方法、所采用的损失函数以及训练收敛的标准等关键细节均未作说明，使得本领域技术人员无法实现该模型。 2.3、说明书中43-53段中记载了相关实验分析结果，但其不足以证明该发明的有益效果必然得以实现。 理由如下：①该实验仅笼统提及数据集为cifar10，既未公开“相似数据集”的具体内容或构建方法，也未公开回归模型的具体类型、结构、超参数和训练细节，故该实验所获得的结果无法进行重复验证。②实验针对的模型结构为VGG模型，该模型为卷积神经网络，其参数与说明书第36段作为示例的全连接网络明显不同， 在卷积神经网络中，卷积层的参数通常为[卷积核高度，卷积核宽度，图像通道数，卷积核个数]的四维张量， 说明书整体上都未提及如何对该四维张量进行展平和归一化，以及如何构建该参数与梯度的对应关系。③以VGG16模型为例，其整体参数量为138,357,544（约1.38亿参数），该网络中具有13层卷积层和3层全连接层，其第2层卷积层的参数量就已经达到3.6万，使用本申请说明书第37-38段所示的公式（4）、（5）来拟合该量级参数调整的非线性过程，从计算逻辑和计算资源的角度考虑几乎都难以实现。该实验分析过程的其他疑问点在此不再展开，但基于以上三点足以得知，本申请说明书所提供的实验过程和实验结果并未达到本领域技术人员确信该方案能够达到对应效果的程度，因而无法用于证明本申请的发明能够实现。 综上所述，本申请仅给出了笼统的任务设想，仅记载了想要实现的目标，说明书中既没有相似数据集的准确含义，也缺少回归模型的具体构建手段，使得本领域技术人员在说明书公开内容的基础上，无法确定如何实现说明书声称的“保持神经网络模型分类准确率”的同时“加快神经网络模型的训练速度”的效果。因此，本申请的说明书未对发明作出清楚、完整的说明，致使所属技术领域的技术人员不能实现该发明，不符合专利法第二十六条第三款的规定。 3、对复审请求人相关意见的评述复审请求人认为：①本申请中所指的相似数据集应为与当前训练任务在特征分布、语义类别、图像内容或应用场景上具有相似性的数据集，可以是同一视觉任务下的不同子集，例如说明书第43-53段明确提到使用CIFAR-10数据集，其与CIFAR-10自身或其子集在视觉特征和类别上具有明显相似性，可以作为相似数据集。而且，本领域技术人员完全能够通过以下方式判断数据集是否足够相似：使用预训练模型在目标数据集和候选数据集上进行特征提取，比较特征分布；观察使用候选数据集训练得到的回归模型在目标训练集上的拟合效果；通过交叉验证或小规模实验评估梯度预测的准确性。②说明书第36-39段详细描述了回归模型的构建过程，本申请所给出的线性回归模型公式（4）、（5）仅为示例性说明，本领域技术人员完全可根据实际需要选择非线性回归模型（如多项式回归、支持向量回归、神经网络回归等）来拟合更复杂的参数—梯度关系。说明书中并未限制回归模型的具体形式，而是提供了构建该模型的通用框架与数据来源。 对此，合议组认为：①本申请中“相似数据集”是构建先验知识、训练回归模型的前提，数据集的相似程度直接决定了先验知识能否有效指导当前模型训练过程。然而本申请说明书没有对相似数据集给出明确的定义和判断标准，复审请求人的上述陈述也仅是通常意义上对于相似的定性描述；而相似应有程度之分，复审请求人的陈述并未解决达到何种相似程度时本申请的方案是有效的这一核心问题。因此本领域技术人员对于相似数据集的判断仍然是模糊不清的。虽然复审请求人还陈述了一种判断数据集是否足够相似的方式，但是，一方面该陈述引入了未在原始申请文件中记载的新内容；另一方面，该判断方式的实质是基于回归模型在目标训练集上的拟合效果来判断该数据集是否构成相似，这是一种逻辑上的事后验证，即要求本领域技术人员在将本申请说明书的步骤都操作完成之后，通过观察结果才能反推数据集是否构成相似，而本申请的前提是使用相似数据集上训练时的先验知识。因而，该种解释下其实质是基于结果倒推前提的循环论证，在实施前不具有任何指导意义，这也恰恰说明了在得到最终的操作结果之前，本领域技术人员并不能确定一个数据集需要满足何种条件才构成有效的相似数据集。②将高维神经网络参数映射到其梯度的回归问题，并非机器学习中普通的回归任务。以说明书使用的VGG16模型为例，其整体参数量为138,357,544（约1.38亿参数），该网络中具有13层卷积层和3层全连接层，其第2层卷积层的参数量就已经达到3.6万，第9层卷积层的参数量则达到235.9万，它是一个复杂的学习问题，其回归模型如何构建和训练，并非是本领域的公知常识。因此，本申请说明书仅记载了利用回归模型构建参数-梯度关系这一任务的设想，而对于回归模型的具体类型、网络结构的具体设计、训练数据的处理方法、所采用的损失函数以及训练收敛的标准等关键细节均未作说明，使得本领域技术人员无法实现该模型。 综上，复审请求人的上述理由不具备说服力。 基于上述理由，合议组作出如下决定。

驳回复审请求人于2022年11月08日对本申请提出的复审请求。 如对本复审请求审查决定不服，根据专利法第四十一条第二款的规定，复审请求人可以自收到本复审请求审查决定之日起三个月内向北京知识产权法院起诉。 合议组组长：高雪主审员：秦菁 专利局复审和无效审理部参审员：高宇峰