二进神经网络正反几何学习蛙跳组合算法

【摘要】奇偶校验二进神经网络的训练问题是一个典型的NP-hard难题。在传统几何学习算法的基础上，创新性地提出了BNN正反几何学习蛙跳组合算法，然后以10元和16元奇偶校验为例进行了实证研究，并将其与现有算法进行了系统比较。实验结果表明，该算法在准确性、收敛速度和实用性等方面均展现出显著优势，为解决二进神经网络在非线性可分样本上的训练问题提供了新的有效途径。

【关键词】二进神经网络；奇偶校验；分类超平面；感知器自适应算法；几何学习算法

中图法分类号 TP183，TP273+.5，TP29  文献标识码 A       DOI  文章编号

引言

当前，大多数神经网络严重依赖BP算法，主要采用浮点计算，导致存储空间和计算量需求大，且准确率无法达到100%。此外，乘法等运算难以通过逻辑电路实现，限制了其在手机、手表和移动机器人等设备上的应用。相比之下，二值型神经网络（BNN）具有内存占用小、功耗低、速度快等优势，易于通过小体积逻辑电路实现，展现出广阔的发展前景[1]。

传统上，BNN指的是输入输出二值化的神经网络，理论上可实现100%的准确率。对于线性可分样本，BNN可通过感知器算法有效训练。然而，在处理非线性可分样本（如奇偶校验）时，BNN的训练问题被证明是NP-hard难题。现有几何学习算法及其改进算法虽能实现100%的准确率，但仅适用于不超过9维的问题，且需遍历样本或采用启发式算法（如蚂蚁算法、遗传算法、分解算法等），导致无法训练、训练时间过长、结果不稳定且隐元数目难以最小化等诸多问题，存在较大改进空间[2-3]。

近年来，Matthieu Courbariaux等人借鉴单精度网络深度学习的成果，对网络权值、阈值和中间结果进行二值化，取得了与深度学习相近的结果，但准确率最高仅达90%左右[1]。

为保证100%的准确率并解决更高维复杂问题，本文在传统几何学习算法基础上，创新性地提出了BNN正反几何学习蛙跳组合算法。通过以10元和16元奇偶校验问题为实例进行实证研究，并与现有算法进行系统比较，实验结果表明该算法在准确性、收敛速度和实用性等方面均表现出显著优势，为解决BNN在非线性可分样本上的训练问题提供了新途径。

本文结构分为三部分：第一部分介绍BNN相关概念、定义、定理及推论；第二部分阐述BNN正反几何学习蛙跳组合算法及其使用说明；第三部分以10元和16元奇偶校验为例，验证算法有效性，并与现有算法进行比较。

3  算法有效性验证、优势和应用讨论

为了验证上述算法的有效性，本文采用普通个人计算机利用python软件，分别对10维偶校验和16维奇校验进行了训练，结果如表1和表2所示，然后又将其与深度学习二值化算法、几何学习及其改进算法等，从可验证的位数、隐含层层数、隐元个数、准确度、训练和仿真速度、硬件实现的难易程度等几个方面进行了比较，见表3。

正反几何学习蛙跳组合算法通过交替使用红色和蓝色顶点集计算加权高度，最大化线性可分组合，并通过组合合并环节进一步优化，使隐含层神经元数目最小化。该算法摒弃了蚂蚁算法、遗传算法等复杂方法，采用循环扩展策略，在保证100%准确率（平均绝对误差为0）的同时，显著提升了实用性。与深度学习二值化算法相比，其准确率更高；与传统几何学习算法相比，支持16位以上奇偶校验，且训练速度更快（10位和16位奇偶校验训练时长分别为77.73秒和155.41秒），结果更稳定[2]。

尽管该算法在奇偶校验位数上仍不及深度学习二值化算法，但可通过高配置计算机、并行算法和稀疏矩阵等技术进一步优化。此外，目前算法仅适用于奇偶校验类布尔函数，推广至一般布尔函数仍需深入研究。

4  结论

二值型神经网络因内存和计算需求低、结构简单、运算速度快，易于硬件实现，具有广阔前景。现有研究虽在网络二值化方面取得进展，但准确率不足90%。传统二进神经网络仅能处理9维以下问题，而本文提出的正反几何学习蛙跳组合算法在普通计算机上实现了16维以上训练，在准确率、训练效率、隐元数目和实用性等方面具有显著优势。未来需进一步研究其通用性扩展。

项目来源：本研究属于兰州石化职业技术大学校级科学研究项目（立项编号2023KY-22）。

参考文献：

[1]Haotong Qin，Ruihao Gong，Xianglong Liu，Xiao Bai，Jingkuan Song，Nicu Sebe.Binary neural networks：A survey[J].Pattern Recognition，2020.

[2]杨娟.二进神经网络中关于线性可分结构的若干问题研究[D].合肥工业大学， 2012.

[3]Kim，J.H，Sung-Kwon Park，.The geometrical learning of binary neural networks[J].IEEE Transactions on Neural Networks，6（1）：237-247.

[4]程子家.大规模多层感知器神经网络的研究与应用[D].吉林大学，2016.

[5]

作者简介：马卫东（1968—），男，甘肃武山人，大学本科，副教授，主要研究方向为自动控制。