为了理解神经网络具体是如何将两个对象分类的,假设神经网络的作用相当于弹簧,并且用实验数据证明了二分类0,1到0,9的数据都是符合这个假设的。证明数学上是可能将神经网络的收敛过程理解成是弹簧的并联过程。
具体的过程以二分类0,9为例
用天平称两个对象A,B的重量需要第三个对象C提供一个加速度或者一个引力,为A,B提供一个参照物,将A,B的重量分别用C的重量表示才可能比较A,B的重量。
![](https://img.laitimes.com/img/_0nNw4CM6IyYiwiM6ICdiwiIwczX0xiRGZkRGZ0Xy9GbvNGL2EzXlpXazxSPVdkYo5EWa5mSzIGbkJDTwYVbiVHNHpleO1GTulzRilWO5xkNNh0YwIFSh9Fd4VGdsATMfd3bkFGazxyaHRGcWdUYuVzVa9GczoVdG1mWfVGc5RHLrJXYtJXZ0F2dvwVZnFWbp1zczV2YvJHctM3cv1Ce-cWZwpmLwMDO0ITMzcTM0IjMwkTMwIzLc52YucWbp5GZzNmLn9Gbi1yZtl2Lc9CX6MHc0RHaiojIsJye.jpeg)
这里引入了第三个参照对象图片x。图中A,B,C三张图就对应三个二分类的网络。
A网络的具体结构是
制作一个带有1个3*3卷积核网络三层节点数分别是49*30*2的网络,分类mnist的0和9,将28*28的图片缩小到9*9,让0向1,0收敛,让9向0,1收敛。将这个网络简写成
d2(mnist0,9)81-con(3*3)49-30-2-(2*k) ,k∈(0,1)
具体进样顺序 | ||
δ=0.1 | ||
初始化权重 | ||
迭代次数 | ||
mnist 0-1 | 1 | 判断是否达到收敛 |
mnist 9-1 | 2 | 判断是否达到收敛 |
梯度下降 | ||
mnist 0-2 | 3 | 判断是否达到收敛 |
mnist 9-2 | 4 | 判断是否达到收敛 |
梯度下降 | ||
…… | ||
mnist 0-4999 | 9997 | 判断是否达到收敛 |
mnist 9-4999 | 9998 | 判断是否达到收敛 |
梯度下降 | ||
…… | ||
如果4999图片内没有达到收敛标准再次从头循环 | ||
mnist 0-1 | 9999 | 判断是否达到收敛 |
mnist 9-1 | 10000 | 判断是否达到收敛 |
梯度下降 | ||
…… | ||
每当网路达到收敛标准记录迭代次数和对应的准确率测试结果 | ||
将这一过程重复199次,取迭代次数n的平均值 | ||
δ=0.01 | ||
… | ||
δ=1e-7 |
网络的收敛标准是
if (Math.abs(f2[0]-y[0])< δ && Math.abs(f2[1]-y[1])< δ )
因为对应每个δ都有一个n与之对应,所以可以得到一条稳定的n(δ)曲线,可以用这条曲线去评价网络的性能。
再用同样的办法做另外的两个网络
d2(mnistx,0)81-con(3*3)49-30-2-(2*k) ,k∈(0,1)
意思是用同样的网络分类mnist的0和一张x图片,让0向1,0收敛,让x向0,1收敛
d2(mnistx,9)81-con(3*3)49-30-2-(2*k) ,k∈(0,1)
意思是用同样的网络分类mnist的9和一张x图片,让x向1,0收敛,让9向0,1收敛
这张图片x就是一个9*9的二维数组是固定不变的
double [][]x=new double[9][9];
for(int n=0 ;n<9;n++){
for(int m=0 ;m<9 ;m++){
x[n][m]=((double)(n+1)*(m+1)/100);
}}
相当于让三个对象两两分类,使其中的任何一个都成为其他两个的参照物。
A,B,C分别对应三个网络
d2(mnist0,9)81-con(3*3)49-30-2-(2*k) ,k∈(0,1)
d2(mnistx,0)81-con(3*3)49-30-2-(2*k) ,k∈(0,1)
d2(mnistx,9)81-con(3*3)49-30-2-(2*k) ,k∈(0,1)
让n09=ω09,nx0=ωx0,nx9=ωx9 用实验的办法n09,nx0,nx9都可以测出来
未知数ωx,ω0,ω9可以被解出来
可以得到n的精确的表达式为
因为ω0和ω9是特征的彼此区分的所以可以被分类。
再由质量可以得到方程组
如果假设mx=1则m0,m9,mx0,mx9,m09都可以解出来。
前面已经将二分类0,1到0,9的数据用这种方法检验过,这种方法都是成立的。
这些实验从数学上证明了神经网络被分类对象既有质量还有频率看作是微观粒子是有可能的。所以从微观粒子的角度假设神经网络的的分类过程。
假设任一个群A和一个映射p和一个群Δ,Δ∈[0,1],有如下关系群A={aα},Δ={δα}
也就是说任何的群A都可以通过一个映射p与群Δ同构。也就是说存在一种映射将群Δ变换成任何群。而这个映射就是神经网络本身。
如果这个假设是成立的。
将群mnist的图片看作是矩阵,而将矩阵看作多维空间,那神经网络的收敛过程也可以理解成是将一个多维空间的5000种可能坍缩成一个质点的过程,因为这个质点可能有频率和质量所以看作粒子。
比如让mnist的1向粒子(0,1)收敛,把神经网络的 输出值与目标值的差值的绝对值设为δ,则如果δ=0需要无限长的时间,因此mnist 1的每张图片都对应着(0,1]之间的一个数。
这一过程是狄拉克函数的很好的近似
Mnist 1的图片在[0,1]的整个空间上都有定义,但是只有当δ=0时输出值最大,并变成粒子。
用这种方法解释神经网络的分类过程比如二分类mnist的1和2
如图有一种映射p= con(3*3)49-30-2
有一个多维空间由群mnist1构成,另一个多维空间由群mnist2构成,映射p将这两个空间坍缩成了两个粒子m1和m2,这两个粒子之间通过一种耦合作用形成了新的粒子m12,但是这个粒子m12只有特征频率n12,没有质量。
然后出现了第三个粒子x,这个粒子x和粒子m12作用形成了新的粒子mx12,现在粒子mx12将有确定的质量,这个由3个粒子构成的粒子mx12的辐射是分立的,分别等于nx1,nx2,n12.也就是说这个粒子mx12有3个分立的能级。
而且用这个模型可以很容易的理解衰变过程,比如将mnist2换成mnist3则这个新的粒子mx13的频率将等于nx1,nx3,n13,而新的nx1与mx12中的nx1将不同。
比较由方程产生的弹性系数
01 | 07 | 04 | 09 | 03 | 08 | 05 | 06 | 02 |
23111070 | 9562286 | 11110240 | 9707543 | 7373700 | 6667420 | 5784918 | 6574293 | 7027121 |
24126838 | 12973749 | 13145697 | 12324021 | 10237051 | 10262027 | 9693125 | 11305518 | 11319294 |
37251306 | 23409859 | 23021931 | 20260357 | 20524424 | 18611549 | 17238353 | 19013061 | 19468160 |
78528743 | 41954386 | 47058874 | 40512986 | 37024543 | 41422313 | 31491381 | 33306651 | 33079038 |
87715120 | 50192300 | 44190564 | 42669506 | 38893501 | 39411415 | 31596327 | 35820935 | 35030828 |
80302132 | 44781230 | 47667677 | 44538453 | 37964973 | 42036577 | 32296077 | 36957233 | 35199344 |
1E+08 | 51237173 | 50027236 | 48394243 | 41362715 | 44990787 | 33502302 | 38555027 | 37045551 |
93399384 | 61621663 | 53468445 | 52175881 | 41061566 | 45717259 | 35406383 | 40329209 | 38296284 |
1.29E+08 | 63457719 | 56078725 | 55534471 | 47185271 | 57699827 | 41658812 | 45149477 | 42049380 |
1.03E+08 | 64843191 | 62853734 | 60820038 | 51084634 | 56546959 | 43329573 | 47951102 | 44881258 |
1.29E+08 | 68563200 | 63990482 | 64418193 | 54346476 | 56839399 | 45225346 | 49088793 | 47933669 |
1.3E+08 | 1.02E+08 | 86978714 | 71054202 | 68883577 | 64214779 | 55884638 | 62754358 | 58518517 |
2.24E+08 | 1.27E+08 | 1.01E+08 | 91209855 | 91937402 | 77978798 | 67509608 | 81225873 | 61219602 |
3.12E+08 | 1.57E+08 | 1.15E+08 | 1.02E+08 | 1E+08 | 89264401 | 73220885 | 84667601 | 68435273 |
2.61E+08 | 1.61E+08 | 1.29E+08 | 97654014 | 97798005 | 88211321 | 75068760 | 83764187 | 69556400 |
3.45E+08 | 1.66E+08 | 1.19E+08 | 1.18E+08 | 1.06E+08 | 95228920 | 81108607 | 89609062 | 75870045 |
2.47E+08 | 1.83E+08 | 1.56E+08 | 1.22E+08 | 1.11E+08 | 97933227 | 85719203 | 1.03E+08 | 83491101 |
2.92E+08 | 1.65E+08 | 1.38E+08 | 1.12E+08 | 1.09E+08 | 97198893 | 86042524 | 1E+08 | 87384630 |
3.93E+08 | 2.15E+08 | 1.84E+08 | 1.36E+08 | 1.3E+08 | 1.16E+08 | 1.06E+08 | 1.03E+08 | 93368260 |
4.36E+08 | 2.87E+08 | 1.73E+08 | 1.42E+08 | 1.32E+08 | 1.38E+08 | 1.18E+08 | 1.26E+08 | 1.08E+08 |
5.74E+08 | 2.92E+08 | 2.22E+08 | 1.56E+08 | 1.48E+08 | 1.43E+08 | 1.37E+08 | 1.43E+08 | 1.27E+08 |
1.11E+09 | 4.44E+08 | 2.52E+08 | 2.26E+08 | 2.22E+08 | 2.29E+08 | 2.11E+08 | 2E+08 | 1.93E+08 |
1.87E+09 | 5.88E+08 | 3.29E+08 | 2.39E+08 | 2.51E+08 | 2.52E+08 | 2.17E+08 | 2.12E+08 | 1.86E+08 |
1.67E+09 | 4.09E+08 | 2.77E+08 | 2.45E+08 | 2.18E+08 | 2.46E+08 | 2.07E+08 | 2.15E+08 | 2E+08 |
1.69E+09 | 4.59E+08 | 3.41E+08 | 2.93E+08 | 2.6E+08 | 2.61E+08 | 2.45E+08 | 2.57E+08 | 2.57E+08 |
#NUM! | 5.61E+08 | 4.15E+08 | 3.44E+08 | 3.39E+08 | 3.15E+08 | 2.97E+08 | 3.07E+08 | 2.83E+08 |
3.89E+09 | 4.34E+08 | 3.81E+08 | 3.59E+08 | 3.27E+08 | 3.45E+08 | 3.06E+08 | 3.35E+08 | 2.89E+08 |
2.69E+09 | 4.62E+08 | 3.84E+08 | 3.57E+08 | 3.47E+08 | 3.87E+08 | 3.37E+08 | 3.67E+08 | 3.14E+08 |
1.04E+10 | 6.56E+08 | 5.65E+08 | 5.45E+08 | 5.15E+08 | 5.39E+08 | 4.78E+08 | 4.57E+08 | 4.32E+08 |
5.69E+09 | 9.34E+08 | 7.2E+08 | 7.69E+08 | 7.09E+08 | 6.85E+08 | 5.9E+08 | 6.22E+08 | 6.66E+08 |
1.86E+10 | 1.26E+09 | 1.13E+09 | 1.11E+09 | 9.42E+08 | 1.05E+09 | 9.92E+08 |
弹性系数K与图片的相似度有关,如果两张图片的差异越大k越大
比较质量数据
m1 | m7 | m4 | m3 | m9 | m8 | m6 | m2 | m5 |
4.110475 | 1.709705 | 1.378684 | 0.824304 | 1.301149 | 0.765013 | 0.570842 | 0.511864 | 0.047198 |
2.131089 | 1.106159 | 0.88487 | 0.629664 | 0.703997 | 0.642602 | 0.575347 | 0.470669 | 0.032996 |
1.526745 | 1.036555 | 0.870007 | 0.766662 | 0.790299 | 0.635145 | 0.652023 | 0.64685 | 0.144799 |
1.398024 | 0.797413 | 0.763556 | 0.520498 | 0.462907 | 0.627321 | 0.386595 | 0.372341 | 0.134351 |
1.517924 | 0.927027 | 0.758387 | 0.541217 | 0.545153 | 0.501612 | 0.40483 | 0.366723 | 0.152252 |
1.297211 | 0.891056 | 0.673285 | 0.493281 | 0.465356 | 0.520855 | 0.370558 | 0.332094 | 0.132248 |
1.689906 | 0.903801 | 0.780743 | 0.522361 | 0.515563 | 0.582365 | 0.35899 | 0.422161 | 0.122888 |
1.42878 | 0.936332 | 0.739376 | 0.479983 | 0.447216 | 0.471994 | 0.301898 | 0.3394 | 0.200411 |
1.814515 | 0.945213 | 0.828005 | 0.523884 | 0.517774 | 0.690397 | 0.439196 | 0.373137 | 0.105651 |
1.36343 | 0.972008 | 0.778671 | 0.501964 | 0.539958 | 0.513546 | 0.330706 | 0.407551 | 0.15548 |
1.252545 | 0.821751 | 0.70384 | 0.438754 | 0.481185 | 0.389285 | 0.318788 | 0.354954 | 0.108461 |
1.086277 | 1.080109 | 0.866356 | 0.50272 | 0.396171 | 0.312748 | 0.364084 | 0.312772 | 0.097869 |
1.188411 | 0.786991 | 0.619749 | 0.338938 | 0.229847 | 0.170636 | 0.140531 | 0.112376 | 0.005342 |
1.974443 | 1.179441 | 0.831501 | 0.46218 | 0.382803 | 0.269891 | 0.290555 | 0.107553 | 0.071192 |
1.197666 | 0.952593 | 0.729651 | 0.460045 | 0.247531 | 0.136447 | 0.092637 | 0.095952 | #NUM! |
1.673405 | 1.105807 | 0.667891 | 0.486766 | 0.271796 | 0.153012 | 0.150166 | 0.03574 | 0.039248 |
1.358127 | 1.105508 | 0.673325 | 0.388522 | 0.273502 | 0.082398 | 0.119998 | 0.045294 | 0.036454 |
1.188429 | 0.847904 | 0.565848 | 0.357821 | 0.085328 | 0.095658 | 0.062892 | #NUM! | #NUM! |
1.365259 | 0.990728 | 0.616971 | 0.252088 | 0.103249 | 0.011558 | 0.129592 | 0.033654 | #NUM! |
1.351423 | 1.000367 | 0.607741 | 0.24467 | 0.037229 | #NUM! | 0.029063 | 0.052497 | #NUM! |
1.500763 | 0.572115 | 0.365675 | 0.054112 | #NUM! | #NUM! | #NUM! | #NUM! | #NUM! |
1.85705 | 0.580893 | 0.230576 | 0.010515 | #NUM! | #NUM! | #NUM! | 0.017302 | #NUM! |
3.082569 | 0.712173 | 0.205752 | #NUM! | #NUM! | #NUM! | 0.001812 | 0.123839 | #NUM! |
1.136233 | 0.214187 | 0.032083 | 0.003223 | #NUM! | #NUM! | #NUM! | #NUM! | #NUM! |
1.942996 | 0.247653 | 0.09674 | 0.025031 | #NUM! | #NUM! | #NUM! | #NUM! | 0.012754 |
#NUM! | 0.292163 | 0.054431 | #NUM! | #NUM! | #NUM! | #NUM! | 0.029695 | #NUM! |
3.224482 | 0.036831 | 0.018349 | #NUM! | #NUM! | #NUM! | #NUM! | 0.043916 | 0.01902 |
1.680495 | #NUM! | #NUM! | #NUM! | #NUM! | #NUM! | #NUM! | #NUM! | #NUM! |
6.625993 | #NUM! | 0.015915 | #NUM! | #NUM! | #NUM! | 0.038688 | 0.108277 | 0.036581 |
1.629426 | #NUM! | #NUM! | #NUM! | #NUM! | #NUM! | 0.022533 | #NUM! | 0.118592 |
4.760874 | #NUM! | #NUM! | #NUM! | #VALUE! | #NUM! | #NUM! | 0.002768 |
与弹性系数k类似如果两张图片的差异度越大质量也越大。
实验数据 |
学习率 0.1 |
权重初始化方式 |
Random rand1 =new Random(); |
int ti1=rand1.nextInt(98)+1; |
int xx=1; |
if(ti1%2==0) |
{ xx=-1;} |
tw[a][b]=xx*((double)ti1/x); |
第一层第二层和卷积核的权重的初始化的x分别为1000,1000,200 |
0-1《神经网络与并联的弹簧》2019-2-2
0-2《神经网络与振子动力系统---验算实例二分类0,2》2019-2-9
0-3《神经网络与玻色子力学系统---验证实例二分类mnist 0,3》2019-2-10
0-4《用神经网络测量一组图片的质量---验算实例二分类mnist0,4》2019-2-11
0-5《神经网络与波粒二象性---实例验证二分类mnist 0,5》2019-2-12
0-6《用神经网络模拟玻色子力学系统---制作实例二分类mnist 0,6》2019-2-14
0-7《用神经网络模拟玻色爱因斯坦凝聚---验证实例二分类mnist 0,7》2019-2-14
0-8《神经网络的还原论应用---模拟波函数的退相干---验证实例二分类mnist 0,8》2019-2-15
0-9《神经网络的可能原理---还原论的振子力学系统(验证实例二分类mnist 0,9)》2019-2-16