单张非二值mnist三分类实验数据汇总

在前述的实验中用mnist训练集0，1，2，3，4的第一张图片完成了10组三分类网络，并统计迭代次数和移位距离之间的关系。用间隔取点的办法实验了33，55，77，99，1111，1313，15*15共7个不同的尺寸。得到的数据如下

第一组

3*3

134

124

123

234

014

013

034

012

024

023

δ

迭代次数n

迭代次数n

迭代次数n

迭代次数n

迭代次数n

迭代次数n

迭代次数n

迭代次数n

迭代次数n

迭代次数n

0.01

25528.5

24336.1

9492.618

9227.121

24070.39

7252.588

7084.342

6585.166

6482.06

5495.915

0.001

63278.92

59472.81

53485.31

52938.41

57616.89

45735.4

44602.2

42904.66

41677.61

31104.11

9.00E-04

66122.75

62414.27

58448.47

57679.9

60375.16

50398.23

48962.69

46693.44

45485.53

33925.72

8.00E-04

71480.41

67170.33

64717.14

63989.7

65406.67

55616.3

54172.61

52060.98

50660.67

37589.39

7.00E-04

77998.76

73028.56

72108.61

71477.29

70612.89

62793.99

61263.37

58467.27

57023.22

41898.17

s3*3

3.498039

5.811765

5.701961

5.537255

4.14902

5.858824

5.827451

7.035294

7.082353

5.756863

将收敛误差为7e-4的迭代次数和移位距离s画成图

尽管s曲线的梯度不够丰富，但s也明显是一条增函数，用反比来解释s和n之间的关系也是合理的。

第二组

5*5

134

124

123

234

012

023

013

014

024

034

δ

迭代次数n

迭代次数n

迭代次数n

迭代次数n

迭代次数n

迭代次数n

迭代次数n

迭代次数n

迭代次数n

迭代次数n

0.01

4852.327

3971.497

3849.93

3761.673

3297.035

3195.578

3172.513

3154.935

3044.357

2946.322

0.001

29105.61

23912.9

23347.73

22709.72

21140.85

20470.52

19926.4

19718.28

19372.02

18622.47

9.00E-04

31721.76

25924.04

25584.63

24772.43

23191.94

22528.86

21914.49

21523.96

21264.79

20455.74

8.00E-04

35248.12

28807.72

28230.64

27538.16

25774.16

24994.17

24202.72

23810.64

23577.19

22594.5

7.00E-04

39688.76

32526.52

31809.25

30926.7

29016.18

28110.4

27321.52

26921.52

26500.23

25583.64

s5*5

9.992157

13.10588

12.83137

14.68235

19.04314

21.88235

18.36863

20.65098

22.92549

22.37647

由于尺寸的扩大弱化的对称性的影响，5*5的s曲线要平滑的多，明显n减小而s增加。

第三组

7*7

134

013

012

124

014

123

034

024

234

023

δ

迭代次数n

迭代次数n

迭代次数n

迭代次数n

迭代次数n

迭代次数n

迭代次数n

迭代次数n

迭代次数n

迭代次数n

0.01

3322.899

3167

3143.392

3105.899

3064.558

2958.648

2899.251

2870.181

2811.055

2757.563

0.001

21089.87

20283.14

20079.41

19915.55

19733.9

19119.55

18779.49

18628.15

18248.59

18011.09

9.00E-04

23155.05

22309.77

22055.96

21966.31

21729.91

21002.09

20456.96

20371.83

20007.48

19863.38

8.00E-04

25824.88

24869.8

24543.71

24286.14

24056.1

23313.12

22740.74

22703.25

22255.98

21861.84

7.00E-04

28991.13

27854.08

27523.62

27278.07

26959.44

26239.79

25628.94

25490.19

24990.54

24667.68

s7*7

22.2902

26.94902

29.81961

24.15686

25.78824

30.35294

29.78039

30.43137

30.72941

34.87843

n减小而s是增加的。

第四组

9*9

134

123

124

234

012

013

023

024

014

034

δ

迭代次数n

迭代次数n

迭代次数n

迭代次数n

迭代次数n

迭代次数n

迭代次数n

迭代次数n

迭代次数n

迭代次数n

0.01

2675.106

2539.864

2526.673

2513.533

2521.915

2421.905

2397.648

2400.538

2330.372

2329.07

0.001

17858.37

16999.56

17071.4

16846.06

16699.34

16548.66

16261.65

16182.34

15971.54

15970.8

9.00E-04

19700.4

18658.47

18738.02

18506.6

18353.31

18201.87

17895.76

17746.46

17501.54

17508.73

8.00E-04

21862.45

20760.96

20900.6

20576.08

20509.6

20217.84

19941.41

19803.96

19503.26

19452.48

7.00E-04

24688.67

23522.75

23429.41

23133.07

23022.54

22821.45

22387.06

22187.65

22107.34

21977.67

s9*9

36.1098

49.62353

41.16863

50.14118

52.1098

51.74902

57.21569

55.12941

47.10588

54.54118

n减小而s增加

第五组

11*11

014

013

123

134

012

234

124

023

034

024

δ

迭代次数n

迭代次数n

迭代次数n

迭代次数n

迭代次数n

迭代次数n

迭代次数n

迭代次数n

迭代次数n

迭代次数n

0.01

2086.653

2105.02

2074.915

2124.95

2100.759

2036.005

2078.678

2017.995

1980.116

1999.779

0.001

14678.66

14780.6

14729.6

14709.63

14644.57

14515.06

14590.64

14355.45

14263.75

14187.57

9.00E-04

16236.9

16261.57

16201.7

16185.53

16027.33

15975.58

15987.5

15806.29

15611.98

15686.13

8.00E-04

18089.83

18132.21

17968.03

17963.97

17926.63

17792.76

17879.34

17631.35

17401.24

17441.43

7.00E-04

20504.19

20469.01

20376.85

20359.39

20180.85

20158.58

20156.69

19930.71

19702.99

19689.2

s11*11

90.24314

87.59216

89.87451

74.32157

93.19216

89.82745

88.96471

100.6431

93.36471

97.64706

同样可以观察到n和s之间的反比关系

第六组

13*13

134

124

014

013

012

123

234

034

024

023

δ

迭代次数n

迭代次数n

迭代次数n

迭代次数n

迭代次数n

迭代次数n

迭代次数n

迭代次数n

迭代次数n

迭代次数n

0.01

2006.427

1984.819

1947.497

1938.794

1939.975

1923.412

1911.729

1849.111

1877.201

1848.739

0.001

14151.85

14124.55

14116.28

13974.28

13992.44

13923.85

13857.63

13582.78

13632.16

13553.69

9.00E-04

15633.13

15540.86

15572.98

15450.58

15336.95

15375.03

15288.71

14917.5

14986.11

14884.89

8.00E-04

17463.22

17301.26

17309.79

17209.39

17054.93

17063.92

16990.42

16651.06

16760.05

16691.82

7.00E-04

19748.09

19635.53

19609.79

19470.3

19427.75

19392.49

19240.36

18987.97

18964.32

18876.56

s13*13

94.28235

104.7922

113.8824

117.3804

120.651

116.4706

115.0039

123.4196

123.8118

133.8824

13*13的s曲线非常平滑，n与s的反比关系非常明显

第七组

15*15

123

012

023

024

124

234

014

034

013

134

δ

迭代次数n

迭代次数n

迭代次数n

迭代次数n

迭代次数n

迭代次数n

迭代次数n

迭代次数n

迭代次数n

迭代次数n

0.01

2100.879

2020.663

1988.266

1990.347

1959.749

1964.513

1806.965

1803.508

1778.141

1757.03

0.001

14604.79

14516.06

14299.3

14332.46

14182.17

14162.15

13370.29

13356.84

13191.83

13021.52

9.00E-04

16163.44

15959.09

15860.1

15730.95

15650.05

15603.02

14687.98

14662.88

14608.69

14392.83

8.00E-04

17967.66

17817.04

17683.23

17555.33

17424.39

17368.5

16346.61

16352.7

16272.56

16024.08

7.00E-04

20210.69

20140.15

19915.37

19795.33

19791.92

19717.7

18671.6

18648.29

18348.53

18162.27

s

105.4118

115.9216

128.5569

119.1686

111.9137

117.3569

144.0392

149.4039

140.698

130

同样可以观察到n和s的反比关系。

因此这7组数据，尽管有的s曲线不够平滑，但用n和s之间的反比关系来理解这7组数据都是直观而实用的。

012

013

014

023

024

034

123

124

134

234

s3*3

7.035294

5.858824

4.14902

5.7568627

7.0823529

5.827451

5.7019608

5.8117647

3.4980392

5.5372549

s5*5

19.04314

18.36863

20.65098

21.882353

22.92549

22.376471

12.831373

13.105882

9.9921569

14.682353

s7*7

29.81961

26.94902

25.78824

34.878431

30.431373

29.780392

30.352941

24.156863

22.290196

30.729412

s9*9

52.1098

51.74902

47.10588

57.215686

55.129412

54.541176

49.623529

41.168627

36.109804

50.141176

s11*11

93.19216

87.59216

90.24314

100.64314

97.647059

93.364706

89.87451

88.964706

74.321569

89.827451

s13*13

120.651

117.3804

113.8824

133.88235

123.81176

123.41961

116.47059

104.79216

94.282353

115.00392

s15*15

115.9216

140.698

144.0392

128.55686

119.16863

149.40392

105.41176

111.91373

130

117.35686

比较移位距离的变化

移位距离s的变化非常规则，随着尺寸的增加而增加

再比较各个尺寸的迭代次数的大小顺序

3*3

134

124

123

234

014

013

034

012

024

023

5*5

134

124

123

234

012

023

013

014

024

034

7*7

134

013

012

124

014

123

034

024

234

023

9*9

134

123

124

234

012

013

023

024

014

034

11*11

014

013

123

134

012

234

124

023

034

024

13*13

134

124

014

013

012

123

234

034

024

023

15*15

123

012

023

024

124

234

014

034

013

134

如果n和s之间的反比关系是严格的，n的顺序也应该是一致的，但有少部分数据分布比较分散如014，或许是由于对于单张图片对称性导致的结构耦合效应弱化了n和s之间的线性关系。

比较迭代次数的变化

012

013

014

023

024

034

123

124

134

234

3*3

7.00E-04

58467.27

62793.99

70612.89

41898.171

57023.216

61263.367

72108.608

73028.558

77998.759

71477.286

5*5

7.00E-04

29016.18

27321.52

26921.52

28110.397

26500.226

25583.643

31809.251

32526.523

39688.764

30926.698

7*7

7.00E-04

27523.62

27854.08

26959.44

24667.683

25490.191

25628.94

26239.789

27278.07

28991.131

24990.543

9*9

7.00E-04

23022.54

22821.45

22107.34

22387.06

22187.648

21977.673

23522.754

23429.407

24688.673

23133.065

11*11

7.00E-04

20180.85

20469.01

20504.19

19930.709

19689.196

19702.99

20376.849

20156.688

20359.392

20158.583

13*13

7.00E-04

19427.75

19470.3

19609.79

18876.558

18964.322

18987.97

19392.492

19635.528

19748.085

19240.362

15*15

7.00E-04

20140.15

18348.53

18671.6

19915.367

19795.327

18648.286

20210.688

19791.925

18162.266

19717.704

图片尺寸扩大，迭代次数是减小的。把所有的迭代次数和移位距离画到一起

3*3 用神经网络模拟3个距离为0的粒子

5*5 将神经网络粒子化的内在合理性

7*7 近似对称性对迭代次数的影响

9*9 决定迭代次数的两种效应

11*11 验算迭代次数和移位距离之间的反比关系

13*13用移位距离去比较迭代次数的大小

15*15关于迭代次数的一个反比关系

Original: https://blog.csdn.net/georgesale/article/details/127143703
Author: 黑榆
Title: 单张非二值mnist三分类实验数据汇总