深度学习epoch（深度学习基础教程）

本篇文章给大家谈谈深度学习epoch，以及深度学习基础教程对应的知识点，希望对各位有所帮助，不要忘了收藏本站喔。

本文目录一览：

• 1、增加Batch_Size的优点
• 2、epoch和iteration的区别
• 3、神经网络中的Epoch、Iteration、Batchsize
• 4、深度学习网络不收敛的原因有哪些？
• 5、深度学习有哪三要素?
• 6、如何设定深度学习的样本数量

增加Batch_Size的优点

适当的增加Batch_Size的优点：

1.通过并行化提高内存利用率。

2.单次epoch的迭代次数减少，提高运行速度。（单次epoch=(全部训练样本/batchsize)/iteration=1）

3.适当的增加Batch_Size,梯度下降方向准确度增加，训练震动的幅度减小。

对于正常数据集，如果Batch_Size过小，训练数据就会非常难收敛，从而导致underfitting。

增大Batch_Size,相对处理速度加快。

增大Batch_Size,所需内存容量增加（epoch的次数需要增加以达到最好的结果）

这里我们发现上面两个矛盾的问题，因为当epoch增加以后同样也会导致耗时增加从而速度下降。因此我们需要寻找最好的Batch_Size。

再次重申：Batch_Size的正确选择是为了在内存效率和内存容量之间寻找最佳平衡。

iteration：中文翻译为迭代。

迭代是重复反馈的动作，神经网络中我们希望通过迭代进行多次的训练以达到所需的目标或结果。

每一次迭代得到的结果都会被作为下一次迭代的初始值。

一个迭代=一个正歼伏向通过+一个反向通过。

epoch：中文翻译为时期。

一个时期=所有训练样本的缺改则一个正向传递和一个反向传递。

深度学习中经常看到epoch、iteration和batchsize，下面按照自己的理解说说这三个区别：

（1）batchsize：批大小。在深度学习中，一般采用SGD训练，即每次训练在训练集中取batchsize个样本训练；

（2）iteration：1个iteration等于使用batchsize个样本训练一次；

（3）epoch：1个epoch等于使用训练集中的全部样本训练伏棚一次；

举个例子，训练集有1000个样本，batchsize=10，那么：

训练完整个样本集需要：

100次iteration，1次epoch。

[img]

epoch和iteration的区别

epoch和iteration区别在于数量的问题。

iteration：1个iteration等于使用batchsize个样本训练一次；

epoch：1个epoch等于使用训练集中的全部样本训练一次；

比如要做100次iteration才等于做1次epoch训练。

epoch和iteration都是指的深度学习中的。

epoch

英 [ˈi:pɒk]   美 [ˈepək]

n.时期;纪元;世;新时代

复数： epochs

例句：

1 The birth of Christ was the beginning of a major epoch of world history.

基督诞生是世界历史上一个重要纪元的开端。

2 Two main glacial epochs affected both areas during the last 100 million years of Precambrian times.

在前寒武纪的最后1亿年中，两个主要的冰川时期对两个地区都产生了影响。

3 The Renaissance was an epoch of 穗茄好unparalleled cultural achievement.

iteration

英 [ˌɪtəˈreɪʃn]   美 [ˌɪtəˈreʃən]

n.反复;重述;重述的事;[计算机]循环

文艺复兴是一个纳猜文化上取得空前成就的时代。

例句：

1、 This paper improves the 猜铅inversion accuracy by means of iteration inversion of the sea-watervelocity and bottom velocity.

同时迭代反演海水速度和海底速度，提高了反演的精度。

2、And gives the formulae of iteration direction and step length.

并给出了迭代方向和步长的计算公式。

3、We define an iteration as a phase, a milestone, or a period of time.

我们将一次迭代定义为一个阶段，一个里程碑，或者一个时间段。

神经网络中的Epoch、Iteration、Batchsize

神经网络中epoch与iteration是不相等的

1）batchsize：中文翻译为批大小（批尺腔塌寸）。在深度学习中，一般采用SGD训练，即每次训练在 训练集中取batchsize个样本训练 ；

2）iteration：中文翻译为迭代， 1个iteration等于使用batchsize个样本训练一次 ；一个迭代 = 一个正向通过+一个反向通过

3）epoch：迭代腊圆颤次数， 1个epoch等于使用训练集中的全部样本训练一次 ；一个epoch = 所有训练样本的一个正向传递和一个反向传递

举个例子，训练集有1000个样本，batchsize=10，那么：训练完整个样本集需要：100次轮败iteration，1次epoch。

深度学习网络不收敛的原因有哪些？

蓝海大脑AI绘画一体机研究人员表示：

很多同学会发现，为什么我训练网络的时候loss一直居高不下或者准确度时高时低，震荡趋势，一会到11，一会又0.1，不收敛。 又不知如何解决，博主总结了自己训练经验和看到的一些方法。

首先你要保证训练的次数够多，不要以为一百两百次就会一直loss下降或者准确率败码一直提高，会有一点震荡的。只要总体收敛就行。若训练次数够多（一般上千次，上万次，或者几十个epoch）没收敛，则试试下面方法：

1. 数据和标签

数据分类标注是否准确？数据是否干净？数据库太小一般不会带来不收敛的问题，只要你一直在train总会收敛（rp问题跑飞了不算）。反而不收敛一般是由于样本的信息量太大导致网络不足以fit住整个样本空间。样本少只可能带来过拟合的问题

2. 学习率设定不合理

在自己训练新网络时，可以从0.1开始尝试，如果loss不下降的意思，那就降低，除以10，用0.01尝试，一般来说0.01会收敛，不行的话就用0.001. 学习率设置过大，很容易震荡。不过刚刚开始不建议把学习率设置过小，尤其是在训练的开始阶段。在开始阶段我们不能把学习率设置的太低否则loss不会收敛。我的做法是逐渐尝试，从0.1,0.08,0.06,0.05 …逐渐减小直到正常为止，

有的时候候学习率太低走不出低估，把冲量提高也是一种方法，适当提高mini-batch值，使其波动不大。,

3.网络设定不合理

如果做很复杂的分类任务，却只用了很浅的网络，可能会导致训练难以收敛，换网络换网络换网络，重要的事情说三遍，亩枯仿或者也可以尝试加深当前网络。

4.数据集label的设置

检查lable是否有错，有的时候图像类别的label设置成1，2，3正确设置应该为0,1,2。

5、数据归一化

神经网络中对数据进行归一化是不可忽略的步骤，网络能不能正常工作，还得看你有没有做归一化，一般来讲，归一化就是减去数据平均值除以标准差，通常是针对每个输入和输出特征进行归一化

train loss与test loss结果分析

train loss 不断下降，test loss不断下降，说明网络仍在学习;

train loss 不断下降，test loss趋于不变，说明网络过拟合;

train loss 趋于不变，test loss不断下降，说明数据集100%有问题;

train loss 趋于不变，test loss趋于不变，说明学习遇到瓶颈，需要减小学习率或批量数目;

train loss 不断上升，test loss不断上升，说明网络结构设迅纤计不当，训练超参数设置不当，数据集经过清洗等问题。

深度学习有哪三要素?

第一是数据。因为人工智能的根基是训练，就如同人类如果要获取一定的技能，那必须经过不断地训练才能获得，而且有熟能生巧之说。AI也是如此，只有经过大量的训练，神经网络才能总结出规律，应用到新的样本上。如果现实中出现了训练集中从未有过的场景，则网络会基本处于瞎猜状态，正确率可想而知。比如需要识别勺子，但训练集中勺子总和碗一起出现，网络很可能学到的是碗的特征，清碧如果新的图片只有碗，没有勺子，依然很可能被分类为勺子。因此，对于AI而言，大量的数据太重要了，而且需要覆盖各种可能的场景，这样才能得到一个表现良好的模型，看起来更智能。

第二是算力。有了数据之后，需要进行训练，不断地训练。AI中有一个术语叫epoch，意思是把训练集翻过来答扒举、调过去训练多少轮。只把训练集从头到尾训练一遍网络是学不好的，就像和小孩说一个道理，一遍肯定学不会，过目不忘那就是神童了，不过我至今还没见到过。当然，除了训练(train)，AI实际需要运行在硬件上，也需要推理(inference)，这些都需要算力的支撑。

第三是算法。其实大家现在算法谈得很多，也显得很高端，但其实某种程度上来说算法是获取成本最低的。现在有很多不错的paper，开源的网络代码，各种AutoML自动化手段，使得算法的门槛越来越低。另外提一点，算法这块其实是此差创业公司比较容易的切入点，数据很多人会觉得low，会认为就是打打标签而已，所以愿意做的不多；算力需要芯片支撑，是大公司争夺的主要阵地，留下的只有算法了。

如何设定深度学习的样本数量

当一个完整的数据集通过了神经网络一次并且返回了一次，这个过程称为一次epoch。（也就是说，所有训练样本在神经网络中都 进行了一次正向传播 和一次反向传播 ）

再通俗一点，一闭漏个Epoch就是将所有训练样本训练一次的过程。

然而，当一个Epoch的样本（也就是所有的训练样本）数量可能太过庞大（对于计算机而言），就需要把它分成多个小块，也就是就是分成多个Batch 来进行训练。**

Batch（批 / 一批样本）：

将整个训练样本分成若干个Batch。

Batch_Size（批大小）：

每批样本的大小。

Iteration（一次迭代）：

训练一个Batch就是一次Iteration（这个概念跟程序语言中的迭代器相似）

为什么要使用多于一个epoch?

在神经网络中传递完整的数据集一次是不够的，而且我们需要将完整的数据集在同样的神经网络中传递多次。但请记住，我们使用的是有限的数据集，并且我们使用一个迭代过程即梯度下降来优化学习过程。如下图所示。因此仅仅更新一次或者说使用一个epoch是不够的。

随着epoch数量增加，神经网络中的权重的更新次数也在增加，曲线从欠拟合变得过拟合。

那么，到底多少个epoch最枯槐合适，这个问题没有正确答案，对于不同的数据集，答案都不相同。

Batch Size

直观的理解：

Batch Size定义：一次训练所选取的样本数。

Batch Size的大小影响模型的优化程度和速度。同时其直接影响到GPU内存的使用情况，假如GPU内存不大，该数值轿败烂最好设置小一点。

为什么要提出Batch Size？

在没有使用Batch Size之前，这意味着网络在训练时，是一次把所有的数据（整个数据库）输入网络中，然后计算它们的梯度进行反向传播，由于在计算梯度时使用了整个数据库，所以计算得到的梯度方向更为准确。但在这情况下，计算得到不同梯度值差别巨大，难以使用一个全局的学习率，所以这时一般使用Rprop这种基于梯度符号的训练算法，单独进行梯度更新。

在小样本数的数据库中，不使用Batch Size是可行的，而且效果也很好。但是一旦是大型的数据库，一次性把所有数据输进网络，肯定会引起内存的爆炸。所以就提出Batch Size的概念。

Batch Size合适的优点：

1、通过并行化提高内存的利用率。就是尽量让你的GPU满载运行，提高训练速度。

关于深度学习epoch和深度学习基础教程的介绍到此就结束了，不知道你从中找到你需要的信息了吗 ？如果你还想了解更多这方面的信息，记得收藏关注本站。