深度学习loss（深度学习框架）

本篇文章给大家谈谈深度学习loss，以及深度学习框架对应的知识点，希望对各位有所帮助，不要忘了收藏本站喔。

本文目录一览：

• 1、深度学习设定loss小于多少时，模型停止训练？
• 2、深度学习的多个loss如何平衡？
• 3、loss到多少可以使用

深度学习设定loss小于多少时，模型停止训练？

首先只有你手头腊慧丛有训练的原码才能按照下面的方法操作

训练的大体结构是这样的：

循环体的大致结构

只要在循环体里面轮樱碧拿加上一个判断就可以了

条件判断

意思就是如果loss小于0.1，就跳出循环

[img]

深度学习的多个loss如何平衡？

蓝海大脑为解决深度学习的多个loss如何平衡做出中高了很多努力，总结出以乱培扒下经验：

loss = a * loss1 + b * loss2 + c * loss3 怎么设置 a，b，c？

我的经验是 loss 的尺度一般不太影响性能，除非本来主 loss 是 loss1，但是因为 b，c 设置太大了导致其他 loss 变成了主 loss。

实践上有几个调整方法：

1.手动把所有 loss 放缩到差不多的尺度，设 a = 1，b 和 c 取 10^k，k 选完不管了；

2.如果有两项 loss，可以 loss = a * loss1 + (1 - a) * loss2，通过控制一个超参数 a 调整 loss；

3.我试过的玄学躺平做法 loss = loss1 / loss1.detach() + loss2 / loss2.detach() + loss3 loss3.detach()，分母可能需要加 eps，相当于在每一个 iteration 选定超参数 a, b, c，使得多个 loss 尺度完全一致；进一步更科学一点就 loss = loss1 + loss2 / (loss2 / loss1).detach() + loss3 / (loss3 / loss1).detach()，感觉比 loss 向 1 对齐合理

某大佬告诉我，loss 就像菲涅尔透镜，纵使你能设计它的含义，也很难设计它的梯度。所以暴力一轮就躺哗昌平了。我个人见解，很多 paper 设计一堆 loss 只是为了让核心故事更完整，未必强过调参。

loss到多少可以使用

loss应根据具体的模型损失函数来确定到多少可以使碧局宽用，并没有一个泛化的标准，不同模型的loss相差可以非常大。一般而言悔亮，模型的loss小于0.01时即可使用。

loss是深度学习中评估AI模型在训练集上拟合程度的一个重要指标，loss越小说明模型的拟合程度越高。但是，拟合程度越高并不代表模型的性能越强。模型性能与其泛化能力腊渣相关

关于深度学习loss和深度学习框架的介绍到此就结束了，不知道你从中找到你需要的信息了吗 ？如果你还想了解更多这方面的信息，记得收藏关注本站。