分类：Loss

2021
06-23

pytorch loss反向传播出错的解决方案

今天在使用pytorch进行训练，在运行loss.backward()误差反向传播时出错：RuntimeError:gradcanbeimplicitlycreatedonlyforscalaroutputsFile"train.py",line143,intrainloss.backward()File"/usr/local/lib/python3.6/dist-packages/torch/tensor.py",line198,inbackwardtorch.autograd.backward(self,gradient,retain_graph,create_graph)File"/usr/local/lib/python3.6/dist-packages/torch/autograd/... 继续阅读 >

2020
10-08

解决keras GAN训练是loss不发生变化,accuracy一直为0.5的问题

1、BinaryCrossEntropy常用于二分类问题，当然也可以用于多分类问题，通常需要在网络的最后一层添加sigmoid进行配合使用，其期望输出值（target）需要进行onehot编码，另外BCELoss还可以用于多分类问题Multi-labelclassification.定义：Forbrevity,letx=output,z=target.Thebinarycrossentropylossisloss(x,z)=-sum_i(x[i]*log(z[i])+(1-x[i])*log(1-z[i]))对应的代码为：defbinary_crossentrop... 继续阅读 >

2020
10-08

keras中epoch,batch,loss,val_loss用法说明

1、epochKeras官方文档中给出的解释是：“简单说，epochs指的就是训练过程接中数据将被“轮”多少次”（1）释义：训练过程中当一个完整的数据集通过了神经网络一次并且返回了一次，这个过程称为一个epoch，网络会在每个epoch结束时报告关于模型学习进度的调试信息。（2）为什么要训练多个epoch，即数据要被“轮”多次在神经网络中传递完整的数据集一次是不够的，对于有限的数据集（是在批梯度下降情况下），使用一个迭代过程，更新... 继续阅读 >

2020
10-08

浅谈keras中loss与val_loss的关系

loss函数如何接受输入值keras封装的比较厉害，官网给的例子写的云里雾里，在stackoverflow找到了答案Youcanwrapthelossfunctionasainnerfunctionandpassyourinputtensortoit(ascommonlydonewhenpassingadditionalargumentstothelossfunction).defcustom_loss_wrapper(input_tensor):defcustom_loss(y_true,y_pred):returnK.binary_crossentropy(y_true,y_pred)+K.mean(input_tensor)return... 继续阅读 >

2020
10-08

keras做CNN的训练误差loss的下降操作

采用二值判断如果确认是噪声，用该点上面一个灰度进行替换。噪声点处理：对原点周围的八个点进行扫描，比较。当该点像素值与周围8个点的值小于N时，此点为噪点。处理后的文件大小只有原文件小的三分之一，前后的图片内容肉眼几乎无法察觉。但是这样处理后图片放入CNN中在其他条件不变的情况下，模型loss无法下降，二分类图片，loss一直在8-9之间。准确率维持在0.5,同时，测试集的训练误差持续下降，但是准确率也在0.5徘徊。大概真... 继续阅读 >

2020
10-08

基于Keras的格式化输出Loss实现方式

在win764位，Anaconda安装的Python3.6.1下安装的TensorFlow与Keras，Keras的backend为TensorFlow。在运行MaskR-CNN时，在进行调试时想知道PyCharm(PythonIDE)底部窗口输出的Loss格式是在哪里定义的，如下图红框中所示：图1训练过程的Loss格式化输出在上图红框中，Loss的输出格式是在哪里定义的呢？有一点是明确的，即上图红框中的内容是在训练的时候输出的。那么先来看一下MaskR-CNN的训练过程。Keras以Numpy数组作为输入数... 继续阅读 >

2020
10-08

解决Alexnet训练模型在每个epoch中准确率和loss都会一升一降问题

遇到的问题当时自己在使用Alexnet训练图像分类问题时，会出现损失在一个epoch中增加，换做下一个epoch时loss会骤然降低，一开始这个问题没有一点头绪，我数据也打乱了，使用的是tf.train.shuffle_batch在capacity中设置一个值，比如是1000吧，每次取一千个数据后将这一千个数据打乱，本次使用的数据集就是每个种类1000多，而我加载数据时是一类一类加载的，这就造成了每一批次的开始可以跟前一类数据做打乱处理，但是在中间数据并... 继续阅读 >

2020
10-08

在tensorflow下利用plt画论文中loss,acc等曲线图实例

直接上代码：fig_loss=np.zeros([n_epoch])fig_acc1=np.zeros([n_epoch])fig_acc2=np.zeros([n_epoch])forepochinrange(n_epoch):start_time=time.time()#trainingtrain_loss,train_acc,n_batch=0,0,0forx_train_a,y_train_ainminibatches(x_train,y_train,batch_size,shuffle=True):_,err,ac=sess.run([train_op,loss,acc],feed_dict={x:x_train_a,y_:y_train_a})train_loss+=err;train_ac... 继续阅读 >

2020
10-08

keras绘制acc和loss曲线图实例

我就废话不多说了，大家还是直接看代码吧！#加载keras模块from__future__importprint_functionimportnumpyasnpnp.random.seed(1337)#forreproducibilityimportkerasfromkeras.datasetsimportmnistfromkeras.modelsimportSequentialfromkeras.layers.coreimportDense,Dropout,Activationfromkeras.optimizersimportSGD,Adam,RMSpropfromkeras.utilsimportnp_utilsimportmatplotlib.pyplotasplt%mat... 继续阅读 >

2020
10-08

keras中的loss、optimizer、metrics用法

用keras搭好模型架构之后的下一步，就是执行编译操作。在编译时，经常需要指定三个参数lossoptimizermetrics这三个参数有两类选择：使用字符串使用标识符，如keras.losses，keras.optimizers，metrics包下面的函数例如：sgd=SGD(lr=0.01,decay=1e-6,momentum=0.9,nesterov=True)model.compile(loss='categorical_crossentropy',optimizer=sgd,metrics=['accuracy'])因为有时可以使用字符串，有时可以使用标识符，令人很想... 继续阅读 >

2020
10-07

keras打印loss对权重的导数方式

Notes怀疑模型梯度爆炸，想打印模型loss对各权重的导数看看。如果如果fit来训练的话，可以用keras.callbacks.TensorBoard实现。但此次使用train_on_batch来训练的，用K.gradients和K.function实现。Codes以一份VAE代码为例#-*-coding:utf8-*-importkerasfromkeras.modelsimportModelfromkeras.layersimportInput,Lambda,Conv2D,MaxPooling2D,Flatten,Dense,Reshapefromkeras.lossesimportbinary_crossentr... 继续阅读 >

2020
10-07

Keras之自定义损失(loss)函数用法说明

在Keras中可以自定义损失函数，在自定义损失函数的过程中需要注意的一点是，损失函数的参数形式，这一点在Keras中是固定的，须如下形式：defmy_loss(y_true,y_pred):#y_true:Truelabels.TensorFlow/Theanotensor#y_pred:Predictions.TensorFlow/Theanotensorofthesameshapeasy_true...returnscalar#返回一个标量值然后在model.compile中指定即可，如：model.compile(loss=my_loss,optimizer='sgd')具体参... 继续阅读 >

2020
09-29

keras自定义回调函数查看训练的loss和accuracy方式

前言：keras是一个十分便捷的开发框架，为了更好的追踪网络训练过程中的损失函数loss和准确率accuracy，我们有几种处理方式，第一种是直接通过history=model.fit()，来返回一个history对象，通过这个对象可以访问到训练过程训练集的loss和accuracy以及验证集的loss和accuracy。第二种方式就是通过自定义一个回调函数Callbacks，来实现这一功能，本文主要讲解第二种方式。一、如何构建回调函数Callbacks本文所针对的例子是卷积神... 继续阅读 >