分类：训练模型

2021
03-05

解决TensorFlow训练模型及保存数量限制的问题

每次卷积神经网络训练的结果都只保存了最后一部分，查阅了一下相关资料，发现是定义saver时采用的默认值，这里进行如下设置：saver=tf.train.Saver(max_to_keep=100,keep_checkpoint_every_n_hours=1)补充：解决TensorFlow只能保存5个模型的问题直奔主题在训练模型的代码中找到这句代码：tf.train.Saver（），改成：tf.train.Saver(max_to_keep=m)#m为你想保存的模型数量扩展Saver类中的可选参数tf.train.Saver(ma... 继续阅读 >

2020
10-08

keras 两种训练模型方式详解fit和fit_generator(节省内存)

第一种，fitimportkerasfromkeras.modelsimportSequentialfromkeras.layersimportDenseimportnumpyasnpfromsklearn.preprocessingimportLabelEncoderfromsklearn.preprocessingimportOneHotEncoderfromsklearn.model_selectionimporttrain_test_split#读取数据x_train=np.load("D:\\machineTest\\testmulPE_win7\\data_sprase.npy")[()]y_train=np.load("D:\\machineTest\\testmulPE_win7\\lable_sprase.np... 继续阅读 >

2020
10-08

tensorflow 2.0模式下训练的模型转成 tf1.x 版本的pb模型实例

升级到tf2.0后,训练的模型想转成1.x版本的.pb模型,但之前提供的通过ckpt转pb模型的方法都不可用(因为保存的ckpt不再有.meta)文件,尝试了好久,终于找到了一个方法可以迂回转到1.x版本的pb模型.Note:本方法首先有些要求需要满足:可以拿的到模型的网络结构定义源码网络结构里面的所有操作都是通过tf.keras完成的,不能出现类似tf.nn的tensorflow自己的操作符tf2.0下保存的模型是.h5格式的,并且仅保存了weights,即通过model.sa... 继续阅读 >

2020
10-08

keras实现theano和tensorflow训练的模型相互转换

我就废话不多说了，大家还是直接看代码吧~</pre><precode_snippet_id="1947416"snippet_file_name="blog_20161025_1_3331239"name="code"class="python">#coding:utf-8"""Ifyouwanttoloadpre-trainedweightsthatincludeconvolutions(layersConvolution2DorConvolution1D),bemindfulofthis:TheanoandTensorFlowimplementconvolutionindifferentways(TensorFlowactuallyimplementscorrelation,muc... 继续阅读 >

2020
10-08

浅谈keras通过model.fit_generator训练模型(节省内存)

前言前段时间在训练模型的时候，发现当训练集的数量过大，并且输入的图片维度过大时，很容易就超内存了，举个简单例子，如果我们有20000个样本，输入图片的维度是224x224x3，用float32存储，那么如果我们一次性将全部数据载入内存的话，总共就需要20000x224x224x3x32bit/8=11.2GB这么大的内存，所以如果一次性要加载全部数据集的话是需要很大内存的。如果我们直接用keras的fit函数来训练模型的话，是需要传入全部训练数据，但是好... 继续阅读 >

2020
10-08

解决Alexnet训练模型在每个epoch中准确率和loss都会一升一降问题

遇到的问题当时自己在使用Alexnet训练图像分类问题时，会出现损失在一个epoch中增加，换做下一个epoch时loss会骤然降低，一开始这个问题没有一点头绪，我数据也打乱了，使用的是tf.train.shuffle_batch在capacity中设置一个值，比如是1000吧，每次取一千个数据后将这一千个数据打乱，本次使用的数据集就是每个种类1000多，而我加载数据时是一类一类加载的，这就造成了每一批次的开始可以跟前一类数据做打乱处理，但是在中间数据并... 继续阅读 >

2020
10-07

keras实现调用自己训练的模型,并去掉全连接层

其实很简单fromkeras.modelsimportload_modelbase_model=load_model('model_resenet.h5')#加载指定的模型print(base_model.summary())#输出网络的结构图这是我的网络模型的输出，其实就是它的结构图__________________________________________________________________________________________________Layer(type)OutputShapeParam#Connectedto=========================================... 继续阅读 >

2020
09-29

浅谈Tensorflow加载Vgg预训练模型的几个注意事项

写这个博客的关键Bug:Valuepassedtoparameter'input'hasDataTypeuint8notinlistofallowedvalues:float16,bfloat16,float32,float64。本博客将围绕加载图片和保存图片到本地来详细解释和解决上述的Bug及其引出来的一系列Bug。加载图片首先，造成上述Bug的代码如下所示image_path="data/test.jpg"#本地的测试图片image_raw=tf.gfile.GFile(image_path,'rb').read()#一定要tf.float()，否则会报错imag... 继续阅读 >

2020
09-29

Tensorflow加载Vgg预训练模型操作

很多深度神经网络模型需要加载预训练过的Vgg参数，比如说：风格迁移、目标检测、图像标注等计算机视觉中常见的任务。那么到底如何加载Vgg模型呢？Vgg文件的参数到底有何意义呢？加载后的模型该如何使用呢？本文将以Vgg19为例子，详细说明Tensorflow如何加载Vgg预训练模型。实验环境GTX1050-ti,cuda9.0Window10,Tensorflow1.12展示Vgg19构造importtensorflowastfimportnumpyasnpimportscipy.iodata_path='model/vgg1... 继续阅读 >

2020
09-29

keras 如何保存最佳的训练模型

1、只保存最佳的训练模型2、保存有所有有提升的模型3、加载模型4、参数说明只保存最佳的训练模型fromkeras.callbacksimportModelCheckpointfilepath='weights.best.hdf5'#有一次提升,则覆盖一次.checkpoint=ModelCheckpoint(filepath,monitor='val_acc',verbose=1,save_best_only=True,mode='max',period=2)callbacks_list=[checkpoint]model.compile(loss='categorical_crossentropy',optimizer=optimizers.Adam... 继续阅读 >