分类：TensorFLow

2021
08-06

TensorFlow中tf.batch_matmul()的用法

TensorFlow中tf.batch_matmul()用法如果有两个三阶张量，size分别为a.shape=[100,3,4]b.shape=[100,4,5]c=tf.batch_matmul(a,b)则c.shape=[100,3,5]//将每一对3x4的矩阵与4x5的矩阵分别相乘。batch_size不变100为张量的batch_size。剩下的两个维度为数据的维度。不过新版的tensorflow已经移除了上面的函数，使用时换为tf.matmul就可以了。与上面注释的方式是同样的。附：如果是更高维度。例如(a,b,m,n)与... 继续阅读 >

2021
07-26

Tensorflow与RNN、双向LSTM等的踩坑记录及解决

1、tensorflow（不定长）文本序列读取与解析tensorflow读取csv时需要指定各列的数据类型。但是对于RNN这种接受序列输入的模型来说，一条序列的长度是不固定。这时如果使用csv存储序列数据，应当首先将特征序列拼接成一列。例如两条数据序列，第一项是标签，之后是特征序列[0,1.1,1.2,2.3]转换成[0,'1.1_1.2_2.3'][1,1.0,2.5,1.6,3.2,4.5]转换成[1,'1.0_2.5_1.6_3.2_4.5']这样每条数据都只包含固定两列了。读取方式是... 继续阅读 >

2021
07-22

浅谈tensorflow语义分割api的使用(deeplab训练cityscapes)

浅谈tensorflow语义分割api的使用(deeplab训练cityscapes)安装教程：cityscapes训练：遇到的坑：1.环境：-tensorflow1.8+CUDA9.0+cudnn7.0+annaconda3+py3.5-使用最新的tensorflow1.12或者1.10都不行，报错：报错不造卷积算法（convolutionalgorithm...）2.数据集转换#Exitimmediatelyifacommandexitswithanon-zerostatus.set-eCURRENT_DIR=$(pwd)WORK_DIR="."#RootpathforCityscapesdataset.CITYSCAPES_ROOT... 继续阅读 >

2021
07-17

基于tensorflow权重文件的解读

1.解读tensorflow权重文件,透过tf.train.NewCheckpointReader函数。2.reader.get_variable_to_shape_map()可以得到权重文件里面的tensor名称。3.reader.get_tensor(key)可以得到对应tensor的权重值。importtensorflowastfcpktFileName=r'.\models\resnet_v2_152.ckpt'reader=tf.train.NewCheckpointReader(cpktFileName)forkeyinsorted(reader.get_variable_to_shape_map()):ifkey.endswith('weights')orkey... 继续阅读 >

2021
07-17

tensorflow中的数据类型dtype用法说明

Tensorflow中，主要有以下几种数据类型（dtype），在旧版本中，不用加tf也能使用。有符号整型tf.int8：8位整数。tf.int16：16位整数。tf.int32：32位整数。tf.int64：64位整数。无符号整型tf.uint8：8位无符号整数。tf.uint16：16位无符号整数。浮点型tf.float16：16位浮点数。tf.float32：32位浮点数。tf.float64：64位浮点数。tf.double：等同于tf.float64。字符串型tf.string：字符串。布尔型tf.bool：布尔型。复数型tf.complex... 继续阅读 >

2021
07-17

TensorFlow的自动求导原理分析

原理：TensorFlow使用的求导方法称为自动微分（AutomaticDifferentiation），它既不是符号求导也不是数值求导，而类似于将两者结合的产物。最基本的原理就是链式法则，关键思想是在基本操作（op）的水平上应用符号求导，并保持中间结果（grad）。基本操作的符号求导定义在\tensorflow\python\ops\math_grad.py文件中，这个文件中的所有函数都用RegisterGradient装饰器包装了起来，这些函数都接受两个参数op和grad，参数op是操作，... 继续阅读 >

2021
07-17

tensorflow中的梯度求解及梯度裁剪操作

1.tensorflow中梯度求解的几种方式1.1tf.gradientstf.gradients(ys,xs,grad_ys=None,name='gradients',colocate_gradients_with_ops=False,gate_gradients=False,aggregation_method=None,stop_gradients=None,unconnected_gradients=tf.UnconnectedGradients.NONE)计算ys关于xs的梯度，tf.gradients返回的结果是一个长度为len(xs)的tensor列表list，例如tf.gradients(y,[x1,x2,x3]返回[... 继续阅读 >

2021
07-09

Tensorflow 如何从checkpoint文件中加载变量名和变量值

假设你已经经过上千次的迭代，并且得到了以下模型：则从这些checkpoint文件中加载变量名和变量值代码如下：model_dir='./ckpt-182802'importtensorflowastffromtensorflow.pythonimportpywrap_tensorflowreader=pywrap_tensorflow.NewCheckpointReader(model_dir)var_to_shape_map=reader.get_variable_to_shape_map()forkeyinvar_to_shape_map:print("tensor_name:",key)print(reader.get_tensor(key)... 继续阅读 >

2021
07-04

解决tensorflow 与keras 混用之坑

在使用tensorflow与keras混用是model.save是正常的但是在load_model的时候报错了在这里mark一下其中错误为：TypeError:tupleindicesmustbeintegers,notlist再一一番百度后无结果，上谷歌后找到了类似的问题。但是是一对鸟文不知道什么东西（翻译后发现是俄文）。后来谷歌翻译了一下找到了解决方法。故将原始问题文章贴上来警示一下原训练代码fromtensorflow.python.keras.preprocessing.imageimportImageDataGenerator... 继续阅读 >

2021
07-04

TensorFlow和keras中GPU使用的设置操作

1.训练运行时候指定GPU运行时候加一行代码：CUDA_VISIBLE_DEVICES=1pythontrain.py2.运行过程中按需或者定量分配GPUtensorflow直接在开启Session时候加几行代码就行，而Keras指定GPU，并限制按需用量和TensorFlow不太一样，因为keras训练是封装好的，不好对Session操作。如下是两种对应的操作。keras中的操作：importosimporttensorflowastffromkeras.backend.tensorflow_backendimportset_session#指定第一块GPU可用... 继续阅读 >

2021
07-01

基于Tensorflow搭建一个神经网络的实现

一、Tensorlow结构importtensorflowastfimportnumpyasnp#创建数据x_data=np.random.rand(100).astype(np.float32)y_data=x_data*0.1+0.3#创建一个tensorlow结构weights=tf.Variable(tf.random_uniform([1],-1.0,1.0))#一维，范围[-1,1]biases=tf.Variable(tf.zeros([1]))y=weights*x_data+biasesloss=tf.reduce_mean(tf.square(y-y_data))#均方差函数#建立优化器，减少误差，提高参数准确度，每次... 继续阅读 >

2021
06-03

tensorflow+k-means聚类简单实现猫狗图像分类的方法

一、前言本文使用的是kaggle猫狗大战的数据集：https://www.kaggle.com/c/dogs-vs-cats/data训练集中有25000张图像，测试集中有12500张图像。作为简单示例，我们用不了那么多图像，随便抽取一小部分猫狗图像到一个文件夹里即可。通过使用更大、更复杂的模型，可以获得更高的准确率，预训练模型是一个很好的选择，我们可以直接使用预训练模型来完成分类任务，因为预训练模型通常已经在大型的数据集上进行过训练，通常用于完成... 继续阅读 >

2021
04-27

深度学习tensorflow基础mnist

软件架构mnist数据集的识别使用了两个非常小的网络来实现，第一个是最简单的全连接网络，第二个是卷积网络，mnist数据集是入门数据集，所以不需要进行图像增强，或者用生成器读入内存，直接使用简单的fit()命令就可以一次性训练安装教程使用到的主要第三方库有tensorflow1.x，基于TensorFlow的Keras，基础的库包括numpy，matplotlib安装方式也很简答，例如：pipinstallnumpy-ihttps://pypi.tuna.tsinghua.edu.cn/simpl... 继续阅读 >

2021
04-27

tensorflow-gpu2.3版本安装步骤

一、硬件要求首先，TensorFlow-gpu不同于CPU版本的地方在于，GPU版本必须有GPU硬件的支撑。TensorFlow对NVIDIA显卡的支持较为完备。对于NVIDIA显卡，要求对于其算力不低于3.5。算力参考：http://developer.nvidia.com/cuda-gpus驱动版本注意:NVIDIA驱动程序需要418.x或者更高的版本。可以在命令行中输入nvidia-smi命令查看驱动版本。我们可以看到我们的驱动程序满足上述条件。于是我们可以开始正式安装tensorflow-gpu了。TensorFlo... 继续阅读 >

2021
04-07

tensorflow学习笔记之tfrecord文件的生成与读取

训练模型时，我们并不是直接将图像送入模型，而是先将图像转换为tfrecord文件，再将tfrecord文件送入模型。为进一步理解tfrecord文件，本例先将6幅图像及其标签转换为tfrecord文件，然后读取tfrecord文件，重现6幅图像及其标签。1、生成tfrecord文件importosimportnumpyasnpimporttensorflowastffromPILimportImagefilenames=['images/cat/1.jpg','images/cat/2.jpg','images/dog/1.jpg','images/dog/2.jpg','images/p... 继续阅读 >

2021
03-23

numpy和tensorflow中的各种乘法(点乘和矩阵乘)

点乘和矩阵乘的区别： 1)点乘(即“*”)----各个矩阵对应元素做乘法若w为 m*1 的矩阵，x为 m*n 的矩阵，那么通过点乘结果就会得到一个 m*n 的矩阵。若w为 m*n 的矩阵，x为 m*n 的矩阵，那么通过点乘结果就会得到一个 m*n 的矩阵。w的列数只能为 1 或 与x的列数相等(即n)，w的行数与x的行数相等 才能进行乘法运算。2)矩阵乘----... 继续阅读 >