分类：python

2020
09-29

Python基于codecs模块实现文件读写案例解析

Python基于codecs模块实现文件读写案例解析 codecs在读取文件时，发生错误：UnicodeDecodeError:'utf-8'codeccan'tdecodebyte0xbeinposition0:invalidstartbyte中文切换编码：gbk，正常解决。但有时，utf-8和gbk都不好使用，使用notepad++，打开有乱码；看到有小块黑色。这时候，需要加个参数,errors="ignore"#读文件：含特殊字符importcodecsf=codecs.open('20.txt','rb',encoding='gbk',errors="ignore")#默认编码utf-8，中文是gbkcontent=f.readlin... 继续阅读 >
2020
09-29

Python基于pandas爬取网页表格数据

Python基于pandas爬取网页表格数据 以网页表格为例：https://www.kuaidaili.com/free/该网站数据存在table标签，直接用requests，需要结合bs4解析正则/xpath/lxml等，没有几行代码是搞不定的。今天介绍的黑科技是pandas自带爬虫功能，pd.read_html()，只需传人url，一行代码搞定。原网页结构如下：python代码如下：importpandasaspdurl='http://www.kuaidaili.com/free/'df=pd.read_html(url)[0]#[0]：表示第一个table，多个table需要指定，如果不指定默认第一... 继续阅读 >
2020
09-29

python中sort sorted reverse reversed函数的区别说明

sort()是可变对象(字典、列表)的方法，无参数，无返回值，sort()会改变可变对象，因此无需返回值。sort()方法是可变对象独有的方法或者属性，而作为不可变对象如元组、字符串是不具有这些方法的，如果调用将会返回一个异常。代码如下：>>>a=[5,4,3,2,1]>>>a.sort()>>>[1,2,3,4,5]>>>a>>>[1,2,3,4,5]sorted()是python的内置函数，并不是可变对象(列表、字典)的特有方法，sorted()函数需要一个参数(参数可以是列表、字... 继续阅读 >
2020
09-29

python的reverse函数翻转结果为None的问题

今天刷二级题的时候，遇到一个问题>>>L2=[1,2,3,4]>>>L3=L2.reverse()>>>print(L3)None>>>print(L3)None>>>print(L2.reverse())None其实我想让它输出[4,3,2,1]reverse函数，翻转列表然后我改了一下>>>L2.reverse()>>>L3=L2>>>print(L3)[4,3,2,1]>>>print(L2)[4,3,2,1]>>>这是在网上找到的解释a=[1,2,3,4].reverse()?why“a”isNone?看到其讨论说到：b=[1,2,3,4]a=b.reverse()wouldchangethevalu... 继续阅读 >
2020
09-29

将python字符串转化成长表达式的函数eval实例

爬一个网页时，要保存的数据都没有encode，就导致保存下来的中文都变成unicode了。。。那么，怎么把一个表示字符串的unicode还原成unicode呢？函数eval(expression)就可以帮助完成这项工作。例如：>>>>a="u'\\u674e'">>>printau'\u674e'>>>printeval(a)李该函数的描述：TheexpressionargumentisparsedandevaluatedasaPythonexpression也就是说这个函数可以把expression重新转化成python表达式。附带的例子如下：... 继续阅读 >
2020
09-29

python函数中将变量名转换成字符串实例

考虑到在日常中，常常需要对模型指标输出，但涉及多个模型的时候，需要对其有标示输出，故需要将模型变量名转换成字符串。看到的基本方法有两种：一、方法层面：方法1（函数内推荐）：defnamestr(obj,namespace):return[namefornameinnamespaceifnamespace[name]isobj]print(namestr(lr_origin,globals()),'\n',namestr(lr_origin,globals())[0])输出：‘lr_origin'方法2：importinspect,redefvarname(p):forline... 继续阅读 >
2020
09-29

Python 字节流,字符串,十六进制相互转换实例(binascii,bytes)

Python 字节流,字符串,十六进制相互转换实例(binascii,bytes) 问题描述最近做一个项目，是用Python进行相关的串口操作。及将相关指令通过串口发给设备，设备根据发过来的指令来做出相应的操作,所用的库是Pyserial。在最初开发时，出现的问题在于：别人给的文档里面的命令是十六进制的。例如，给出一个指令：5aa50782100031323334。那么，我们需要思考的是，我们如何将上面的指令，转换为pyserial库进行写操作时（write）所需要的bytes类型。解决方法首先，我们需要知道的是，我们首先，... 继续阅读 >
2020
09-29

基于python实现获取网页图片过程解析

环境：python3，要安装bs4这个第三方库获取请求头的方法这里使用的是Chrome浏览器。打开你想查询的网站，按F12，或者鼠标右键一下选择检查。会弹出如下的审查元素页面：然后点击上方选项中的Network选项：此时在按Ctrl+R:选择下方框中的第一个，单击：选择Headers选项，其中就会有RequestHeaders，包括你需要的信息。介绍：这个程序是用来批量获取网页的图片，用于新手入门注意：由于是入门的程序在获取某些网页的图片时会出问题... 继续阅读 >
2020
09-29

python将unicode和str互相转化的实现

问题一：将u'\u810f\u4e71'转换为'\u810f\u4e71'方法：s_unicode=u'\u810f\u4e71's_str=s_unicode.encode('unicode-escape').decode('string_escape')问题二：将'\u810f\u4e71'转换为u'\u810f\u4e71'方法：s_str='\u810f\u4e71's_unicode=s_str.decode('unicode-escape')补充知识：Python最简单的解决列表中只打印UNICODE而不是中文字符的方法答案就是用json模块：例如：importjsondata=[{u'\u663e\u793a':[u'python',... 继续阅读 >
2020
09-29

Python urllib.request对象案例解析

刚刚接触爬虫，基础的东西得时时回顾才行，这么全面的帖子无论如何也得厚着脸皮转过来啊！什么是Urllib库？urllib库是Python内置的HTTP请求库。urllib模块提供的上层接口，使访问www和ftp上的数据就像访问本地文件一样。有以下几种模块：1.urllib.request请求模块2.urllib.error异常处理模块3.urllib.parseurl解析模块4.urllib.robotparserrobots.txt解析模块Urllib库下的几种模块基本使用如下：urllib.req... 继续阅读 >
2020
09-29

python将dict中的unicode打印成中文实例

我就废话不多说了，大家还是直接看代码吧！importjsona={u'content':{u'address_detail':{u'province':u'\u5409\u6797\u7701',u'city':u'\u957f\u6625\u5e02',u'street_number':u'',u'district':u'',u'street':u'',u'city_code':53},u'point':{u'y':u'43.89833761',u'x':u'125.31364243'},u'address':u'\u5409\u6797\u7701\u957f\u6625\u5e02'},u'status':0,u'address':u'CN|\u5409\u6797|\u957f\u6625... 继续阅读 >
2020
09-28

基于python locust库实现性能测试

基于python locust库实现性能测试 Locust（俗称蝗虫）,一个轻量级的开源压测工具，用Python编写。安装pip3installlocustPython编写性能测试脚本importjsonfromlocustimportHttpLocust,TaskSet,task"""创建后台管理站点压测类，需要继承TaskSet可以添加多个测试任务"""classAdminLoadTest(TaskSet):#用户执行task前调用defon_start(self):pass#用户执行task后调用defon_stop(self):pass@task(1)defdownload(self):header=... 继续阅读 >
2020
09-28

Python 找出出现次数超过数组长度一半的元素实例

Python 找出出现次数超过数组长度一半的元素实例 利用问题的普遍性和特殊性来求解，代码如下：importunittestfromdatetimeimportdatetimeclassGetFreqNumbersFromList(unittest.TestCase):defsetUp(self):print("\n")self.start_time=datetime.now()print(f"{self._testMethodName}start:{self.start_time}")deftearDown(self):self.end_time=datetime.now()print(f"{self._testMethodName}end:{self.end_time}")exec_time=(self.end_time-self.... 继续阅读 >
2020
09-28

python3.6环境下安装freetype库和基本使用方法(推荐)

python3.6环境下安装freetype库和基本使用方法(推荐) FreeType库是一个完全免费（开源）的、高质量的且可移植的字体引擎，它提供统一的接口来访问多种字体格式文件，包括TrueType,OpenType,Type1,CID,CFF,WindowsFON/FNT,X11PCF等。在做图像展示的时候，可以写入中文文字，效果还是很好。在之前安装库时基本都是直接切换到python3.6环境下直接pipinstallXXX，在安装freetype直接pipinstallfreetype不可以了，查了半天又是编译又是官网下载的，太麻烦，不推荐。（1）正确的... 继续阅读 >
2020
09-28

Pycharm中安装wordcloud等库失败问题及终端通过pip安装的Python库如何添加到Pycharm解释器中(推荐)

Pycharm中安装wordcloud等库失败问题及终端通过pip安装的Python库如何添加到Pycharm解释器中(推荐) 这里介绍笔者在学习wordcloud库时安装过程中所遇到的问题和解决方案1.在Pycharm中安装wordcloud出现的问题如下图所示2.解决方法：在终端中通过wordcloud安装包安装方式，wordcloud的安装包下载链接：https://www.lfd.uci.edu/~gohlke/pythonlibs/#wordcloud选择与自己Python版本想对应的即可，这里笔者Python是3.8的所以选择图中标记的，版本选择不匹配将会安装错误，如下图所示：下载完成后打开终端通过pip安装，且保证wordcloud... 继续阅读 >