分类：Python

2020
10-09

详解python 内存优化

写在之前围绕类的话题，说是说不完的，仅在特殊方法，除了我们在前面遇到过的__init__()，__new__()，__str__()等之外还有很多。虽然它们只是在某些特殊的场景中才会用到，但是学会它们却可以成为你熟悉这门语言路上的铺路石。所以我会在试图介绍一些「黑魔法」，让大家多多感受一下Python的魅力所在，俗话说「艺多不压身」就是这个道理了。内存优化首先先让我们从复习前面的类属性和实例属性的知识来引出另一个特殊方法：>>>... 继续阅读 >
2020
10-09

详解Python 中的容器 collections

写在之前我们都知道Python中内置了许多标准的数据结构，比如列表，元组，字典等。与此同时标准库还提供了一些额外的数据结构，我们可以基于它们创建所需的新数据结构。Python附带了一个「容器」模块collections，它包含了很多的容器数据类型，今天我们来讨论其中几个常用的容器数据类型，掌握了这几个可以减少我们重复造轮子所带来的烦扰。namedtuple相信你已经熟悉了元组。一个元组相当于一个不可变的列表，你可以存储一个数... 继续阅读 >
2020
10-09

Python 解析库json及jsonpath pickle的实现

Python 解析库json及jsonpath pickle的实现 1.数据抽取的概念2.数据的分类3.JSON数据概述及解析3.1JSON数据格式3.2解析库jsonjson模块是Python内置标准库，主要可以完成两个功能：序列化和反序列化。JSON对象和Python对象映射图如下：3.2.1json序列化对象(字典/列表)通过json.dump()/json.dumps()==>json字符串。示例代码如下：importjsonclassPhone(object):def__init__(self,name,price):self.name=nameself.price=priceclassDefault(json.JSONEn... 继续阅读 >
2020
10-09

Python实现爬取网页中动态加载的数据

Python实现爬取网页中动态加载的数据 在使用python爬虫技术采集数据信息时，经常会遇到在返回的网页信息中，无法抓取动态加载的可用数据。例如，获取某网页中，商品价格时就会出现此类现象。如下图所示。本文将实现爬取网页中类似的动态加载的数据。1.那么什么是动态加载的数据?我们通过requests模块进行数据爬取无法每次都是可见即可得，有些数据是通过非浏览器地址栏中的url请求得到的。而是通过其他请求请求到的数据，那么这些通过其他请求请求到的数据就是动... 继续阅读 >
2020
10-09

Python 如何操作 SQLite 数据库

写在之前SQLite是一个小型的关系型数据库，它最大的特点在于不需要单独的服务、零配置。我们在之前讲过的两个数据库，不管是MySQL还是MongoDB，都需要我们安装。安装之后，然后运行起来，其实这就相当于已经有一个相应的服务在跑着。SQLite与前面所说的两个数据库不同。首先Python已经将相应的驱动模块作为了标准库的一部分，只要是你安装了Python，就可以使用；再者它可以类似于操作文件那样来操作SQLite数据库文件。还... 继续阅读 >
2020
10-09

Python使用正则表达式实现爬虫数据抽取

Python使用正则表达式实现爬虫数据抽取 1.为什么要使用正则表达式?首先，大家来看一个例子。一个文本文件里面存储了一些市场职位信息，格式如下所示：Python3高级开发工程师上海互教教育科技有限公司上海-浦东新区2万/月02-18满员测试开发工程师（C++/python）上海墨?数码科技有限公司上海-浦东新区2.5万/每月02-18未满员Python3开发工程师上海德拓信息技术股份有限公司上海-徐汇区1.3万/每月02-18剩余11人测试开发工程师（Python）赫里普（上海）信息科技有... 继续阅读 >
2020
10-09

Python使用正则表达式实现爬虫数据抽取

Python使用正则表达式实现爬虫数据抽取 1.为什么要使用正则表达式?首先，大家来看一个例子。一个文本文件里面存储了一些市场职位信息，格式如下所示：Python3高级开发工程师上海互教教育科技有限公司上海-浦东新区2万/月02-18满员测试开发工程师（C++/python）上海墨?数码科技有限公司上海-浦东新区2.5万/每月02-18未满员Python3开发工程师上海德拓信息技术股份有限公司上海-徐汇区1.3万/每月02-18剩余11人测试开发工程师（Python）赫里普（上海）信息科技有... 继续阅读 >
2020
10-09

Python 通过正则表达式快速获取电影的下载地址

Python 通过正则表达式快速获取电影的下载地址 在爬取网页信息时，如果在HTML代码中通过获取标签的方式来提取电影的下载地址时，不仅要编写比较多的代码，还需要不断的确认每一层的标签是否正确，这样的操作无疑是烦琐的。如下图所示。那么通过什么方式既可以减少代码量，又可以很简单的提取指定标签的内容呢？本文将实现通过正则表达式快速获取电影的下载地址。如果对正则表达式不熟悉的读者，点击此处学习正则表达式。在爬取网页信息的任务中，可以使用正则表达式的方式快速... 继续阅读 >
2020
10-09

Python 程序员必须掌握的日志记录

写在之前在我们的现实生活中，「日志记录」其实是一件非常重要的事情，比如银行的转账记录，汽车的行车记录仪记录行驶过程中的一切，如果出现了什么问题，我们可以通过「日志记录」来搞清楚到底发生了什么事情。除了在生活中，在日常的系统开发以及调试等过程中，记录日志同样是一件很重要的事情。很多编程初学者并没有「记录日志」的习惯，认为记录日志是一件可有可无的事情，出现问题的时候只要使用print函数打印一下程序的中... 继续阅读 >
2020
10-09

Python使用urlretrieve实现直接远程下载图片的示例代码

Python使用urlretrieve实现直接远程下载图片的示例代码 在实现爬虫任务时，经常需要将一些图片下载到本地当中。那么在python中除了通过open()函数，以二进制写入方式来下载图片以外，还有什么其他方式吗？本文将使用urlretrieve实现直接远程下载图片。下面我们再来看看urllib模块提供的urlretrieve()函数。urlretrieve()方法直接将远程数据下载到本地。>>>help(urllib.urlretrieve)Helponfunctionurlretrieveinmoduleurllib:urlretrieve(url,filename=None,reporthook=No... 继续阅读 >
2020
10-09

Python使用urlretrieve实现直接远程下载图片的示例代码

Python使用urlretrieve实现直接远程下载图片的示例代码 在实现爬虫任务时，经常需要将一些图片下载到本地当中。那么在python中除了通过open()函数，以二进制写入方式来下载图片以外，还有什么其他方式吗？本文将使用urlretrieve实现直接远程下载图片。下面我们再来看看urllib模块提供的urlretrieve()函数。urlretrieve()方法直接将远程数据下载到本地。>>>help(urllib.urlretrieve)Helponfunctionurlretrieveinmoduleurllib:urlretrieve(url,filename=None,reporthook=No... 继续阅读 >
2020
10-09

Python 如何查找特定类型文件

写在之前今天的文章是介绍如何用Python去定位特定类型的文件，会讲到用字符串匹配文件名定位特定文件以及顺带介绍一下遍历目录树的函数，通过今天的这一部分以及之前文章讲到的文件获取属性的操作，可以做很多有意思的事情。定位特定文件定位特定的文件，可以使用fnmatch以及glob这两个标准库，我们下面来分别看一下。1.使用fnmatch标准库一般的话我们想要查找特定类型的文件，可以通过字符串的前缀匹配和后缀匹配来查找... 继续阅读 >
2020
10-09

Python 通过爬虫实现GitHub网页的模拟登录的示例代码

Python 通过爬虫实现GitHub网页的模拟登录的示例代码 1.实例描述通过爬虫获取网页的信息时，有时需要登录网页后才可以获取网页中的可用数据，例如获取GitHub网页中的注册号码时，就需要先登录账号才能在登录后的页面中看到该信息，如下图所示。那么该如何实现模拟登录的功能呢？本文实现将通过爬虫实现GitHub网页的模拟登录。2.代码实现在实现GitHub网页的模拟登录时，首先需要查看提交登录请求时都要哪些请求参数，然后获取登录请求的所有参数，再发送登录请求。如果登录成功... 继续阅读 >
2020
10-09

无需压缩软件，用python帮你操作压缩包

写在之前压缩包是互联网上软件发布的标准格式，同时对于系统管理很有用处。当我们需要将多份文件发送给别人的时候，最好通过压缩包的形式发送，还有在备份某些文件的时候，为了减少磁盘空间的占用，也需要对备份的数据进行压缩。Python中有一系列对压缩包进行处理的工具，包括创建压缩包，解压压缩包以及获取压缩包中的文件列表等，今天的文章，我们就来学习一下与压缩包相关的Python标准库。管理zip压缩包在大多数情况下，我... 继续阅读 >
2020
10-09

用Python制作mini翻译器的实现示例

用Python制作mini翻译器的实现示例 1.实例描述在平时编程的过程中，会经常在网上翻译一些单词，本文使用Python制作一款翻译小工具，不仅可以自己用，还可以嵌入到程序当中。运行程序，效果如下图所示，在文本框输入英文或中文，单击翻译按钮即可翻译，并将翻译内容显示在下面的文本框中。单击保存按钮将输入内容和翻译内容保存到文本文件中以便日后复习。单击清空按钮，将清除文本框中的内容。2.技术要点利用requests模块获取有道词典web页面的post信... 继续阅读 >