分类：PYTHON

2020
10-09

基于Python爬取51cto博客页面信息过程解析

介绍提到爬虫，互联网的朋友应该都不陌生，现在使用Python爬取网站数据是非常常见的手段，好多朋友都是爬取豆瓣信息为案例，我不想重复，就使用了爬取51cto博客网站信息为案例，这里以我的博客页面为教程，编写的Python代码！实验环境1.安装Python3.72.安装requests,bs4模块实验步骤1.安装Python3.7环境2.安装requests,bs4模块打开cmd,输入：pipinstallrequests-ihttps://pypi.tuna.tsinghua.edu.cn/simple/再安装bs4,输入... 继续阅读 >
2020
10-09

Python使用requests模块爬取百度翻译

Python使用requests模块爬取百度翻译 requests模块：python中原生的一款基于网络请求的模块，功能非常强大，简单便捷，效率极高。作用：模拟浏览器发请求。提示：老版使用urllib模块，但requests比urllib模块要简单好用，现在学习requests模块即可！requests模块编码流程指定url1.1UA伪装1.2请求参数的处理2.发起请求3.获取响应数据4.持久化存储环境安装：pipinstallrequests案例一：破解百度翻译（post请求）1.代码如下：#爬取百度翻译#导入模块importrequestsi... 继续阅读 >
2020
10-09

Python爬虫使用bs4方法实现数据解析

Python爬虫使用bs4方法实现数据解析 聚焦爬虫:爬取页面中指定的页面内容。编码流程：1.指定url2.发起请求3.获取响应数据4.数据解析5.持久化存储数据解析分类：1.bs42.正则3.xpath(***)数据解析原理概述：解析的局部的文本内容都会在标签之间或者标签对应的属性中进行存储1.进行指定标签的定位2.标签或者标签对应的属性中存储的数据值进行提取（解析）bs4进行数据解析数据解析的原理：1.标签定位2.提取标签、标签属性中存储的数据值bs4数据解析的原理... 继续阅读 >
2020
10-09

Python+Opencv身份证号码区域提取及识别实现

Python+Opencv身份证号码区域提取及识别实现 前端时间智能信息处理实训，我选择的课题为身份证号码识别，对中华人民共和国公民身份证进行识别，提取并识别其中的身份证号码，将身份证号码识别为字符串的形式输出。现在实训结束了将代码发布出来供大家参考，识别的方式并不复杂，并加了一些注释，如果有什么问题可共同讨论。最后重要的事情说三遍：请勿直接抄袭，请勿直接抄袭，请勿直接抄袭！尤其是我的学弟学妹们，还是要自己做的，小心直接拿我的用被老师发现了挨批^_^。实... 继续阅读 >
2020
10-09

Python+Opencv身份证号码区域提取及识别实现

Python+Opencv身份证号码区域提取及识别实现 前端时间智能信息处理实训，我选择的课题为身份证号码识别，对中华人民共和国公民身份证进行识别，提取并识别其中的身份证号码，将身份证号码识别为字符串的形式输出。现在实训结束了将代码发布出来供大家参考，识别的方式并不复杂，并加了一些注释，如果有什么问题可共同讨论。最后重要的事情说三遍：请勿直接抄袭，请勿直接抄袭，请勿直接抄袭！尤其是我的学弟学妹们，还是要自己做的，小心直接拿我的用被老师发现了挨批^_^。实... 继续阅读 >
2020
10-09

Python Selenium实现无可视化界面过程解析

Python Selenium实现无可视化界面过程解析 无可视化界面的意义有时候我们爬取网页数据，并不希望看其中的过程，只想看到最后的数据结果就可以了，这时候，***面就很有必要了！代码如下fromseleniumimportwebdriverfromtimeimportsleep#实现无可视化界面fromselenium.webdriver.chrome.optionsimportOptions#实现规避检测fromselenium.webdriverimportChromeOptions#实现无可视化界面的操作chrome_options=Options()chrome_options.add_argument('--headless')... 继续阅读 >
2020
10-09

一文读懂Python 枚举

enum是一组绑定到唯一常数值的符号名称，并且具备可迭代性和可比较性的特性。我们可以使用enum创建具有良好定义的标识符，而不是直接使用魔法字符串或整数，也便于开发工程师的代码维护。创建枚举我们可以使用class语法创建一个枚举类型，方便我们进行读写，另外，根据函数API的描述定义，我们可以创建一个enum的子类，如下：fromenumimportEnumclassHttpStatus(Enum):OK=200BAD_REQUEST=400FORBIDDEN=40... 继续阅读 >
2020
10-09

详解python变量与数据类型

这篇文章我们学习Python变量与数据类型变量变量来源于数学，是计算机语言中能储存计算结果或能表示值抽象概念，变量可以通过变量名访问。在Python中变量命名规定，必须是大小写英文，数字和下划线(_)的组合，并且不能用数字开头。变量命名规则：变量名只能是字母，数字和下划线的任意组合变量名第一个字符不能是数字变量名区分大小写，大小写字母被认为是两个不同的字符特殊关键字不能命名为变量名声明变量Python... 继续阅读 >
2020
10-09

python实现自动清理重复文件

前言大家好，又到了Python办公自动化系列。今天分享一个系统层面的自动化案例：「给定一个文件夹，使用Python检查给定文件夹下有无文件重复，若存在重复则删除」主要涉及的知识点有：os模块综合应用glob模块综合应用利用filecmp模块比较两个文件步骤分析该程序实现的逻辑可以具化为：遍历获取给定文件夹下的所有文件，然后通过嵌套循环两两比较文件是否相同，如果相同则删除后者。实现问题的关键就变成了?如何判断两个... 继续阅读 >
2020
10-09

Python+pyftpdlib实现局域网文件互传

Python+pyftpdlib实现局域网文件互传 在同一个局域网的多台电脑，传递文件时可以通过搭建web服务器，设置目录浏览的方式快速分享。如果上传就比较麻烦了，通过QQ/微信会产生很多文件记录，通过teamviewer太慢，ftp是一个不错的选择。FTP服务器软件在日常开发中，基本不会用到。还涉及macOS、Windows的环境差异，非常麻烦。虽然有免费开源的filezzila，配置还是很繁琐的。开发机都安装了python，安装pyftpdlib库就可以解决这个问题。一条命令即可解决（使用前需要... 继续阅读 >
2020
10-09

实例代码讲解Python 线程池

大家都知道当任务过多，任务量过大时如果想提高效率的一个最简单的方法就是用多线程去处理，比如爬取上万个网页中的特定数据，以及将爬取数据和清洗数据的工作交给不同的线程去处理，也就是生产者消费者模式，都是典型的多线程使用场景。那是不是意味着线程数量越多，程序的执行效率就越快呢。显然不是。线程也是一个对象，是需要占用资源的，线程数量过多的话肯定会消耗过多的资源，同时线程间的上下文切换也是一笔不小的开销，所... 继续阅读 >
2020
10-09

详解python UDP 编程

前面我们讲了TCP编程，我们知道TCP可以建立可靠连接，并且通信双方都可以以流的形式发送数据。本文我们再来介绍另一个常用的协议?UDP。相对TCP，UDP则是面向无连接的协议。UDP协议我们来看UDP的定义：UDP协议（UserDatagramProtocol），中文名是用户数据报协议，是OSI（OpenSystemInterconnection，开放式系统互联）参考模型中一种无连接的传输层协议，提供面向事务的简单不可靠信息传送服务。从这个定义中，我们可... 继续阅读 >
2020
10-09

PyTorch如何搭建一个简单的网络

1任务首先说下我们要搭建的网络要完成的学习任务：让我们的神经网络学会逻辑异或运算，异或运算也就是俗称的“相同取0，不同取1”。再把我们的需求说的简单一点，也就是我们需要搭建这样一个神经网络，让我们在输入（1,1）时输出0，输入（1,0）时输出1（相同取0，不同取1），以此类推。2实现思路因为我们的需求需要有两个输入，一个输出，所以我们需要在输入层设置两个输入节点，输出层设置一个输出节点。因为问题比较简单，所... 继续阅读 >
2020
10-09

Python pysnmp使用方法及代码实例

SNMP标准引入一组ASN.1语言元素，称之为SMI（StructureofManagementInformation）。由SMI描述的相互关联的被管对象（ManagedObjects）组成MIB（ManagementInformationBase）模块。核心MIB中经常用到的ManagedObjects成为SNMP标准的一部分。剩下的MIB一般由设备生产商在其设备中创建。（也就是说这些MIB是生产商和设备相关的）PySNMP是一个纯粹用Python实现的SNMP。用PySNMP的最抽象的API为One-lineApplications。其中有两... 继续阅读 >
2020
10-09

详解python tcp编程

网络连接与通信是我们学习任何编程语言都绕不过的知识点。Python也不例外，本文就介绍因特网的核心协议TCP，以及如何用Python实现TCP的连接与通信。TCP协议TCP协议（TransmissionControlProtocol，传输控制协议）是一种面向连接的传输层通信协议，它能提供高可靠性通信，像HTTP/HTTPS等网络服务都采用TCP协议通讯。那么网络通讯方面都会涉及到socket编程，当然也包括TCP协议。NetworkSocket我们来看看定义：N... 继续阅读 >