分类：python3

2020
10-08

Python3以GitHub为例来实现模拟登录和爬取的实例讲解

我们先以一个最简单的实例来了解模拟登录后页面的抓取过程，其原理在于模拟登录后Cookies的维护。1.本节目标本节将讲解以GitHub为例来实现模拟登录的过程，同时爬取登录后才可以访问的页面信息，如好友动态、个人信息等内容。我们应该都听说过GitHub，如果在我们在Github上关注了某些人，在登录之后就会看到他们最近的动态信息，比如他们最近收藏了哪个Repository，创建了哪个组织，推送了哪些代码。但是退出登录之后，我... 继续阅读 >

2020
10-08

Python3爬虫发送请求的知识点实例

使用urllib的request模块，我们可以方便地实现请求的发送并得到响应，本节就来看下它的具体用法。1.urlopen()urllib.request模块提供了最基本的构造HTTP请求的方法，利用它可以模拟浏览器的一个请求发起过程，同时它还带有处理授权验证（authenticaton）、重定向（redirection)、浏览器Cookies以及其他内容。下面我们来看一下它的强大之处。这里以Python官网为例，我们来把这个网页抓下来：import urllib.requestresponse&nb... 继续阅读 >

2020
10-08

Python3爬虫中关于中文分词的详解

原理中文分词，即ChineseWordSegmentation，即将一个汉字序列进行切分，得到一个个单独的词。表面上看，分词其实就是那么回事，但分词效果好不好对信息检索、实验结果还是有很大影响的，同时分词的背后其实是涉及各种各样的算法的。中文分词与英文分词有很大的不同，对英文而言，一个单词就是一个词，而汉语是以字为基本的书写单位，词语之间没有明显的区分标记，需要人为切分。根据其特点，可以把分词算法分为四大类：·基于规... 继续阅读 >

2020
10-08

Python3爬虫中pyspider的安装步骤

pyspider是国人binux编写的强大的网络爬虫框架，它带有强大的WebUI、脚本编辑器、任务监控器、项目管理器以及结果处理器，同时支持多种数据库后端、多种消息队列，另外还支持JavaScript渲染页面的爬取，使用起来非常方便，本节介绍一下它的安装过程。1.相关链接官方文档：http://docs.pyspider.org/PyPI：https://pypi.python.org/pypi/pyspiderGitHub：https://github.com/binux/pyspider官方教程：http://docs.pyspider.org/en/... 继续阅读 >

2020
10-08

关于Python3爬虫利器Appium的安装步骤

Appium是移动端的自动化测试工具，类似于前面所说的Selenium，利用它可以驱动Android、iOS等设备完成自动化测试，比如模拟点击、滑动、输入等操作，其官方网站为：http://appium.io/。本节中，我们就来了解一下Appium的安装方式。1.相关链接GitHub：https://github.com/appium/appium官方网站：http://appium.io官方文档：http://appium.io/introduction.html下载链接：https://github.com/appium/appium-desktop/releasesPython... 继续阅读 >

2020
10-08

Python3爬虫mitmproxy的安装步骤

mitmproxy是一个支持HTTP和HTTPS的抓包程序，类似Fiddler、Charles的功能，只不过它通过控制台的形式操作。此外，mitmproxy还有两个关联组件，一个是mitmdump，它是mitmproxy的命令行接口，利用它可以对接Python脚本，实现监听后的处理；另一个是mitmweb，它是一个Web程序，通过它以清楚地观察到mitmproxy捕获的请求。本节中，我们就来了解一下mitmproxy、mitmdump和mitmweb的安装方式。1.相关链接GitHub：https://github.com/mit... 继续阅读 >

2020
10-08

Python3爬虫带上cookie的实例代码

Cookie的英文原意是“点心”，它是在客户端访问Web服务器时，服务器在客户端硬盘上存放的信息，好像是服务器发送给客户的“点心”。服务器可以根据Cookie来跟踪客户状态，这对于需要区别客户的场合（如电子商务）特别有用。当客户端首次请求访问服务器时，服务器先在客户端存放包含该客户的相关信息的Cookie，以后客户端每次请求访问服务器时，都会在HTTP请求数据中包含Cookie，服务器解析HTTP请求中的Cookie，就能由此获得关于客... 继续阅读 >

2020
10-08

Python3安装模块报错Microsoft Visual C++ 14.0 is required的解决方法

问题一：安装模块时出现报错 MicrosoftVisualC++14.0isrequired，也下载安装了运行库依然还是这个错误解决：1.打开UnofficialWindowsBinariesforPythonExtensionPackages（http://www.lfd.uci.edu/~gohlke/pythonlibs/），这里面有很多封装好的Python模块的运行环境2.找到所需要下载的模块文件对应版本进行下载。如，需要下载Pymssql，本机安装是32位的python3.6，则选择pymssql‑2.1.4.dev5‑cp36̴... 继续阅读 >

2020
10-08

基于Python3读写INI配置文件过程解析

ini文件简介ini是我们常见到的配置文件格式之一。ini是微软Windows操作系统中的文件扩展名（也常用在其他系统）。INI是英文“初始化（Initial）”的缩写。正如该术语所表示的，INI文件被用来对操作系统或特定程序初始化或进行参数设置。通过它，可以将经常需要改变的参数保存起来（而且还可读），使程序更加的灵活。我先给出一个ini文件的示例。[School]ip=10.15.40.123mask=255.255.255.0gateway=10.15.40.1dns=211.82.96... 继续阅读 >

2020
10-08

Linux安装Python3如何和系统自带的Python2并存

新搞了台linux云主机，瞎折腾折腾，先装个Python3。Linux环境下有其他软件需要Python2,如YUM，所以安装的Python3需要与Python2同时存在。安装Python3先安装依赖环境yum-yinstallzlib-develbzip2-developenssl-develncurses-develsqlite-develreadline-develtk-develgdbm-develdb4-devellibpcap-develxz-devellibffi-dev反正也是学习环境，直接上3.8版本[官网]:https://www.python.org/downloads/source/找到下载链... 继续阅读 >

2020
10-08

Win10环境中如何实现python2和python3并存

1.下载Python官网：传送门根据自己的主机环境下载python2.安装下载完后直接安装，安装时自定义安装路径，这里路径要记下来我的安装路径为Python2路径：E:\python2Python2路径：E:\python3这是为了后面好添加系统变量，系统变量的作用就是能让你在终端上运行python或运行python脚本否则会弹不是内部或外部命令错误（python111是我为了演示该错误随便打的）3.设置环境变量3.1安装完成后右击我的电脑，打开属性—>高级系统设置—>环境... 继续阅读 >

2020
10-08

Python3 搭建Qt5 环境的方法示例

1、检查本机python版本：2、安装Qt5执行如下指令：pipinstallPyQt5-ihttps://pypi.douban.com/simple#在后面加上“-ihttps://pypi.douban.com/simple”表示使用豆瓣所提供的镜像3、安装Qt5图形设计工具，指令如下：pipinstallPyQt5-tools-ihttps://pypi.douban.com/simple#工具包含（图形界面开发工具qtdesigner、翻译工具liguist等等的工具）4、将pyqt5-tools添加到全局环境变量（Path）中，我的是：D:\python3.6... 继续阅读 >

2020
10-08

python3实现将json对象存入Redis以及数据的导入导出

Redis数据类型String:二进制安全,可以包含任何数据Hash:一个键值(key=>value)对集合List:简单的字符串列表Set:string类型的无序集合Zset:每个元素都会关联一个double类型的分数,redis通过分数来为集合中的成员进行从小到大的排序Redis基本命令Key:set,get,deleteHash:hmset,hget,hdelList:lpush,lindexSet:sadd,smembersZset:zadd,zrange具体用法可查看网上教程或官方文档或命令行提示Redis持久化Redis运行在内存中，但... 继续阅读 >

2020
10-08

python3 中时间戳、时间、日期的转换和加减操作

1.当前时间戳转换为指定格式的日期#-*-coding:utf-8-*-#@Time:2019/5/3110:56#@Author:甄超锋#@Email:4535@sohu.com#@File:test.py#@Software:PyCharmimportdatetimeimporttime#使用timetimeStamp=time.time()#1559286774.2953627timeArray=time.localtime(timeStamp)otherStyleTime=time.strftime("%Y-%m-%d%H:%M:%S",timeArray)print(otherStyleTime)#2019-05-3115:12:54#使用datetimet... 继续阅读 >

2020
10-08

python3 循环读取excel文件并写入json操作

文件内容：excel内容：代码：importxlrdimportjsonimportoperatordefread_xlsx(filename):#打开excel文件data1=xlrd.open_workbook(filename)#读取第一个工作表table=data1.sheets()[0]#统计行数n_rows=table.nrowsdata=[]#微信文章属性：wechat_namewechat_idtitleabstracturltimereadlikenumberforvinrange(1,n_rows-1):#每一行数据形成一个列表values=table.row_values(v)#... 继续阅读 >

2020
10-08

Python3交互式shell ipython3安装及使用详解

IPython中的“I”代表交互interactive特点IPython是一个python的交互式shell，比默认的pythonshell好用得多支持自动补全自动缩进支持bashshell命令内置了许多很有用的功能和函数IPython是基于BSD开源的版本Python2.x使用的解释器是ipythonPython3.x使用的解释器是ipython3已经安装好python3后使用如下命令安装ipythonpip3installipython使用以上就是本文的全部内容，希望对大家的学习有... 继续阅读 >