分类：Python爬虫

2021
04-09

学习Python爬虫前必掌握知识点

常见的协议http和httpshttp协议：超文本传输协议，是一个发布和接受HTML页面的方法，端口是80https协议：http协议的加密版本，在HTTP下加上了ssl层，端口是443下面访问的是美团的官网：可以看到端口是443URL和RUI常见的请求方式http协议规定了浏览器与服务器进行数据交互过程中必须要选择一种交互方式在http协议中定义了8中请求方式，常见的是get和post请求get请求：一般只从服务器获取数据下来，并不会对服务器资源产生任何的影... 继续阅读 >

2021
02-21

python爬虫用request库处理cookie的实例讲解

python爬虫中使用urli库可以使用opener"发送多个请求，这些请求是能共享处理cookie的，小编之前也提过python爬虫中使用request库会比urllib库更加⽅便，使用使用requests也能达到共享cookie的目的，即使用request库get方法和使用requests库提供的session对象都可以处理。方法一：使用request库get方法resp=requests.get('http://www.baidu.com/')print(resp.cookies)print(resp.cookies.get_dict())方法二：使用requests... 继续阅读 >

2021
02-21

python爬取2021猫眼票房字体加密实例

春节假期刚过，大家有没有看春节档的电影呢？今年的春节档电影很是火爆，我们可以在猫眼票房app查看有关数据，因为数据一致在更新，所以他的字体是动态的，想要爬取有些困难，再加上猫眼app对字体进行加密，该如何爬取呢？本文介绍反爬2021猫眼票房字体加密的实例。一、字体加密原理简单来说就是程序员在设计网站的时候使用了自己设计的字体代码对关键字进行编码，在浏览器加载的时会根据这个字体文件对这些字体进行编码，从而显示... 继续阅读 >

2021
02-21

Python爬虫UA伪装爬取的实例讲解

在使用python爬取网站信息时，查看爬取完后的数据发现，数据并没有被爬取下来，这是因为网站中有UA这种请求载体的身份标识，如果不是基于某一款浏览器爬取则是不正常的请求，所以会爬取失败。本文介绍Python爬虫采用UA伪装爬取实例。一、python爬取失败原因如下：UA检测是门户网站的服务器会检测对应请求的载体身份标识，如果检测到请求的载体身份标识为某一款浏览器，说明该请求是一个正常的请求。如果检测到请求的载体身份标识不... 继续阅读 >

2021
02-20

python爬虫智能翻页批量下载文件的实例详解

python爬虫遇到爬取文件内容时，需要一页页的翻页爬取，这样很是麻烦，其实可以获取每个列表信息下的文件名和文件链接，让文件名和文件链接处理为列表，保存后下载，实现智能翻页批量下载文件，本文以以京客隆为例，批量下载文件，如财务资料，他的每一份报告都是一份pdf格式的文档。以此页面为目标，下载他每个分类的文件python爬虫实战之智能翻页批量下载文件。1、引入库importrequestsimportpandasaspdfromlxmlimportetr... 继续阅读 >

2021
01-26

Python爬虫自动化爬取b站实时弹幕实例方法

最近央视新闻记者王冰冰以清除可爱和专业的新闻业务水平深受众多网友喜爱，b站也有很多up主剪辑了关于王冰冰的视频。我们都是知道b站是一个弹幕网站，那你知道如何爬取b站实时弹幕吗？本文以王冰冰视频弹幕为例，向大家介绍Python爬虫实现自动化爬取b站实时弹幕的过程。1、导入需要的库importjieba#分词fromwordcloudimportWordCloud#词云fromPILimportImage#图片处理importnumpyasnp#图片处理importmatplotlib... 继续阅读 >

2021
01-22

Python爬虫回测股票的实例讲解

股票和基金一直是热门的话题，很多周围的人都选择不同种类的理财方式。就股票而言，肯定是短时间内收益最大化，这里我们需要用python爬虫的方法，来帮助我们获取一些股票的数据，这样才能更好的买到相应的股票。下面我们就python爬虫获取股票数据的方法带来详细的讲解。1.生成上证与深证所有股票的代码：#上证代码shanghaicode=[]foriinrange(600000,604000,1):shanghaicode.append(str(i))#深证代码shenzhencode=[]for... 继续阅读 >

2021
01-21

python爬虫爬取图片的简单代码

Python是很好的爬虫工具不用再说了，它可以满足我们爬取网络内容的需求，那最简单的爬取网络上的图片，可以通过很简单的方法实现。只需导入正则表达式模块，并利用spider原理通过使用定义函数的方法可以轻松的实现爬取图片的需求。1、spider原理spider就是定义爬取的动作及分析网站的地方。以初始的URL**初始化Request**，并设置回调函数。当该request**下载完毕并返回时，将生成**response，并作为参数传给该回调函数。2、实现p... 继续阅读 >

2021
01-21

python爬虫实现爬取同一个网站的多页数据的实例讲解

对于一个网站的图片、文字音视频等，如果我们一个个的下载，不仅浪费时间，而且很容易出错。Python爬虫帮助我们获取需要的数据，这个数据是可以快速批量的获取。本文小编带领大家通过python爬虫获取获取总页数并更改url的方法，实现爬取同一个网站的多页数据。一、爬虫的目的从网上获取对你有需要的数据二、爬虫过程1、获取url（网址）。2、发出请求，获得响应。3、提取数据。4、保存数据。三、爬虫功能可以快速批量的获取想要的数... 继续阅读 >

2021
01-17

python爬取微博评论的实例讲解

python爬虫是程序员们一定会掌握的知识，练习python爬虫时，很多人会选择爬取微博练手。python爬虫微博根据微博存在于不同媒介上，所爬取的难度有差异，无论是python新入手的小白，还是已经熟练掌握的程序员，可以拿来练手。本文介绍python爬取微博评论的代码实例。一、爬虫微博与QQ空间爬虫类似，可以爬取新浪微博用户的个人信息、微博信息、粉丝、关注和评论等。爬虫抓取微博的速度可以达到1300万/天以上，具体要视网络情况。... 继续阅读 >

2020
12-02

python爬虫中抓取指数的实例讲解

有一些数据我们是没法直观的查看的，需要通过抓取去获得。听到指数这个词，有的小伙伴们觉得很复杂，似乎只在股票的时候才听说的，比如一些数据的涨跌分析都是比较棘手的问题。不过指数对于我们的数据分析还是很有帮助的，今天小编就python爬虫中抓取指数得方法给大家带来讲解。刚好这几天需要用到这个爬虫，结果发现baidu指数的请求有点变化，所以就改了改：importrequestsimportsysimporttimeword_url='http://index.baidu.... 继续阅读 >

2020
12-02

python爬虫中url管理器去重操作实例

当我们需要有一批货物需要存放时，最好的方法就是有一个仓库进行保管。我们可以把URL管理器看成一个收集了数据的大仓库，而下载器就是这个仓库货物的搬运者。关于下载器的问题，我们暂且不谈。本篇主要讨论的是在url管理器中，我们遇到重复的数据应该如何识别出来，避免像仓库一样过多的囤积相同的货物。听起来是不是很有意思，下面我们一起进入今天的学习。URL管理器到底应该具有哪些功能？URL下载器应该包含两个仓库，分别存放... 继续阅读 >

2020
12-02

python爬虫中的url下载器用法详解

前期的入库筛选工作已经由url管理器完成了，整理的工作自然要由url下载器接手。当我们需要爬取的数据已经去重后，下载器的主要任务的是这些数据下载下来。所以它的使用也并不复杂，不过需要借助到我们之前所学过的一个库进行操作，相信之前的基础大家都学的很牢固。下面小编就来为大家介绍url下载器及其使用的方法。下载器的作用就是接受URL管理器传递给它的一个url，然后把该网页的内容下载下来。python自带有urllib和urllib2等库... 继续阅读 >

2020
11-29

python爬虫工具例举说明

小编发现对于一些刚学python的初学者来说，学习基础的模块知识固然重要，但是更多的倾向于依赖一些实用小工具去解决问题。不得不说，为了省时省力小编刚学python的时候也用工具去处理了一些事情，发现效果还不错。这里把之前使用的python爬虫工具整理了出来，进行简单介绍和优势分析，下面一起来看看有哪些吧。常见的爬虫软件大致可以划分为两大类：云爬虫和采集器云爬虫就是无需下载安装软件，直接在网页上创建爬虫并在网站服务器... 继续阅读 >

2020
11-29

python爬虫中采集中遇到的问题整理

在爬虫的获取数据上，一直在讲一些爬取的方法，想必小伙伴们也学习了不少。在学习的过程中遇到了问题，大家也会一起交流解决，找出不懂和出错的地方。今天小编想就爬虫采集数据时遇到的问题进行一个整理，以及在遇到不同的问题时，我们应该想的是什么样的解决思路，具体内容如下分享给大家。1、需要带着cookie信息访问比如大多数的社交化软件，基本上都是需要用户登录之后，才能看到有价值的东西，其实很简单，我们可以使用Python... 继续阅读 >

2020
11-29

celery在python爬虫中定时操作实例讲解

使用定时功能对于我们想要快速获取某个数据来说，是一个非常好的方法。这样我们就不用苦苦守在电脑屏幕前，只为蹲到某个想要的东西。在之前我们已经讲过time函数进行定时操作，这算是time函数的比较基础的一个用法了。其实定时功能同样可以用celery实现，具体的方法我们往下看：爬虫由于其特殊性，可能需要定时做增量抓取，也可能需要定时做模拟登陆，以防止cookie过期，而celery恰恰就实现了定时任务的功能。在上述基础上，我们将... 继续阅读 >