分类：python爬虫

2020
11-29

python爬虫分布式获取数据的实例方法

在我们进行卫生大扫除的时候，因为工作任务较多，所以我们会进行分工，每个人负责不同的打扫项目。同样分工合作的理念，在python分布式爬虫中也得到了应用。我们需要给不同的爬虫分配指令，让它们去分头行动获取同一个网站的数据。那么这些爬虫是怎么分工搜集数据的呢？感兴趣的小伙伴，我们可以通过下面的示例进行解惑。假设我有三台爬虫服务器A、B和C。我想让我所有的账号登录任务分散到三台服务器、让用户抓取在A和B上执行，让... 继续阅读 >

2020
11-25

python爬虫泛滥的解决方法详解

我们可以把互联网上搬运数据的程序看成小蚂蚁，它们需要采集不同的食物带回洞里存储。但是大家也知道白蚁泛滥的事件，在我们的网络环境里，如果爬虫都集中在某几个位置，最直接的结果就是这个网站的拥挤。对于我们这些网站访问者而言也不是好事情，首先网页的页面会被卡住。网站的管理人员面对爬虫过多，这时候就要进行一系列的限制措施了，这里小编分了两个大的应对方向，从不同的角度进行分析爬虫过多的解决思路。一、识别爬虫1... 继续阅读 >

2020
11-25

python爬虫使用scrapy注意事项

在学习中，如果遇到问题把它们都收集整理出来，长期保存之后也是一份经验之谈。小编跟大家讲了这么久的scrapy框架，在自己学习的整理和小伙伴们的交流反馈中也累积了不少心得。想着有些小伙伴在python学习的时候有点丢三落四的毛病，特意整理出来scrapy在python爬虫使用中需要注意的事项，大家一起看看吧。1.如果需要大批量分布式爬取，建议采用Redis数据库存储，可安装scrapy-redis，使用redis数据库来替换scrapy原本使用的队列结... 继续阅读 >

2020
11-25

python爬虫筛选工作实例讲解

我们在选择一件商品的时候，会先了解一些相关的商品信息，根据自己的需求和情况再进行选择。这种现象也同样适用于找工作，筛选一个岗位的重要环节，就是看自身是否符合工作经验的要求。不过因为信息量比较大，有没有什么方法可以用python爬虫中的知识点帮我们解决一下呢~具体内容往下看：根据工作经验年限，划分招聘等级#校正拉勾网工作年限描述，以Boss直聘描述为准defupdate_lagou_workyear():items=db.jobs_lagou_php.fi... 继续阅读 >

2020
11-25

python爬虫用scrapy获取影片的实例分析

我们平时生活的娱乐中，看电影是大部分小伙伴都喜欢的事情。周围的人总会有意无意的在谈论，有什么影片上映，好不好看之类的话题，没事的时候谈论电影是非常不错的话题。那么，一些好看的影片如果不去电影院的话，在其他地方看都会有大大小小的限制，今天小编就教大家用python中的scrapy获取影片的办法吧。1. 创建项目运行命令:scrapystartprojectmyfrist（your_project_name）文件说明：名称|作用--|--scrapy.cfg|... 继续阅读 >

2020
11-25

python爬虫scrapy图书分类实例讲解

我们去图书馆的时候，会直接去自己喜欢的分类栏目找寻书籍。如果其中的分类不是很细致的话，想找某一本书还是有一些困难的。同样的如果我们获取了一些图书的数据，原始的文件里各种数据混杂在一起，非常不利于我们的查找和使用。所以今天小编教大家如何用python爬虫中scrapy给图书分类，大家一起学习下：spider抓取程序：在贴上代码之前，先对抓取的页面和链接做一个分析：网址：http://category.dangdang.com/pg4-cp01.25.17.00.0... 继续阅读 >

2020
11-25

scrapy处理python爬虫调度详解

学习了简单的知识点，就会想要向有难度的问题挑战，这里必须要夸一夸小伙伴们。不过我们今天不需要做什么程序的测试，只用简单的两个代码对比，小伙伴们就能在其中体会两者的不同和难易程度。scrapy能否适合处理python爬虫调度的问题，小编直接说出答案小伙伴们也不能马上信服，下面就让我们在示例中找寻答案吧。总的来说，需要使用代码来爬一些数据的大概分为两类人：非程序员，需要爬一些数据来做毕业设计、市场调研等等，他们可... 继续阅读 >

2020
11-22

scrapy在python爬虫中搭建出错的解决方法

在之前文章给大家分享后不久，就有位小伙伴跟小编说在用scrapy搭建python爬虫中出现错误了。一开始的时候小编也没有看出哪里有问题，好在经过不断地讨论与测试，最终解决了出错点的问题。有同样出错的小伙伴可要好好看看到底是哪里疏忽了，小编这里先不说出问题点。问题描述：安装位置：环境变量：解决办法：文件命名叫scrapy.py，明显和scrapy自己的包名冲突了，这里classStackOverFlowSpider(scrapy.Spider)会直接找当前文件(s... 继续阅读 >

2020
11-22

python爬取天气数据的实例详解

就在前几天还是二十多度的舒适温度，今天一下子就变成了个位数，小编已经感受到冬天寒风的无情了。之前对获取天气都是数据上的搜集，做成了一个数据表后，对温度变化的感知并不直观。那么，我们能不能用python中的方法做一个天气数据分析的图形，帮助我们更直接的看出天气变化呢？使用pygal绘图，使用该模块前需先安装pipinstallpygal，然后导入importpygalbar=pygal.Line()#创建折线图bar.add('最低气温',lows)#添加两... 继续阅读 >

2020
11-22

python爬取招聘要求等信息实例

在我们人生的路途中，找工作是每个人都会经历的阶段，小编曾经也是苦苦求职大军中的一员。怀着对以后的规划和想象，我们在找工作的时候，会看一些招聘信息，然后从中挑选合适的岗位。不过招聘的岗位每个公司都有不少的需求，我们如何从中获取数据，来进行针对岗位方面的查找呢？大致流程如下：1.从代码中取出pid2.根据pid拼接网址=>得到detail_url，使用requests.get，防止爬虫挂掉，一旦发现爬取的detail重复，就重新启动爬虫3... 继续阅读 >

2020
11-22

python爬虫判断招聘信息是否存在的实例代码

在找工作的时候，我们会选择上网查询招聘的信息，或者是通过一些招聘会进行现场面试。但由于信息更新不及时，有一些岗位会出现下架的情况，如果我们不注意的话，可能就扑了空。在时间上耽误了不说，面试的信息也会受到一点点打击。今天小编就教大家python爬虫来判断招聘信息是否存在。首先这里需要一个判断某条招聘是否还挂在网站上的方法，这个暂时想到了还没弄，然后对于发布时间在两个月之前的数据，就不进行统计计算。以下是完... 继续阅读 >

2020
11-13

python爬虫中PhantomJS加载页面的实例方法

PhantomJS作为常用获取页面的工具之一，我们已经讲过页面测试、代码评估和捕获屏幕这几种使用的方式。当然最厉害的还是网页方面的捕捉，这里就不再讲述了。今天我们要讲的是它加载页面的新方法，这个可能很多人不知道。其实经常会用到，感兴趣的小伙伴一起进入今天的学习之中吧~可以利用phantom来实现页面的加载，下面的例子实现了页面的加载并将页面保存为一张图片。varpage=require('webpage').create();page.open('http://... 继续阅读 >

2020
11-03

如何基于Python爬虫爬取美团酒店信息

一、分析网页网站的页面是JavaScript渲染而成的，我们所看到的内容都是网页加载后又执行了JavaScript代码之后才呈现出来的，因此这些数据并不存在于原始HTML代码中，而requests仅仅抓取的是原始HTML代码。抓取这种类型网站的页面数据，解决方案如下：分析Ajax，很多数据可能是经过Ajax请求时候获取的，所以可以分析其接口。在XHR里可以找到，RequestURL有几个关键参数，uuid和cityId是城市标识，offset偏移量可以控制... 继续阅读 >

2020
11-01

10个python爬虫入门实例(小结)

昨天带伙伴萌学习python爬虫，准备了几个简单的入门实例涉及主要知识点:web是如何交互的requests库的get、post函数的应用response对象的相关函数，属性python文件的打开，保存代码中给出了注释，并且可以直接运行哦如何安装requests库(安装好python的朋友可以直接参考，没有的，建议先装一哈python环境)windows用户，Linux用户几乎一样:打开cmd输入以下命令即可，如果python的环境在C盘的目录，会提示权限不够，只需以管理... 继续阅读 >

2020
10-08

Python爬虫之Spider类用法简单介绍

一、网络爬虫网络爬虫又被称为网络蜘蛛（🕷️），我们可以把互联网想象成一个蜘蛛网，每一个网站都是一个节点，我们可以使用一只蜘蛛去各个网页抓取我们想要的资源。举一个最简单的例子，你在百度和谷歌中输入‘Python'，会有大量和Python相关的网页被检索出来，百度和谷歌是如何从海量的网页中检索出你想要的资源，他们靠的就是派出大量蜘蛛去网页上爬取，检索关键字，建立索引数据库，经过复杂的排序算法，结果按照... 继续阅读 >

2020
10-08

Python爬虫基于lxml解决数据编码乱码问题

lxml是python的一个解析库，支持HTML和XML的解析，支持XPath解析方式，而且解析效率非常高XPath，全称XMLPathLanguage，即XML路径语言，它是一门在XML文档中查找信息的语言，它最初是用来搜寻XML文档的，但是它同样适用于HTML文档的搜索XPath的选择功能十分强大，它提供了非常简明的路径选择表达式，另外，它还提供了超过100个内建函数，用于字符串、数值、时间的匹配以及节点、序列的处理等，几乎所有我们想要定位的节点，都可... 继续阅读 >