分类：爬虫

2020
11-25

python3爬虫中引用Queue的实例讲解

我们去一个受欢迎的地方买东西，难免会需要排队等待。如果有多个窗口的话，就会有不同队列的产生，当然每个队伍的人数也会出现参差不齐的现象。我们今天所要说的Queue就可以理解成生活中的排队现象。那么结合我们所要用的爬虫知识，应该怎么在Queue中应用呢？接下来就开始今天的内容学习：队列这种东西大家应该都知道，就是一个先进先出的数据结构，而Python的标准库中提供了一个线程安全的队列，也就是说该模块是适用于多线程编程... 继续阅读 >
2020
11-25

python3爬虫中多线程的优势总结

有些小伙伴跟小编讨论了python中使用多线程原理的问题，就聊到了关于python多线程的弊端问题，这点可能在使用的过程中大家会能感觉到。而且之前讲过的GIL也是对python多线程的一种限制。那么，我们为什么还要用多线程呢？当然是多线程的优势已经掩盖了它本身不足之处，所以我们来加强一下学习python多线程的信心吧~总结起来，使用多线程编程具有如下几个优点：进程之间不能共享内存，但线程之间共享内存非常容易。操作系统在创建进... 继续阅读 >
2020
11-25

记一次python 爬虫爬取深圳租房信息的过程及遇到的问题

为了分析深圳市所有长租、短租公寓的信息，爬取了某租房公寓网站上深圳区域所有在租公寓信息，以下记录了爬取过程以及爬取过程中遇到的问题：爬取代码：importrequestsfromrequests.exceptionsimportRequestExceptionfrompyqueryimportPyQueryaspqfrombs4importBeautifulSoupimportpymongofromconfigimport*frommultiprocessingimportPoolclient=pymongo.MongoClient(MONGO_URL)#申明连接对象db=client[... 继续阅读 >
2020
11-22

Python爬虫Scrapy框架CrawlSpider原理及使用案例

提问：如果想要通过爬虫程序去爬取”糗百“全站数据新闻数据的话，有几种实现方法？方法一：基于Scrapy框架中的Spider的递归爬去进行实现的(Request模块回调)方法二：基于CrawlSpider的自动爬去进行实现(更加简洁和高效)一、简单介绍CrawlSpiderCrawlSpider其实是Spider的一个子类，除了继承到Spider的特性和功能外，还派生除了其自己独有的更加强大的特性和功能。其中最显著的功能就是”LinkExtractors链接提取器“。Spider是... 继续阅读 >
2020
11-19

Python爬虫如何破解JS加密的Cookie

通过Fiddler抓包比较，基本可以确定是JavaScript生成加密Cookie导致原来的请求返回521。发现问题：打开Fiddler软件，用浏览器打开目标站点(http://www.kuaidaili.com/proxylist/2/)。可以发现浏览器对这个页面加载了两次，第一次返回521，第二次才正常返回数据。很多没有写过网站或是爬虫经验不足的童鞋，可能就会觉得奇怪为什么会这样？为什么浏览器可能正常返回数据而代码却不行？仔细观察两次返回的结果可以发现：... 继续阅读 >
2020
11-17

python 爬虫如何实现百度翻译

环境python版本号系统游览器python3.7.2win7googlechrome关于本文本文将会通过爬虫的方式实现简单的百度翻译。本文中的代码只供学习，不允许作为于商务作用。商务作用请前往api.fanyi.baidu.com购买付费的api。若有侵犯，立即删文！实现思路在网站文件中找到隐藏的免费api。传入api所需要的参数并对其发出请求。在返回的json结果里找到相应的翻译结果。百度翻译的... 继续阅读 >
2020
11-06

Selenium结合BeautifulSoup4编写简单的python爬虫

在学会了抓包，接口请求(如requests库）和Selenium的一些操作方法后，基本上就可以编写爬虫，爬取绝大多数网站的内容。在爬虫领域，Selenium永远是最后一道防线。从本质上来说，访问网页实际上就是一个接口请求。请求url后，返回的是网页的源代码。我们只需要解析html或者通过正则匹配提取出我们需要的数据即可。有些网站我们可以使用requests.get(url)，得到的响应文本中获取到所有的数据。而有些网页数据是通过JS动态加载到页面... 继续阅读 >
2020
10-30

node.js爬虫框架node-crawler初体验

百度爬虫这个词语，一般出现的都是python相关的资料。py也有很多爬虫框架，比如scrapy，Portia，Crawley等。之前我个人更喜欢用C#做爬虫。随着对nodejs的熟悉。发现做这种事情还是用脚本语言适合多了，至少不用写那么多的实体类。而且脚本一般使用比较简单。在github上搜索node+spider，排名第一的就是node-crawler github:https://github.com/bda-research/node-crawler简单使用npm安装：npminstallcrawlernew一个cra... 继续阅读 >
2020
10-30

详解Selenium-webdriver绕开反爬虫机制的4种方法

之前爬美团外卖后台的时候出现的问题，各种方式拖动验证码都无法成功，包括直接控制拉动，模拟人工轨迹的随机拖动都失败了，最后发现只要用chromedriver打开页面，哪怕手动登录也不可以，猜测driver肯定是直接被识别出来了。一开始尝试了改useragent等方式，仍然不行，由于其他项目就搁置了。今天爬淘宝生意参谋又出现这个问题，经百度才知道原来chromedriver的变量有一个特征码，网站可以直接根据特征码判断，经百度发现有4种... 继续阅读 >
2020
10-28

python 爬虫如何正确的使用cookie

很多时候，我们要查看的内容必须要先登录才能找到，比如知乎的回答，QQ空间的好友列表、微博上关注的人和粉丝等。要使用爬虫直接登录抓取这些信息时，有一个不太好解决的难题，就是这些网站设置的登录规则以及登录时的验证码识别。不过，我们可以想办法绕过去，思路是这样的：先使用浏览器登录，从浏览器获取登录后的“凭证”，然后将这个“凭证”放到爬虫里，模拟用户的行为继续抓取。这里，我们要获取的凭证就是cookie信息。这次... 继续阅读 >
2020
10-28

python 爬虫基本使用——统计杭电oj题目正确率并排序

python爬虫主要用两个库：Urllib和BeautifulSoup4。一个用来爬取网页，一个用来解析网页。Urllib是Python内置的HTTP请求库，它包含四个模块：1、request，最基本的HTTP请求模块，用来模拟发送请求，就像在浏览器里输入网址然后敲击回车一样，只需要给库方法传入URL与额外的参数，就可以模拟这个过程。2、error，异常处理模块，如果出现请求错误，我们可以捕获这些异常，然后进行重试或其他操作保证程序不会意... 继续阅读 >
2020
10-20

Python爬虫抓取论坛关键字过程解析

Python爬虫抓取论坛关键字过程解析 前言：之前学习了用python爬虫的基本知识，现在计划用爬虫去做一些实际的数据统计功能。由于前段时间演员的诞生带火了几个年轻的实力派演员，想用爬虫程序搜索某论坛中对于某些演员的讨论热度，并按照日期统计每天的讨论量。这个项目总共分为两步：1.获取所有帖子的链接：将最近一个月内的帖子链接保存到数组中2.从回帖中搜索演员名字：从数组中打开链接，翻出该链接的所有回帖，在回帖中查找演员的名字获取所有帖子的链接：搜索的... 继续阅读 >
2020
10-18

Python爬虫教程知识点总结

Python爬虫教程知识点总结 一、为什么使用Python进行网络爬虫？由于Python语言十分简洁，使用起来又非常简单、易学，通过Python进行编写就像使用英语进行写作一样。另外Python在使用中十分方便，并不需要IDE，而仅仅通过sublimetext就能够对大部分的中小应用进行开发；除此之外Python爬虫的框架功能十分强大，它的框架能够对网络数据进行爬取，还能对结构性的数据进行提取，经常用在数据的挖掘、历史数据的存储和信息的处理等程序内；Python网络的支持... 继续阅读 >
2020
10-16

python 如何使用find和find_all爬虫、找文本的实现

python 如何使用find和find_all爬虫、找文本的实现 这篇文章我们来讲讲如何在python使用bs4模块返回值中正确使用find和find_all来取值。我们先来看看find函数在两种场景使用：一、find在字符串（str）时可以查找使用。在字符串（str）是怎么来使用find函数，find函数就是找到的意思。我们来看看下面案例#---------案例1-----------a='0123456789'#因为我们电脑中的字节都是从0开始算第一个位置b=a.find('0')#这行代码的意思就是我要查找a中0的位置print（b）>>0#这里就是打印出来... 继续阅读 >
2020
10-10

浅析python 通⽤爬⾍和聚焦爬⾍

一、爬虫的简单理解1.什么是爬虫？网络爬虫也叫网络蜘蛛，如果把互联网比喻成一个蜘蛛网，那么蜘蛛就是在网上爬来爬去的蜘蛛，爬虫程序通过请求url地址，根据响应的内容进行解析采集数据，比如：如果响应内容是html，分析dom结构，进行dom解析、或者正则匹配，如果响应内容是xml/json数据，就可以转数据对象，然后对数据进行解析。2.爬虫有什么作用？通过有效的爬虫手段批量采集数据，可以降低人工成本，提高有效数据量，给予运... 继续阅读 >
2020
10-10

python 常见的反爬虫策略

1、判断请求头来进行反爬这是很早期的网站进行的反爬方式User-Agent用户代理referer请求来自哪里cookie也可以用来做访问凭证解决办法：请求头里面添加对应的参数（复制浏览器里面的数据）2、根据用户行为来进行反爬请求频率过高，服务器设置规定时间之内的请求阈值解决办法：降低请求频率或者使用代理（IP代理）网页中设置一些陷阱（正常用户访问不到但是爬虫可以访问到）解决办法：分析网页，避开这些特殊陷阱请求间隔太短，... 继续阅读 >