分类：爬虫

2020
10-10

python 爬取免费简历模板网站的示例

代码#免费的简历模板进行爬取本地保存#http://sc.chinaz.com/jianli/free.html#http://sc.chinaz.com/jianli/free_2.htmlimportrequestsfromlxmlimportetreeimportosdirName='./resumeLibs'ifnotos.path.exists(dirName):os.mkdir(dirName)headers={'User-Agent':'Mozilla/5.0(WindowsNT10.0;Win64;x64)AppleWebKit/537.36(KHTML,likeGecko)Chrome/85.0.4183.83Safari/537.36'}url='http://sc.chi... 继续阅读 >

2020
10-10

python如何提升爬虫效率

单线程+多任务异步协程协程在函数(特殊函数)定义的时候,使用async修饰,函数调用后,内部语句不会立即执行,而是会返回一个协程对象任务对象任务对象=高级的协程对象(进一步封装)=特殊的函数任务对象必须要注册到时间循环对象中给任务对象绑定回调:爬虫的数据解析中事件循环当做是一个装载任务对象的容器当启动事件循环对象的时候,存储在内的任务对象会异步执行特殊函数内部不能写不支持异步请求的模块,如time,requests...否... 继续阅读 >

2020
10-10

Python爬取股票信息，并可视化数据的示例

前言截止2019年年底我国股票投资者数量为15975.24万户,如此多的股民热衷于炒股,首先抛开炒股技术不说,那么多股票数据是不是非常难找,找到之后是不是看着密密麻麻的数据是不是头都大了?今天带大家爬取雪球平台的股票数据,并且实现数据可视化先看下效果图基本环境配置python3.6pycharmrequestscsvtime目标地址https://xueqiu.com/hq爬虫代码请求网页importrequestsurl='https://xueqiu.com/service/v5/stock... 继续阅读 >

2020
10-10

Python爬取网页信息的示例

Python爬取网页信息的步骤以爬取英文名字网站（https://nameberry.com/）中每个名字的评论内容，包括英文名，用户名，评论的时间和评论的内容为例。1、确认网址在浏览器中输入初始网址，逐层查找链接，直到找到需要获取的内容。在打开的界面中，点击鼠标右键，在弹出的对话框中，选择“检查”，则在界面会显示该网页的源代码，在具体内容处点击查找，可以定位到需要查找的内容的源码。注意：代码显示的方式与浏览器有关，有些浏览... 继续阅读 >

2020
10-10

python爬虫构建代理ip池抓取数据库的示例代码

爬虫的小伙伴,肯定经常遇到ip被封的情况,而现在网络上的代理ip免费的已经很难找了,那么现在就用python的requests库从爬取代理ip，创建一个ip代理池，以备使用。本代码包括ip的爬取，检测是否可用，可用保存，通过函数get_proxies可以获得ip，如：{'HTTPS':'106.12.7.54:8118'}下面放上源代码，并详细注释：importrequestsfromlxmlimportetreefromrequests.packagesimporturllib3importrandom,timeurllib3.disable_warni... 继续阅读 >

2020
10-10

Nginx反爬虫策略，防止UA抓取网站

新增反爬虫策略文件：vim/usr/www/server/nginx/conf/anti_spider.conf文件内容#禁止Scrapy等工具的抓取if($http_user_agent~*(Scrapy|Curl|HttpClient)){return403;}#禁止指定UA及UA为空的访问if($http_user_agent~"WinHttp|WebZIP|FetchURL|node-superagent|java/|FeedDemon|Jullo|JikeSpider|IndyLibrary|AlexaToolbar|AskTbFXTV|AhrefsBot|CrawlDaddy|Java|Feedly|Apache-HttpAsyncClient|UniversalFeedPar... 继续阅读 >

2020
10-09

Python爬虫使用bs4方法实现数据解析

聚焦爬虫:爬取页面中指定的页面内容。编码流程：1.指定url2.发起请求3.获取响应数据4.数据解析5.持久化存储数据解析分类：1.bs42.正则3.xpath(***)数据解析原理概述：解析的局部的文本内容都会在标签之间或者标签对应的属性中进行存储1.进行指定标签的定位2.标签或者标签对应的属性中存储的数据值进行提取（解析）bs4进行数据解析数据解析的原理：1.标签定位2.提取标签、标签属性中存储的数据值bs4数据解析的原理... 继续阅读 >

2020
10-09

简述python Scrapy框架

一、Scrapy框架简介Scrapy是用纯Python实现一个为了爬取网站数据，提取结构性数据而编写的应用框架，用途非常广泛。利用框架，用户只需要定制开发几个模块就可以轻松的实现一个爬虫，用来抓取网页内容以及各种图片，非常的方便。它使用Twisted这个异步网络库来处理网络通讯，架构清晰，并且包含了各种中间件接口，可以灵活的完成各种需求。Scrapy是Python世界里面最强大的爬虫框架，它比BeautifulSoup更加完善，BeautifulSoup可以... 继续阅读 >

2020
10-09

Python爬虫防封ip的一些技巧

在编写爬虫爬取数据的时候，因为很多网站都有反爬虫措施，所以很容易被封IP，就不能继续爬了。在爬取大数据量的数据时更是瑟瑟发抖，时刻担心着下一秒IP可能就被封了。本文就如何解决这个问题总结出一些应对措施，这些措施可以单独使用，也可以同时使用，效果更好。伪造User-Agent在请求头中把User-Agent设置成浏览器中的User-Agent，来伪造浏览器访问。比如：headers={'User-Agent':'Mozilla/5.0(X11;Linuxx86_64)AppleWebKi... 继续阅读 >

2020
10-09

Python爬虫爬取微信朋友圈

接下来，我们将实现微信朋友圈的爬取。如果直接用Charles或mitmproxy来监听微信朋友圈的接口数据，这是无法实现爬取的，因为数据都是被加密的。而Appium不同，Appium作为一个自动化测试工具可以直接模拟App的操作并可以获取当前所见的内容。所以只要App显示了内容，我们就可以用Appium抓取下来。1.本节目标本节我们以Android平台为例，实现抓取微信朋友圈的动态信息。动态信息包括好友昵称、正文、发布日期。其中... 继续阅读 >

2020
10-09

学习Python爬虫的几点建议

爬虫是大家公认的入门Python​最好方式，没有之一。虽然Python有很多应用的方向，但爬虫对于新手小白而言更友好，原理也更简单，几行代码就能实现基本的爬虫，零基础也能快速入门，让新手小白体会更大的成就感。因此小编整理了新手小白必看的Python爬虫学习路线全面指导，希望可以帮到大家。1.学习Python包并实现基本的爬虫过程大部分爬虫都是按“发送请求——获得页面——解析页面——抽取并储存内容”这样的流程来进行，... 继续阅读 >

2020
10-08

Python 爬虫性能相关总结

这里我们通过请求网页例子来一步步理解爬虫性能当我们有一个列表存放了一些url需要我们获取相关数据，我们首先想到的是循环简单的循环串行这一种方法相对来说是最慢的，因为一个一个循环，耗时是最长的，是所有的时间总和代码如下：importrequestsurl_list=['http://www.baidu.com','http://www.pythonsite.com','http://www.cnblogs.com/']forurlinurl_list:result=requests.get(url)print(result.text)通过线... 继续阅读 >

2020
10-08

详解Python的爬虫框架 Scrapy

网络爬虫，是在网上进行数据抓取的程序，使用它能够抓取特定网页的HTML数据。虽然我们利用一些库开发一个爬虫程序，但是使用框架可以大大提高效率，缩短开发时间。Scrapy是一个使用Python编写的，轻量级的，简单轻巧，并且使用起来非常的方便。一、概述下图显示了Scrapy的大体架构，其中包含了它的主要组件及系统的数据处理流程（绿色箭头所示）。下面就来一个个解释每个组件的作用及数据的处理过程（注：图片来自互联网）。二、组... 继续阅读 >

2020
10-08

Python爬虫获取豆瓣电影并写入excel

豆瓣电影排行榜前250分为10页，第一页的url为https://movie.douban.com/top250,但实际上应该是https://movie.douban.com/top250?start=0后面的参数0表示从第几个开始，如0表示从第一（肖申克的救赎）到第二十五（触不可及），https://movie.douban.com/top250?start=25表示从第二十六（蝙蝠侠：黑暗骑士）到第五十名（死亡诗社）。等等，所以可以用一个步长为25的range的for循环参数复制代码代码如下:foriinrange(0,... 继续阅读 >

2020
10-08

Python爬虫爬取糗事百科段子实例分享

大家好，前面入门已经说了那么多基础知识了，下面我们做几个实战项目来挑战一下吧。那么这次为大家带来，Python爬取糗事百科的小段子的例子。首先，糗事百科大家都听说过吧？糗友们发的搞笑的段子一抓一大把，这次我们尝试一下用爬虫把他们抓取下来。本篇目标1.抓取糗事百科热门段子；2.过滤带有图片的段子；3.实现每按一次回车显示一个段子的发布时间，发布人，段子内容，点赞数。糗事百科是不需要登录的，所以也没必要用到Cookie... 继续阅读 >

2020
10-08

Python3爬虫关于代理池的维护详解

我们在上一节了解了代理的设置方法，利用代理我们可以解决目标网站封IP的问题，而在网上又有大量公开的免费代理，其中有一部分可以拿来使用，或者我们也可以购买付费的代理IP，价格也不贵。但是不论是免费的还是付费的，都不能保证它们每一个都是可用的，毕竟可能其他人也可能在用此IP爬取同样的目标站点而被封禁，或者代理服务器突然出故障或网络繁忙。一旦我们选用了一个不可用的代理，势必会影响我们爬虫的工作效率。所以... 继续阅读 >