分类：爬虫

2020
09-27

python爬虫学习笔记之Beautifulsoup模块用法详解

本文实例讲述了python爬虫学习笔记之Beautifulsoup模块用法。分享给大家供大家参考，具体如下：相关内容：什么是beautifulsoupbs4的使用导入模块选择使用解析器使用标签名查找使用find\find_all查找使用select查找首发时间：2018-03-0200:10什么是beautifulsoup:是一个可以从HTML或XML文件中提取数据的Python库.它能够通过你喜欢的转换器实现惯用的文档导航,查找,修改文档的方式.（官方）beaut... 继续阅读 >

2020
09-27

python爬虫学习笔记之pyquery模块基本用法详解

本文实例讲述了python爬虫学习笔记之pyquery模块基本用法。分享给大家供大家参考，具体如下：相关内容：pyquery的介绍pyquery的使用安装模块导入模块解析对象初始化css选择器在选定元素之后的元素再选取元素的文本、属性等内容的获取pyquery执行DOM操作、css操作Dom操作CSS操作一个利用pyquery爬取豆瓣新书的例子首发时间：2018-03-0921:26pyquery的介绍pyquery允许对xml... 继续阅读 >

2020
09-25

python手机号前7位归属地爬虫代码实例

需求分析项目上需要用到手机号前7位，判断号码是否合法，还有归属地查询。旧的数据是几年前了太久了，打算用python爬虫重新爬一份单线程版本#coding:utf-8importrequestsfromdatetimeimportdatetimeclassPhoneInfoSpider:def__init__(self,phoneSections):self.phoneSections=phoneSectionsdefphoneInfoHandler(self,textData):text=textData.splitlines(True)#print("textlength:"+str(len(tex... 继续阅读 >

2020
09-24

Python爬虫爬取、解析数据操作示例

本文实例讲述了Python爬虫爬取、解析数据操作。分享给大家供大家参考，具体如下：爬虫当当网http://search.dangdang.com/?key=python&act=input&page_index=1获取书籍相关信息面向对象思想利用不同解析方式和存储方式引用相关库importrequestsimportreimportcsvimportpymysqlfrombs4importBeautifulSoupfromlxmlimportetreeimportlxmlfromlxmlimporthtml类代码实现部分classDDSpider(object):#对象属... 继续阅读 >

2020
09-24

Python爬虫爬取电影票房数据及图表展示操作示例

本文实例讲述了Python爬虫爬取电影票房数据及图表展示操作。分享给大家供大家参考，具体如下：爬虫电影历史票房排行榜http://www.cbooo.cn/BoxOffice/getInland?pIndex=1&t=0Python爬取历史电影票房纪录解析Json数据横向条形图展示面向对象思想导入相关库importrequestsimportrefrommatplotlibimportpyplotaspltfrommatplotlibimportfont_managerimportjson类代码部分classDYOrder(object):#初始化def... 继续阅读 >

2020
09-24

Python爬虫爬取杭州24时温度并展示操作示例

本文实例讲述了Python爬虫爬取杭州24时温度并展示操作。分享给大家供大家参考，具体如下：散点图爬虫杭州今日24时温度https://www.baidutianqi.com/today/58457.htm利用正则表达式爬取杭州温度面向对象编程图表展示(散点图/折线图)导入相关库importrequestsimportrefrommatplotlibimportpyplotaspltfrommatplotlibimportfont_managerimportmatplotlib类代码部分classWeather(object):def__init__(self):... 继续阅读 >

2020
09-24

Python爬虫程序架构和运行流程原理解析

1前言Python开发网络爬虫获取网页数据的基本流程为：发起请求通过URL向服务器发起request请求，请求可以包含额外的header信息。获取响应内容服务器正常响应，将会收到一个response，即为所请求的网页内容，或许包含HTML，Json字符串或者二进制的数据（视频、图片）等。解析内容如果是HTML代码，则可以使用网页解析器进行解析，如果是Json数据，则可以转换成Json对象进行解析，如果是二进制的数据，则可以保存到文件做进一步处理。... 继续阅读 >

2020
09-24

Python网络爬虫信息提取mooc代码实例

实例一--爬取页面importrequestsurl="https//itemjd.com/2646846.html"try:r=requests.get(url)r.raise_for_status()r.encoding=r.apparent_encodingprint(r.text[:1000])except:print("爬取失败")正常页面爬取实例二--爬取页面importrequestsurl="https://www.amazon.cn/gp/product/B01M8L5Z3Y"try:kv={'user-agent':'Mozilla/5.0'}r=requests.get(url,headers=kv)r.raise_for_status()r.encoding=r.apparent_encoding... 继续阅读 >

2020
09-24

Python爬虫实现模拟点击动态页面

动态页面的模拟点击：以斗鱼直播为例：http://www.douyu.com/directory/all爬取每页的房间名、直播类型、主播名称、在线人数等数据，然后模拟点击下一页，继续爬取代码如下#!/usr/bin/python3#-*-coding:utf-8-*-__author__='mayi'"""动态页面的模拟点击：模拟点击斗鱼直播：http://www.douyu.com/directory/all爬取每页房间名、直播类型、主播名称、在线人数等数据，然后模拟点击下一页，继续爬取"""fromseleniumimp... 继续阅读 >

2020
09-23

python 爬虫 实现增量去重和定时爬取实例

前言：在爬虫过程中，我们可能需要重复的爬取同一个网站，为了避免重复的数据存入我们的数据库中通过实现增量去重去解决这一问题本文还针对了那些需要实时更新的网站增加了一个定时爬取的功能；本文作者同开源中国（殊途同归_）；解决思路：1.获取目标url2.解析网页3.存入数据库（增量去重）4.异常处理5.实时更新（定时爬取）下面为数据库的配置mysql_congif.py：importpymysqldefinsert_db(db_table,issue,time_str... 继续阅读 >

2016
01-25

常见的反爬虫和应对方法

0x01常见的反爬虫这几天在爬一个网站，网站做了很多反爬虫工作，爬起来有些艰难，花了一些时间才绕过反爬虫。在这里把我写爬虫以来遇到的各种反爬虫策略和应对的方法总结一下。从功能上来讲，爬虫一般分为数据采集，处理，储存三个部分。这里我们只讨论数据采集部分。一般网站从三个方面反爬虫：用户请求的Headers，用户行为，网站目录和数据加载方式。前两种比较容易遇到，大多数网站都从这些角度来反爬虫。第... 继续阅读 >

2014
11-11

大数据基础技术——爬虫的工具选择

大数据是神马？怎么样才算拥有一只善良又可爱的大数据？一种传统的方法是爬取相关的网页，所以咱们今天讲讲爬虫的一些简单知识和可以选择的工具。爬虫的原理就不必多说了，可以自行Google首先，应该认真考虑你需要什么样的大数据，也就是你的需求是什么。爬取普通网页、博客、新闻、社交网络还是图片？貌似咋一看都是爬虫去爬好了，其实不然，细节上的需求可能导致你需要的工具属性不一样。其次，讲讲笔者用过的一些爬虫工具... 继续阅读 >

2014
11-07

如何禁止搜索引擎爬虫（Spider）抓取网站页面

一般情况，大家都是希望搜索引擎爬虫尽可能多的抓取自己的网站，但有时也需要告诉爬虫不要抓取，比如，不要抓取镜像页面等。以下列举了屏蔽主流搜索引擎爬虫（蜘蛛）抓取/索引/收录网页的几种思路。注意：是整站屏蔽，而且是尽可能的屏蔽掉所有主流搜索引擎的爬虫（蜘蛛）。1、通过robots.txt文件屏蔽可以说robots.txt文件是最重要的一种渠道（能和搜索引擎建立直接对话）。我通过分析我自己博客的服务器日志文件，给出以下... 继续阅读 >

2014
11-07

百度与Google对网站收录和更新的时间规律

很多站长都会在意搜索引擎对于网站的收录情况，所以大家就开始寻找百度与Google收录网站的时间规律，这样做并没有什么不好，能了解搜索引擎的更新规律对于有针对的更新网站是由好处的。以下只是一些大概的规律总结，并不表示一直都是如此，对于老站长这些规律可能早就知道，所以放在这里仅供各位新站长参考。百度更新时间：百度收录的大更新时间是每月11号和26号，特别是26号，更新幅度最大，K站也是最多的。小更新时间：每周四... 继续阅读 >