分类：爬虫

2020
10-08

Python爬虫实例——爬取美团美食数据

1.分析美团美食网页的url参数构成1）搜索要点美团美食，地址：北京，搜索关键词：火锅2）爬取的urlhttps://bj.meituan.com/s/%E7%81%AB%E9%94%85/3）说明url会有自动编码中文功能。所以火锅二字指的就是这一串我们不认识的代码%E7%81%AB%E9%94%85。通过关键词城市的url构造，解析当前url中的bj=北京，/s/后面跟搜索关键词。这样我们就可以了解到当前url的构造。2.分析页面数据来源(F12开发者工具)开启F12开发者工具，并且刷新当前... 继续阅读 >

2020
10-08

Python爬虫实例——scrapy框架爬取拉勾网招聘信息

本文实例为爬取拉勾网上的python相关的职位信息,这些信息在职位详情页上,如职位名,薪资,公司名等等.分析思路分析查询结果页在拉勾网搜索框中搜索'python'关键字,在浏览器地址栏可以看到搜索结果页的url为:'https://www.lagou.com/jobs/list_python?labelWords=&fromSearch=true&suginput=',尝试将?后的参数删除,发现访问结果相同.打开Chrome网页调试工具(F12),分析每条搜索结果(即每个职位)在html中所处的元素定... 继续阅读 >

2020
10-08

Python3爬虫中关于Ajax分析方法的总结

这里还以前面的微博为例，我们知道拖动刷新的内容由Ajax加载，而且页面的URL没有变化，那么应该到哪里去查看这些Ajax请求呢？1.查看请求这里还需要借助浏览器的开发者工具，下面以Chrome浏览器为例来介绍。首先，用Chrome浏览器打开微博的链接https://m.weibo.cn/u/2830678474，随后在页面中点击鼠标右键，从弹出的快捷菜单中选择“检查”选项，此时便会弹出开发者工具，如图6-2所示：此时在Elements选项卡中便会观察到网页的源代... 继续阅读 >

2020
10-08

Python爬虫小例子——爬取51job发布的工作职位

概述不知从何时起，Python和爬虫就如初恋一般，情不知所起，一往而深，相信很多朋友学习Python，都是从爬虫开始，其实究其原因，不外两方面：其一Python对爬虫的支持度比较好，类库众多。其二Pyhton的语法简单，入门容易。所以两者形影相随，不离不弃，本文主要以一个简单的小例子，简述Python在爬虫方面的简单应用，仅供学习分享使用，如有不足之处，还请指正。涉及知识点本例主要爬取51job发布的工作职位，用到的知识点如下：... 继续阅读 >

2020
10-08

Python爬虫爬取博客实现可视化过程解析

源码：frompyechartsimportBarimportreimportrequestsnum=0b=[]foriinrange(1,11):link='https://www.cnblogs.com/echoDetected/default.html?page='+str(i)headers={'user-agent':'Mozilla/5.0(WindowsNT10.0;Win64;x64)AppleWebKit/537.36(KHTML,likeGecko)Chrome/72.0.3626.109Safari/537.36'}r=requests.get(link,headers=headers)html=r.textpost=re.findall('<spanclass="post-view-count... 继续阅读 >

2020
10-08

python和php哪个更适合写爬虫

python和PHP相比较，python适合做爬虫。原因如下抓取网页本身的接口相比与其他静态编程语言，如java，c#，C++，python抓取网页文档的接口更简洁；相比其他动态脚本语言，如perl，shell，python的urllib2包提供了较为完整的访问网页文档的API。（当然ruby也是很好的选择）此外，抓取网页有时候需要模拟浏览器的行为，很多网站对于生硬的爬虫抓取都是封杀的。这是我们需要模拟useragent的行为构造合适的请求，譬如模拟用户登陆、模... 继续阅读 >

2020
10-08

python爬虫可以爬什么

Python爬虫可以爬取的东西有很多，Python爬虫怎么学？简单的分析下：如果你仔细观察，就不难发现，懂爬虫、学习爬虫的人越来越多，一方面，互联网可以获取的数据越来越多，另一方面，像Python这样的编程语言提供越来越多的优秀工具，让爬虫变得简单、容易上手。利用爬虫我们可以获取大量的价值数据，从而获得感性认识中不能得到的信息，比如：知乎：爬取优质答案，为你筛选出各话题下最优质的内容。淘宝、京东：抓取商品、评论及... 继续阅读 >

2020
10-07

Python使用Chrome插件实现爬虫过程图解

做电商时，消费者对商品的评论是很重要的，但是不会写代码怎么办？这里有个Chrome插件可以做到简单的数据爬取，一句代码都不用写。下面给大家展示部分抓取后的数据：可以看到，抓取的地址，评论人，评论内容，时间，产品颜色都已经抓取下来了。那么，爬取这些数据需要哪些工具呢？就两个：1.Chrome浏览器；2.插件：WebScraper插件下载地址：https://chromecj.com/productivity/2018-05/942.html最后，如果你想自己动手抓取一下... 继续阅读 >

2020
10-06

Python while true实现爬虫定时任务

记得以前的windows任务定时是可以的正常使用的，今天试了下，发现不能正常使用了，任务计划总是挂起。接下来记录下python爬虫定时任务的几种解决方法。今天是第一篇，后面会陆续更新。首先最容易的是whiletrue死循环挂起，上代码importosimporttimeimportsysfromdatetimeimportdatetime,timedeltadefOne_Plan():#设置启动周期Second_update_time=24*60*60#当前时间now_Time=datetime.now()#... 继续阅读 >

2020
10-06

python爬虫把url链接编码成gbk2312格式过程解析

1.问题抓取某个网站，发现请求参数是乱码格式，这是点击TextView，发现请求参数如下图所示3.那么=%B9%FA%CE%F1%D4%BA%B7%A2%D5%B9%D1%D0%BE%BF%D6%D0%D0%C4是什么东西啊解码后是=国务院发展研究中心代码实现：content="我爱中国"importurllibres=urllib.quote(content.encode('gb2312'))printresprint"11111111",type(res)以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持自学编程网。... 继续阅读 >

2020
10-06

基于Python爬虫采集天气网实时信息

相信小伙伴们都知道今冬以来范围最广、持续时间最长、影响最重的一场低温雨雪冰冻天气过程正在进行中。预计，今天安徽、江苏、浙江、湖北、湖南等地有暴雪，局地大暴雪，新增积雪深度4～8厘米，局地可达10～20厘米。此外，贵州中东部、湖南中北部、湖北东南部、江西西北部有冻雨。言归正传，天气无时无刻都在陪伴着我们，今天小编带大家利用Python网络爬虫来实现天气情况的实时采集。此次的目标网站是绿色呼吸网。绿色呼吸网站免费... 继续阅读 >

2020
10-05

Python爬虫JSON及JSONPath运行原理详解

JSON(JavaScriptObjectNotation)是一种轻量级的数据交换格式，它使得人们很容易的进行阅读和编写。同时也方便了机器进行解析和生成。适用于进行数据交互的场景，比如网站前台与后台之间的数据交互。JsonPath是一种信息抽取类库，是从JSON文档中抽取指定信息的工具，提供多种语言实现版本，包括：Javascript,Python，PHP和Java。JsonPath对于JSON来说，相当于XPATH对于XML。JsonPath与XPath语法对比：Json结构清晰，... 继续阅读 >

2020
09-30

Python爬虫实现百度翻译功能过程详解

首先，需要简单的了解一下爬虫，尽可能简单快速的上手，其次，需要了解的是百度的API的接口，搞定这个之后，最后，按照官方给出的demo，然后写自己的一个小程序打开浏览器F12打开百度翻译网页源代码：我们可以轻松的找到百度翻译的请求接口为：http://fanyi.baidu.com/sug然后我们可以从方法为POST的请求中找到参数为：kw：job（job是输入翻译的内容）下面是代码部分：fromurllibimportrequest,parseimportjsondeftranslate... 继续阅读 >

2020
09-29

springBoot+webMagic实现网站爬虫的实例代码

前端时间公司项目需要抓取各类数据，py玩的不6，只好研究Java爬虫方案，做一个总结。开发环境：springBoot2.2.6、jdk1.8。1、导入依赖<!--WebMagic核心包--><dependency><groupId>us.codecraft</groupId><artifactId>webmagic-core</artifactId><version>0.7.3</version><!--这里可以去掉WebMagic自带的日志（因为打印的很多。。。。）--><!--<exclusions>--><!--<exclusion>--><!--<groupId>org.slf4j... 继续阅读 >

2020
09-27

Python Scrapy框架：通用爬虫之CrawlSpider用法简单示例

本文实例讲述了PythonScrapy框架：通用爬虫之CrawlSpider用法。分享给大家供大家参考，具体如下：步骤01:创建爬虫项目scrapystartprojectquotes步骤02:创建爬虫模版scrapygenspider-tquotesquotes.toscrape.com步骤03:配置爬虫文件quotes.pyimportscrapyfromscrapy.spidersimportCrawlSpider,Rulefromscrapy.linkextractorsimportLinkExtractorclassQuotes(CrawlSpider):#爬虫名称name="get_quotes"all... 继续阅读 >

2020
09-27

python+selenium+chromedriver实现爬虫示例代码

下载好所需程序1.Selenium简介Selenium是一个用于Web应用程序测试的工具，直接运行在浏览器中，就像真正的用户在操作一样。2.Selenium安装方法一：在Windows命令行（cmd）输入pipinstallselenium即可自动安装，安装完成后，输入pipshowselenium可查看当前的版本方法二：直接下载selenium包：selenium下载网址Pychome安装selenium如果出现无法安装，参考以下博客解决Pycharm无法使用已经安装Selenium的问题3.禁止谷歌浏览器自动... 继续阅读 >