分类：爬虫

2021
01-29

Python爬取梨视频的示例

爬取流程（美食区最热标签下的三个视频）在首页获取视频的编号和名字拼接成正确的url保存视频思路1.从网页中获取视频的url发现视频的url在id为“JprismPlayer”的div标签下的video标签src属性中，xpath解析网页video_url=tree.xpath("//div[@id='JprismPlayer']/video/@src")但得到的返回值为空，也就是说这个video标签在原网页中并不存在，很可能是动态加载出来的2.从动态请求获取视频的url果然在动态请求中发现了包含... 继续阅读 >

2021
01-21

python基于爬虫+django，打造个性化API接口

简述今天也是同事在做微信小程序的开发，需要音乐接口的测试，可是用网易云的开放接口比较麻烦，也不能进行测试，这里也是和我说了一下，所以就用爬虫写了个简单网易云歌曲URL的爬虫，把数据存入mysql数据库，再利用django封装装了一个简单的API接口，给同事测试使用。原理创建django项目，做好基础的配置，在views里写两个方法，一个是从mysql数据库中查数据然后封装成API，一个是爬虫方法，数据扒下来以后，通过django的ORM把数... 继续阅读 >

2021
01-17

java能写爬虫程序吗

我们经常会使用网络爬虫去爬取需要的内容，提到爬虫，可能大家伙都会想到python，其实除了python，还有java。java的编程语言简单规范，是很好的爬虫工具。而且java爬虫的语言运行速度比python快，另外，java的多线程是可以利用多核的。1、java为什么可以应用于网络爬虫？java语法比较规则，采用严格的面向对象编程方法；Java是Android开发的基石，是Web开发的主流语言；具有很好的扩展性可伸缩性，其是目前搜索引擎开发的重要组成... 继续阅读 >

2021
01-03

Python爬虫之Selenium库的使用方法

Selenium 是一个用于Web应用程序测试的工具。Selenium测试直接运行在浏览器中，就像真正的用户在操作一样。支持的浏览器包括IE（7,8,9,10,11），MozillaFirefox，Safari，GoogleChrome，Opera等。这个工具的主要功能包括：测试与浏览器的兼容性——测试你的应用程序看是否能够很好得工作在不同浏览器和操作系统之上。测试系统功能——创建回归测试检验软件功能和用户需求。支持自动录制动作和自动生成.Net、Java、Perl... 继续阅读 >

2021
01-03

python爬虫基础之urllib的使用

一、urllib和urllib2的关系在python2中，主要使用urllib和urllib2，而python3对urllib和urllib2进行了重构，拆分成了urllib.request,urllib.parse,urllib.error，urllib.robotparser等几个子模块，这样的架构从逻辑和结构上说更加合理。urllib库无需安装，python3自带。python3.x中将urllib库和urilib2库合并成了urllib库。  urllib2.urlopen()变成了urllib.request.urlopen()  urllib2.Request()... 继续阅读 >

2020
12-29

C# 爬虫简单教程

1、使用第三方类库HtmlAgilityPack官方网址：https://html-agility-pack.net/?z=codeplex、//FromFile从文件获取html信息vardoc=newHtmlDocument();doc.Load(filePath);//FromString从字符串获取html信息vardoc=newHtmlDocument();doc.LoadHtml(html);//FromWeb从网址获取html信息varurl="http://html-agility-pack.net/";varweb=newHtmlWeb();vardoc=web.Load(url);1.1、这里介绍一下最后一种用... 继续阅读 >

2020
12-24

Java中用爬虫进行解析的实例方法

我们都知道可以用爬虫来找寻一些想要的数据，除了可以使用python进行操作，我们最近学习的java同样也支持爬虫的运行，本篇小编就教大家用java爬虫来进行网页的解析，具体内容请往下看：1、springboot项目，引入jsoup<dependency><groupId>org.jsoup</groupId><artifactId>jsoup</artifactId><version>1.10.2</version></dependency>2、准备解析对象Content.javapackagecom.asia.pojo;importlombok.AllArgsConstructor;importlom... 继续阅读 >

2020
12-18

python 爬虫爬取京东ps4售卖情况

代码#!/usr/bin/envpython#-*-coding:utf-8-*-#@File:HtmlParser.py#@Author:赵路仓#@Date:2020/3/17#@Desc:#@Contact:398333404@qq.comimportjsonfromlxmlimportetreeimportrequestsfrombs4importBeautifulSoupurl="https://search.jd.com/Search?keyword=ps4&enc=utf-8&wq=ps4&pvid=cf0158c8664442799c1146a461478c9c"head={'authority':'search.jd.com','method':'GET','path':'/s_new.php... 继续阅读 >

2020
12-04

python 爬虫之selenium可视化爬虫的实现

之所以把selenium爬虫称之为可视化爬虫主要是相较于前面所提到的几种网页解析的爬虫方式selenium爬虫主要是模拟人的点击操作selenium驱动浏览器并进行操作的过程是可以观察到的就类似于你在看着别人在帮你操纵你的电脑，类似于别人远程使用你的电脑当然了，selenium也有无界面模式快速入门selenium基本介绍:selenium是一套完整的web应用程序测试系统，包含了测试的录制（seleniumIDE）,编写及运行（SeleniumRemoteControl）和... 继续阅读 >

2020
12-04

一文带你了解Python 四种常见基础爬虫方法介绍

一、Urllib方法Urllib是python内置的HTTP请求库importurllib.request#1.定位抓取的urlurl='http://www.baidu.com/'#2.向目标url发送请求response=urllib.request.urlopen(url)#3.读取数据data=response.read()#print(data)#打印出来的数据有ASCII码print(data.decode('utf-8'))#decode将相应编码格式的数据转换成字符串#post请求importurllib.parseurl='http://www.iqianyue.com/mypost/'#构建上传的datapostdata=urllib.pars... 继续阅读 >

2020
12-02

Java爬虫(Jsoup与WebDriver)的使用

一、Jsoup爬虫jsoup是一款Java的HTML解析器，可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API，可通过DOM，CSS以及类似于jQuery的操作方法来取出和操作数据。以博客园首页为例1、idea新建maven工程pom.xml导入jsoup依赖<dependency><groupId>org.jsoup</groupId><artifactId>jsoup</artifactId><version>1.12.1</version></dependency>jsoup代码packagecom.blb;importorg.jsoup.Jsoup;importorg.js... 继续阅读 >

2020
12-02

python爬虫调度器用法及实例代码

我们一般使用爬虫看到的都是最后的数据结果，对于整个的获取过程没有过多了解过。对于初学python的小伙伴们来说，不光是代码的练习，还是原理的分析都是必不可少的。小编把整个爬取的过程分为了几个部分，从一开始的下载，到数据的去重解析，再到整个爬虫循环的结束，以图片和代码的双重形式展现给大家，希望能够对爬虫调度器有一个深刻的理解。我们可以编写几个元件，每个元件完成一项功能，下图中的蓝底白字就是对这一流程的抽象... 继续阅读 >

2020
12-02

python爬虫 requests-html的使用

一介绍Python上有一个非常著名的HTTP库——requests，相信大家都听说过，用过的人都说非常爽！现在requests库的作者又发布了一个新库，叫做requests-html，看名字也能猜出来，这是一个解析HTML的库，具备requests的功能以外，还新增了一些更加强大的功能，用起来比requests更爽！接下来我们来介绍一下它吧。#官网解释'''ThislibraryintendstomakeparsingHTML(e.g.scrapingtheweb)assimpleandintuitiveasposs... 继续阅读 >

2020
11-29

Python爬虫爬取有道实现翻译功能

准备首先安装爬虫urllib库pipinstallurllib获取有道翻译的链接url需要发送的参数在formdata里示例importurllib.requestimporturllib.parseurl='http://fanyi.youdao.com/translate_o?smartresult=dict&smartresult=rule'data={}data['i']='ilovepython'data['from']='AUTO'data['to']='AUTO'data['smartresult']='dict'data['client']='fanyideskweb'data['salt']='16057996372935'data['sign']='096... 继续阅读 >

2020
11-25

python3爬虫中多线程进行解锁操作实例

生活中我们为了保障房间里物品的安全，所以给门进行上锁，在我们需要进入房间的时候又会重新打开。同样的之间我们讲过多线程中的lock，作用是为了不让多个线程运行是出错所以进行锁住的指令。但是鉴于我们实际运用中，因为线程和指令不会只有一个，如果全部都进行lock操作就会出错。所以今天小编为大家进行lock的全面讲解，同时为大家带来lock的解锁方法。由于线程之间随机调度，所以在使用共享变量时，某线程可能在执行n条后，CPU... 继续阅读 >

2020
11-25

python爬虫快速响应服务器的做法

不论是打开网页或者爬取一些资料的时候，我们想要的是计算机能在最短的时间内运行出结果，不然等待的时间过长会影响下一步工作的计划。这时候我们可以给计算机一个指令，限制最久能等待的时间，在我们能接受的时间内运行出结果。那么这个指令方法是什么呢？接下来我们一起看看吧。requests之所以称为“HTTPforhuman”，因为其封装层次很高，其中一处体现就在：requests会自动处理服务器响应的重定向。我在做搜狗微信公众号抓取的... 继续阅读 >