分类：爬虫

2022
05-24

Python爬虫技术

目录一、Python爬虫简单介绍1、抓取网页本身的接口2、网页抓取后的处理二、爬虫架构三、URL管理器1、基本功能2、存蓄方式3、网页下载器（urllib）四、网页解析器（BeautifulSoup）1、解析器选择2、BeautifulSoup3、使用说明一、Python爬虫简单介绍1、抓取网页本身的接口 相比与其他静态的编程语言，如java，c#，C++，python抓取网页的接口更简洁；相比其他动态脚本语言，如Perl，shell，python的urllib包提供了较为完整的访问... 继续阅读 >

2022
02-10

springboot+WebMagic+MyBatis爬虫框架的使用

目录1.添加maven依赖2.项目配置文件application.properties3.数据库表结构4.实体类5.mapper接口6.CrawlerMapper.xml文件7.知乎页面内容处理类ZhihuPageProcessor8.知乎数据处理类ZhihuPipeline9.知乎爬虫任务类ZhihuTask10.Springboot程序启动类WebMagic是一个开源的java爬虫框架。WebMagic框架的使用并不是本文的重点，具体如何使用请参考官方文档：http://webmagic.io/docs/。本文是对springboot+WebMagic+MyBatis做了整合，... 继续阅读 >

2021
07-22

python 开心网和豆瓣日记爬取的小爬虫

目录项目地址：开心网日记爬取使用代码豆瓣日记爬取使用代码Roadmap项目地址：https://github.com/aturret/python-crawler-exercise用到了BeautifulSoup4，请先安装。pipinstallbeautifulsoup4开心网日记爬取kaixin001.py使用登录开心网，浏览器F12看http请求的header，获取自己的cookie。填写cookie，要爬的日记的url，要爬的总次数。走你。之后会生成HTML文件，格式是<:title>-<YYYYMMDDHHMMSS>代码#-*-coding:utf-8-*-fro... 继续阅读 >

2021
07-22

python 爬取影视网站下载链接

目录项目地址：运行效果导入模块爬虫主代码完整代码项目地址：https://github.com/GriffinLewis2001/Python_movie_links_scraper运行效果导入模块importrequests,refromrequests.cookiesimportRequestsCookieJarfromfake_useragentimportUserAgentimportos,pickle,threading,timeimportconcurrent.futuresfromgotoimportwith_goto爬虫主代码defget_content_url_name(url):send_headers={"User-Agent":"Moz... 继续阅读 >

2021
07-17

Python selenium模拟网页点击爬虫交管12123违章数据

在上一篇文章《Python教程—模拟网页点击爬虫定位系统》讲解怎么通过模拟点击方式爬取车辆定位数据，本次介绍怎么以模拟点击方式进入交管12123爬取车辆违章数据，本文直接讲解过程，使用的命令解释见上一篇文章。本文同《Python教程—模拟网页点击爬虫定位系统》同样为企业中实际的爬虫案例，如果之后想进入车企行业可以做个了解。准备工具：spyder、selenium库、google浏览器及对应版本的chromedriver.exe效果注：分享此案例目的... 继续阅读 >

2021
07-09

python爬取链家二手房的数据

目录一、查找数据所在位置：二、确定数据存放位置：三、获取html数据：四、解析html，提取有用数据：一、查找数据所在位置：打开链家官网，进入二手房页面，选取某个城市，可以看到该城市房源总数以及房源列表数据。二、确定数据存放位置：某些网站的数据是存放在html中，而有些却api接口，甚至有些加密在js中，还好链家的房源数据是存放到html中：三、获取html数据：通过requests请求页面，获取每页的html数据#爬取的url,默认爬... 继续阅读 >

2021
07-04

快速搭建python爬虫管理平台

目录爬虫有多重要理解什么是爬虫管理平台定义广义爬虫管理平台爬虫管理平台模块爬虫管理平台架构为什么需要爬虫管理平台如何选择一个合适的爬虫管理平台爬虫管理平台Crawlab介绍简介解决问题界面及使用整体架构Github地址及Demo使用Docker部署安装CrawlabDocker镜像安装Docker安装DockerCompose拉取镜像启动Crawlabdocker-compose如何将Scrapy等爬虫集成到CrawlabCrawlab是执行爬虫基本原理编写Pipeline上传并配置... 继续阅读 >

2021
06-08

使用python爬取taptap网站游戏截图的步骤

今天使用python写了一个简单的爬虫，用来下载taptap网站的游戏截图。下面说下具体的实现方法。在搜索框中搜索“原神”打开浏览器的开发者选项，从详情按钮里面跳转到游戏的页面，点击详情之后，跳转页面这时候看到，浏览器地址：https://www.taptap.com/app/168332，tap官网的域名加上app/和图一的游戏id，可以使用re模块正则表达式模块从接口中获取到这个idx_ua='V=1&PN=WebApp&LANG=zh_CN&VN_CODE=4&VN=0.1.0&LOC=CN&PLT=PC&DS... 继续阅读 >

2021
04-27

python PyQt5 爬虫实现代码

搞一个图形化界面还是挺酷的，是吧安装库什么的应该不用多说了吧。。一般来说会让你把designer.exe（编辑图形化界面的东西，跟vb差不多）当作外部工具导入到pycharm界面里（这里不写了）,其实就是打开方便点，不做也没什么关系，没有非要从pycharm打开，界面是这样的：还要导入一个PyUIC工具包，这个东西好像还是导入比较好，（写文件目录的时候可能由于安装的问题找不到那个文件，我刚开始也没找到，还不如直接在C盘搜索那... 继续阅读 >

2021
03-05

快速一键生成Python爬虫请求头

今天介绍个神奇的网站！堪称爬虫偷懒的神器！我们在写爬虫，构建网络请求的时候，不可避免地要添加请求头(headers)，以mdn学习区为例，我们的请求头是这样的：一般来说，我们只要添加 user-agent 就能满足绝大部分需求了，Python代码如下：importrequestsheaders={#'authority':'developer.mozilla.org',#'pragma':'no-cache',#'cache-control':'no-cache',#'upgrade-insecure-requests':'1','user-age... 继续阅读 >

2021
02-26

c# 爬取优酷电影信息(2)

上一章节中我们实现了对优酷单页面的爬取，简单进行回顾一下，使用HtmlAgilityPack库，对爬虫的爬取一共分为三步爬虫步骤加载页面解析数据保存数据继第一篇文档后的爬虫进阶，本文章主要是对上一篇的进阶。实现的功能主要为：1、爬取电影类别列表2、循环每个类别的电影信息，对每个类别的信息分页爬取3、爬取的数据保存到数据库中一、爬取电影类别列表使用Chrome浏览器，F12，找到当前位置，得到当前位置的Xpath。我们需要... 继续阅读 >

2021
02-26

c# 爬取优酷电影信息(1)

爬虫的制作主要分为三个方面1、加载网页结构2、解析网页结构，转变为符合需求的数据实体3、保存数据实体（数据库，文本等）在实际的编码过程中，找到了一个好的类库“HtmlAgilityPack”。介绍：官网：http://html-agility-pack.net/?z=codeplexHtmlAgilityPack源码中的类大概有28个左右，其实不算一个很复杂的类库，但它的功能确不弱，为解析DOM已经提供了足够强大的功能支持，可以跟jQuery操作DOM媲美)使用说明：HtmlAgili... 继续阅读 >

2021
02-21

Python爬虫+Tkinter制作一个翻译软件的示例

今天咱们用Python爬虫和Tkinter界面来做一个翻译软件。一、运行效果软件实现功能：当我们输入英文或中文时，程序即可打印出来对应的译文，如图：二、实现方法1.爬虫部分实现一键翻译最简单的方式就是爬虫，我们只需将要翻译的内容传入，然后将翻译的结果爬取下来呈现给用户即可。在本文中，我们选择的网站是有道翻译。下图这个界面，你在左边输入文字，那么浏览器会把你输入的信息传输给服务器。再在右侧返回对应翻译结果。这就是... 继续阅读 >

2021
02-21

Python3爬虫RedisDump的安装步骤

在python3爬虫中如何我们想要导入/导出Redis数据，就要安装使用RedisDump。RedisDump是一个用于Redis数据导入/导出的工具，可以将redis数据库中的各个slot中的数据导出到文本中，方便迁移备份数据；是基于Ruby实现的，所以要安装RedisDump，需要先安装Ruby。1、相关链接GitHub：https://github.com/delano/redis-dump官方文档：http://delanotes.com/redis-dump2、安装Ruby#查看可以安装的Ruby版本rvmlistknown#这里我们安装2.... 继续阅读 >

2021
02-21

Python基于爬虫实现全网搜索并下载音乐

现在写一篇博客总是喜欢先谈需求或者本内容的应用场景，是的，如果写出来的东西没有任何应用价值，确实也没有实际意义。今天的最早的需求是来自于如何免费[白嫖]下载全网优质音乐，我去b站上面搜索到了一个大牛做过的一个歌曲搜素神器，界面是这样的：确实很好用的，而且涵盖了互联网上面大多数主流的音乐网站，涉及到的版本也很多，可谓大而全，但是一个技术人的追求远远不会如此，于是我就想去了解其中背后的原理，因为做过网络... 继续阅读 >

2021
02-21

python爬虫如何解决图片验证码

之前刚开始做爬虫的时候遇到过登录验证码问题，看过很多帖子都没有解决我的问题，发现大多数帖子都是治标不治本，于是想分享一下自己的解决方案。本次采用的网站是古诗文网，使用百度API，因为百度API免费！免费！免费！适合自己学习的时候使用。如果还没有使用过百度API识别验证码的朋友可以看一下我的这个帖子。以下案例采用的时古诗文网：登录古诗文网，1、selenium处理图片验证码先定位到验证码图片，在获取验证码图片在页面中... 继续阅读 >