分类：bs4

2021
05-25

python爬虫之bs4数据解析

一、实现数据解析因为正则表达式本身有难度，所以在这里为大家介绍一下bs4实现数据解析。除此之外还有xpath解析。因为xpath不仅可以在python中使用，所以bs4和正则解析一样，仅仅是简单地写两个案例（爬取可翻页的图片，以及爬取三国演义）。以后的重点会在xpath上。二、安装库闲话少说，我们先来安装bs4相关的外来库。比较简单。1.首先打开cmd命令面板，依次安装bs4和lxml。2.命令分别是pipinstallbs4和... 继续阅读 >

2020
10-10

python使用bs4爬取boss直聘静态页面

思路：1、将需要查询城市列表，通过城市接口转换成相应的code码2、遍历城市、职位生成url3、通过url获取列表页面信息，遍历列表页面信息4、再根据列表页面信息的job_link获取详情页面信息，将需要的信息以字典data的形式存在列表datas里5、判断列表页面是否有下一页，重复步骤3、4；同时将列表datas一直传递下去6、一个城市、职位url爬取完后，将列表datas接在列表datas_list后面，重复3、4、57、... 继续阅读 >

2020
10-09

Python爬虫使用bs4方法实现数据解析

聚焦爬虫:爬取页面中指定的页面内容。编码流程：1.指定url2.发起请求3.获取响应数据4.数据解析5.持久化存储数据解析分类：1.bs42.正则3.xpath(***)数据解析原理概述：解析的局部的文本内容都会在标签之间或者标签对应的属性中进行存储1.进行指定标签的定位2.标签或者标签对应的属性中存储的数据值进行提取（解析）bs4进行数据解析数据解析的原理：1.标签定位2.提取标签、标签属性中存储的数据值bs4数据解析的原理... 继续阅读 >