分类：爬取网页

2021
04-27

python 爬取豆瓣网页的示例

python作为一种已经广泛传播且相对易学的解释型语言,现如今在各方面都有着广泛的应用。而爬虫则是其最为我们耳熟能详的应用，今天笔者就着重针对这一方面进行介绍。python语法简要介绍python的基础语法大体与c语言相差不大，由于省去了c语言中的指针等较复杂的结构，所以python更被戏称为最适合初学者的语言。而在基础语法之外，python由其庞大的第三方库组成，而其中包含多种模块，而通过模块中包含的各种函数与方法能够帮助我... 继续阅读 >

2020
10-10

Python爬取网页信息的示例

Python爬取网页信息的步骤以爬取英文名字网站（https://nameberry.com/）中每个名字的评论内容，包括英文名，用户名，评论的时间和评论的内容为例。1、确认网址在浏览器中输入初始网址，逐层查找链接，直到找到需要获取的内容。在打开的界面中，点击鼠标右键，在弹出的对话框中，选择“检查”，则在界面会显示该网页的源代码，在具体内容处点击查找，可以定位到需要查找的内容的源码。注意：代码显示的方式与浏览器有关，有些浏览... 继续阅读 >

2020
10-08

python如何爬取网页中的文字

用Python进行爬取网页文字的代码：#!/usr/bin/python#-*-coding:UTF-8-*-importrequestsimportre#下载一个网页url='https://www.biquge.tw/75_75273/3900155.html'#模拟浏览器发送http请求response=requests.get(url)#编码方式response.encoding='utf-8'#目标小说主页的网页源码html=response.textprint(html)1、编写爬虫思路：确定下载目标，找到网页，找到网页中需要的内容。对数据进行处理。保存数据。2、知识... 继续阅读 >

2020
09-29

Python基于pandas爬取网页表格数据

以网页表格为例：https://www.kuaidaili.com/free/该网站数据存在table标签，直接用requests，需要结合bs4解析正则/xpath/lxml等，没有几行代码是搞不定的。今天介绍的黑科技是pandas自带爬虫功能，pd.read_html()，只需传人url，一行代码搞定。原网页结构如下：python代码如下：importpandasaspdurl='http://www.kuaidaili.com/free/'df=pd.read_html(url)[0]#[0]：表示第一个table，多个table需要指定，如果不指定默认第一... 继续阅读 >