分类：python爬虫网页

2021
05-09

Python如何利用正则表达式爬取网页信息及图片

一、正则表达式是什么?概念:正则表达式是对字符串操作的一种逻辑公式，就是用事先定义好的一些特定字符、及这些特定字符的组合，组成一个“规则字符串”，这个“规则字符串”用来表达对字符串的一种过滤逻辑。正则表达式是一个特殊的字符序列，它能帮助你方便的检查一个字符串是否与某种模式匹配。个人理解:简单来说就是使用正则表达式来写一个过滤器来过滤了掉杂乱的无用的信息(eg:网页源代码…)从中来获取自己想要的内容二、... 继续阅读 >

2021
03-09

Python爬取动态网页中图片的完整实例

动态网页爬取是爬虫学习中的一个难点。本文将以知名插画网站pixiv为例，简要介绍动态网页爬取的方法。写在前面本代码的功能是输入画师的pixivid，下载画师的所有插画。由于本人水平所限，所以代码不能实现自动登录pixiv，需要在运行时手动输入网站的cookie值。重点：请求头的构造，json文件网址的查找，json中信息的提取分析创建文件夹根据画师的id创建文件夹（相关路径需要自行调整）。defmakefolder(id):#根据画师的id创建对... 继续阅读 >