分类：爬取网站

2021
06-08

使用python爬取taptap网站游戏截图的步骤

今天使用python写了一个简单的爬虫，用来下载taptap网站的游戏截图。下面说下具体的实现方法。在搜索框中搜索“原神”打开浏览器的开发者选项，从详情按钮里面跳转到游戏的页面，点击详情之后，跳转页面这时候看到，浏览器地址：https://www.taptap.com/app/168332，tap官网的域名加上app/和图一的游戏id，可以使用re模块正则表达式模块从接口中获取到这个idx_ua='V=1&PN=WebApp&LANG=zh_CN&VN_CODE=4&VN=0.1.0&LOC=CN&PLT=PC&DS... 继续阅读 >
2021
05-25

python爬取新闻门户网站的示例

项目地址：https://github.com/Python3Spiders/AllNewsSpider如何使用每个文件夹下的代码就是对应平台的新闻爬虫py文件直接运行pyd文件需要，假设为pengpai_news_spider.pyd将pyd文件下载到本地，新建项目，把pyd文件放进去项目根目录下新建runner.py，写入以下代码即可运行并抓取importpengpai_news_spiderpengpai_news_spider.main()示例代码百度新闻#-*-coding:utf-8-*-#文件备注信息如果遇到打不... 继续阅读 >
2021
04-07

python 爬取壁纸网站的示例

本次爬虫用到的网址是：http://www.netbian.com/index.htm:彼岸桌面.里面有很多的好看壁纸，而且都是可以下载高清无损的，还比较不错，所以我就拿这个网站练练手。作为一个初学者，刚开始的时候，无论的代码的质量如何，总之代码只要能够被正确完整的运行那就很能够让自己开心的，如同我们的游戏一样，能在短时间内得到正向的反馈，我们就会更有兴趣去玩。学习也是如此，只要我们能够在短期内得到学习带来的反馈，那么我们的对于... 继续阅读 >
2021
01-29

C# 关于爬取网站数据遇到csrf-token的分析与解决

需求某航空公司物流单信息查询，是一个post请求。通过后台模拟POSTHTTP请求发现无法获取页面数据，通过查看航空公司网站后，发现网站使用避免CSRF攻击机制，直接发挥40X错误。关于CSRF读者自行百度网站HTTP请求分析 Headers FormData在head里包含了cookie与x-csrf-token formdata里包含了_csrf（与head里的值是一样的）.这里通过查看该网站的JS源代码发现_csrf来自于网页的head标签里猜测cookie与 x-c... 继续阅读 >
2020
10-10

python 爬取免费简历模板网站的示例

代码#免费的简历模板进行爬取本地保存#http://sc.chinaz.com/jianli/free.html#http://sc.chinaz.com/jianli/free_2.htmlimportrequestsfromlxmlimportetreeimportosdirName='./resumeLibs'ifnotos.path.exists(dirName):os.mkdir(dirName)headers={'User-Agent':'Mozilla/5.0(WindowsNT10.0;Win64;x64)AppleWebKit/537.36(KHTML,likeGecko)Chrome/85.0.4183.83Safari/537.36'}url='http://sc.chi... 继续阅读 >