分类：python爬取数据

2021
05-20

python爬虫之爬取谷歌趋势数据

一、前言 爬取谷歌趋势数据需要科学上网~二、思路谷歌数据的爬取很简单，就是代码有点长。主要分下面几个就行了爬取的三个界面返回的都是json数据。主要获取对应的token值和req，然后构造url请求数据就行token值和req值都在这个链接的返回数据里。解析后得到token和req就行socks5代理不太懂，抄网上的作业，假如了当前程序的全局代理后就可以跑了。全部代码如下importsocketimportsocksimportrequestsimportjsonimportpa... 继续阅读 >

2021
05-20

Python爬虫之爬取某文库文档数据

一、基本开发环境Python3.6Pycharm二、相关模块的使用importosimportrequestsimporttimeimportreimportjsonfromdocximportDocumentfromdocx.sharedimportCm安装Python并添加到环境变量，pip安装需要的相关模块即可。三、目标网页分析网站的文档内容，都是以图片形式存在的。它有自己的数据接口接口链接：https://openapi.book118.com/getPreview.html?&project_id=1&aid=272112230&t=f2c66902d6b63726d8e08b557fef... 继续阅读 >

2021
05-02

Python爬虫之爬取2020女团选秀数据

一、先看结果1.1创造营2020撑腰榜前三甲创造营2020撑腰榜前三名分别是希林娜依·高、陈卓璇、郑乃馨>>>df1[df1['排名']<=3][['排名','姓名','身高','体重','生日','出生地']]排名姓名身高体重生日出生地01.0希林娜依·高NaNNaN1998年07月31日新疆12.0陈卓璇168.042.01997年08月13日贵州23.0郑乃馨NaNNaN1997年06月25日泰国1.2青春有你2当前官... 继续阅读 >

2021
05-02

python爬虫之教你如何爬取地理数据

一、shapely模块1、shapelyshapely是python中开源的针对空间几何进行处理的模块，支持点、线、面等基本几何对象类型以及相关空间操作。2、point→Point类curve→LineString和LinearRing类；surface→Polygon类集合方法分别对应MultiPoint、MultiLineString、MultiPolygon3、导入所需模块#导入所需模块fromshapelyimportgeometryasgeofromshapelyimportwktfromshapelyimportopsimportnumpyasnpfromshapely.geometry... 继续阅读 >

2021
02-23

python爬虫今日热榜数据到txt文件的源码

今日热榜：https://tophub.today/爬取数据及保存格式：爬取后保存为.txt文件：部分内容：源码及注释：importrequestsfrombs4importBeautifulSoupdefdownload_page(url):headers={"User-Agent":"Mozilla/5.0(WindowsNT10.0;Win64;x64)AppleWebKit/537.36(KHTML,likeGecko)Chrome/79.0.3945.130Safari/537.36"}try:r=requests.get(url,timeout=30,headers=headers)returnr.textexcept:ret... 继续阅读 >