分类：爬取

2020
10-09

Python如何爬取b站热门视频并导入Excel

代码如下#encoding:utf-8importrequestsfromlxmlimportetreeimportxlwtimportos#爬取b站热门视频信息defspider():video_list=[]url="https://www.bilibili.com/ranking?spm_id_from=333.851.b_7072696d61727950616765546162.3"html=requests.get(url,headers={"User-Agent":"Mozilla/5.0(WindowsNT10.0;WOW64)AppleWebKit/537.36(KHTML,likeGecko)Chrome/75.0.3770.100Safari/537.36"}).text... 继续阅读 >

2020
10-08

python爬虫使用正则爬取网站的实现

本文章的所有代码和相关文章，仅用于经验技术交流分享，禁止将相关技术应用到不正当途径，滥用技术产生的风险与本人无关。本文章是自己学习的一些记录。欢迎各位大佬点评！首先今天是第一天写博客，感受到了博客的魅力，博客不仅能够记录每天的代码学习情况，并且可以当作是自己的学习笔记，以便在后面知识点不清楚的时候前来复习。这是第一次使用爬虫爬取网页，这里展示的是爬取豆瓣电影top250的整个过程，欢迎大家指点。这里我... 继续阅读 >

2020
10-08

用Python 爬取猫眼电影数据分析《无名之辈》

前言作者：罗昭成PS：如有需要Python学习资料的小伙伴可以加点击下方链接自行获取http://note.youdao.com/noteshare?id=3054cce4add8a909e784ad934f956cef获取猫眼接口数据作为一个长期宅在家的程序员，对各种抓包简直是信手拈来。在Chrome中查看原代码的模式，可以很清晰地看到接口，接口地址即为：http://m.maoyan.com/mmdb/comments/movie/1208282.json?_v_=yes&offset=15在Python中，我们可以很方便地使用requ... 继续阅读 >

2020
10-08

Python爬虫爬取新闻资讯案例详解

前言本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理。一个简单的Python资讯采集案例，列表页到详情页，到数据保存，保存为txt文档，网站网页结构算是比较规整，简单清晰明了，资讯新闻内容的采集和保存！应用到的库requests，time，re，UserAgent，etreeimportrequests,time,refromfake_useragentimportUserAgentfromlxmlimportetree列表页面列表页，... 继续阅读 >

2020
10-08

基于Python爬取fofa网页端数据过程解析

FOFA-网络空间安全搜索引擎是网络空间资产检索系统（FOFA）是世界上数据覆盖更完整的IT设备搜索引擎，拥有全球联网IT设备更全的DNA信息。探索全球互联网的资产信息，进行资产及漏洞影响范围分析、应用分布统计、应用流行度态势感知等。安装环境：pipinstallrequestspipinstalllxmlpipinstallfire使用命令：pythonfofa.py-s=title="你的关键字"-o="结果输出文件"-c="你的cookie"代码如下：importrequests,time,base64,fi... 继续阅读 >

2020
10-08

如何基于Python爬取隐秘的角落评论

“一起去爬山吧？”这句台词火爆了整个朋友圈，没错，就是来自最近热门的《隐秘的角落》，豆瓣评分8.9分，好评不断。感觉还是蛮不错的。同时，为了想更进一步了解一下小伙伴观剧的情况，永恒君抓取了爱奇艺平台评论数据并进行了分析。下面来做个分享，给大伙参考参考。1、爬取评论数据因为该剧是在爱奇艺平台独播的，自然数据源从这里取比较合适。永恒君爬取了《隐秘的角落》12集的从开播日6月16日-6月26日的评论数据。使用Chrome... 继续阅读 >

2020
10-08

Python实现爬取并分析电商评论

现如今各种APP、微信订阅号、微博、购物网站等网站都允许用户发表一些个人看法、意见、态度、评价、立场等信息。针对这些数据，我们可以利用情感分析技术对其进行分析，总结出大量的有价值信息。例如对商品评论的分析，可以了解用户对商品的满意度，进而改进产品；通过对一个人分布内容的分析，了解他的情绪变化，哪种情绪多，哪种情绪少，进而分析他的性格。怎样知道哪些评论是正面的，哪些评论是负面的呢？正面评价的概率是... 继续阅读 >

2020
10-08

Python Scrapy多页数据爬取实现过程解析

1.先指定通用模板url='https://www.qiushibaike.com/text/page/%d/'#通用的url模板pageNum=12.对parse方法递归处理parse第一次调用表示的是用来解析第一页对应页面中的数据对后面的页码的数据要进行手动发送ifself.pageNum<=5:self.pageNum+=1new_url=format(self.url%self.pageNum)#手动请求(get)的发送yieldscrapy.Request(new_url,callback=self.parse)完整示例classQiubaiSpider(scrapy.Spider):name=... 继续阅读 >

2020
10-06

Python爬虫爬取百度搜索内容代码实例

这篇文章主要介绍了Python爬虫爬取百度搜索内容代码实例,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下搜索引擎用的很频繁，现在利用Python爬虫提取百度搜索内容，同时再进一步提取内容分析就可以简便搜索过程。详细案例如下：代码如下#coding=utf8importurllib2importstringimporturllibimportreimportrandom#设置多个user_agents，防止百度限制IPuser_agents=['Moz... 继续阅读 >

2020
10-01

Python CSS选择器爬取京东网商品信息过程解析

CSS选择器目前，除了官方文档之外，市面上及网络详细介绍BeautifulSoup使用的技术书籍和博客软文并不多，而在这仅有的资料中介绍CSS选择器的少之又少。在网络爬虫的页面解析中，CCS选择器实际上是一把效率甚高的利器。虽然资料不多，但官方文档却十分详细，然而美中不足的是需要一定的基础才能看懂，而且没有小而精的演示实例。京东商品图首先进入京东网，输入自己想要查询的商品，向服务器发送网页请求。在这里小编仍以关键词“狗... 继续阅读 >

2020
10-01

Python如何爬取qq音乐歌词到本地

前言本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理。闲来无事听听歌，听到无聊唠唠嗑，你有没有特别喜欢的音乐,你有没有思考或者尝试过把自己喜欢的歌曲的歌词全部给下载下来呢?没错，我这么干了，今天我们以QQ音乐为例，使用Python爬虫的方式把自己喜欢的音乐的歌词爬取到本地！下面就来详细讲解如何一步步操作，文末附完整代码。01寻找真正的客户端（... 继续阅读 >

2020
10-01

Python利用Xpath选择器爬取京东网商品信息

HTML文件其实就是由一组尖括号构成的标签组织起来的，每一对尖括号形式一个标签，标签之间存在上下关系，形成标签树；XPath使用路径表达式在XML文档中选取节点。节点是通过沿着路径或者step来选取的。首先进入京东网，输入自己想要查询的商品，向服务器发送网页请求。在这里小编仍以关键词“狗粮”作为搜索对象，之后得到后面这一串网址：https://search.jd.com/Search?keyword=%E7%8B%97%E7%B2%AE&enc=utf-8，其中参数的... 继续阅读 >

2020
10-01

Python基于BeautifulSoup爬取京东商品信息

今天小编利用美丽的汤来为大家演示一下如何实现京东商品信息的精准匹配~~HTML文件其实就是由一组尖括号构成的标签组织起来的，每一对尖括号形式一个标签，标签之间存在上下关系，形成标签树；因此可以说BeautifulSoup库是解析、遍历、维护“标签树”的功能库。如何利用BeautifulSoup抓取京东网商品信息首先进入京东网，输入自己想要查询的商品，向服务器发送网页请求。在这里小编仍以关键词“狗粮”作为搜索对象，之后得到后面这... 继续阅读 >

2020
10-01

Python如何使用正则表达式爬取京东商品信息

京东（JD.com）是中国最大的自营式电商企业，2015年第一季度在中国自营式B2C电商市场的占有率为56.3%。如此庞大的一个电商网站，上面的商品信息是海量的，小编今天就带小伙伴利用正则表达式，并且基于输入的关键词来实现主题爬虫。首先进去京东网，输入自己想要查询的商品，小编在这里以关键词“狗粮”作为搜索对象，之后得到后面这一串网址：https://search.jd.com/Search?keyword=%E7%8B%97%E7%B2%AE&enc=utf-8，其实参数%E7... 继续阅读 >

2020
10-01

Python爬取YY评级分数并保存数据实现过程解析

前言当需要进行大规模查询时（比如目前遇到的情形：查询某个省所有发债企业的YY评级分数），人工查询显然太过费时，那就写个爬虫吧。由于该爬虫实在过于简单，就只简单概述下。一、请求端通过观察YY评级的网页信息，如下图（F12或右击进入检查，点击network—>XHR—>headers）。红色框表明是个get请求（其实这种网页基本都是Ajaxget，需要总结实际url的规律的）。绿色框即为实际URL，通过分析该URL，其由两部分组成。前半部分为“... 继续阅读 >

2020
09-29

Python如何实现爬取B站视频

5月3日晚，央视在《新闻联播》前播放了B站青年宣言片《后浪》，这是B站首次登陆央视黄金时段，今天在朋友圈陆续看到相关的视频。最早用B站的同学都知道，B站是和A站以异曲同工的鬼畜视频及动漫，进入到大众视野的非主流视频网站。哔哩哔哩现为国内领先的年轻人娱乐、文化社区，该网站于2009年6月26日创建，被粉丝们亲切的称为“B站”。B站之所以火，是因为趣味与知识并存。它是一个重度宅腐二次元集结地。B站包含动漫、漫画、游戏... 继续阅读 >