分类：BeautifulSoup4

2020
11-06

Selenium结合BeautifulSoup4编写简单的python爬虫

在学会了抓包，接口请求(如requests库）和Selenium的一些操作方法后，基本上就可以编写爬虫，爬取绝大多数网站的内容。在爬虫领域，Selenium永远是最后一道防线。从本质上来说，访问网页实际上就是一个接口请求。请求url后，返回的是网页的源代码。我们只需要解析html或者通过正则匹配提取出我们需要的数据即可。有些网站我们可以使用requests.get(url)，得到的响应文本中获取到所有的数据。而有些网页数据是通过JS动态加载到页面... 继续阅读 >

2020
09-24

使用Python开发个京东上抢口罩的小实例（仅作技术研究学习使用）

全国抗”疫”这么久终于见到曙光，在家待了将近一个月，现在终于可以去上班了，可是却发现出门必备的口罩却一直买不到。最近看到京东上每天都会有口罩的秒杀活动，试了几次却怎么也抢不到，到了抢购的时间，浏览器的页面根本就刷新不出来，等刷出来秒杀也结束了。现在每天只放出一万个，却有几百万人在抢，很想知道别人是怎么抢到的，于是就在网上找了大神公开出来的抢购代码。看了下代码并不复杂，现在我们就报着学习的态度一起看... 继续阅读 >