分类：采集

2020
11-29

python爬虫中采集中遇到的问题整理

在爬虫的获取数据上，一直在讲一些爬取的方法，想必小伙伴们也学习了不少。在学习的过程中遇到了问题，大家也会一起交流解决，找出不懂和出错的地方。今天小编想就爬虫采集数据时遇到的问题进行一个整理，以及在遇到不同的问题时，我们应该想的是什么样的解决思路，具体内容如下分享给大家。1、需要带着cookie信息访问比如大多数的社交化软件，基本上都是需要用户登录之后，才能看到有价值的东西，其实很简单，我们可以使用Python... 继续阅读 >
2020
10-24

Filebeat 采集 Nginx 日志的方法

Filebeat 采集 Nginx 日志的方法 Nginx日志可用于分析用户地址位置，行为画像等，如何通过ElasticStack进行一站式的数据采集，数据清洗，数据落地，数据可视化，让数据发挥真正的价值呢？架构设计涉及到ElasticStack中Filebeat是用于采集Nginx相关的日志，Elasticsearch是用于对于数据落地存储和搜索的引擎，Kibana是用于对数据可视化的工具。在Nginx中相关的日志是存储在/var/log/nginx目录下的，分别是访问日志access.log，错误日志error.... 继续阅读 >
2020
10-06

基于Python爬虫采集天气网实时信息

基于Python爬虫采集天气网实时信息 相信小伙伴们都知道今冬以来范围最广、持续时间最长、影响最重的一场低温雨雪冰冻天气过程正在进行中。预计，今天安徽、江苏、浙江、湖北、湖南等地有暴雪，局地大暴雪，新增积雪深度4～8厘米，局地可达10～20厘米。此外，贵州中东部、湖南中北部、湖北东南部、江西西北部有冻雨。言归正传，天气无时无刻都在陪伴着我们，今天小编带大家利用Python网络爬虫来实现天气情况的实时采集。此次的目标网站是绿色呼吸网。绿色呼吸网站免费... 继续阅读 >
2020
09-25

phpQuery采集网页实现代码实例

前言  平时开发中可能遇到一个问题。采集网页，小偷程序等等。各种花式秀正则的话，虽然能体现出geek，但是我觉得做事却不够优雅。采集到的网页说白了也是DOM，jQuery各种优雅地获取节点。幸好，有这个类库，帮我们解决了这个，那就是phpQuery.为什么使用phpQueryphpQuery是基于php5新添加的DOMDocument。而DOMDocument则是专门用来处理html/xml。它提供了强大的xpath选择器及其他很多html/xml操作函数，使得处理html/... 继续阅读 >
2016
01-25

常见的反爬虫和应对方法

常见的反爬虫和应对方法 0x01常见的反爬虫这几天在爬一个网站，网站做了很多反爬虫工作，爬起来有些艰难，花了一些时间才绕过反爬虫。在这里把我写爬虫以来遇到的各种反爬虫策略和应对的方法总结一下。从功能上来讲，爬虫一般分为数据采集，处理，储存三个部分。这里我们只讨论数据采集部分。一般网站从三个方面反爬虫：用户请求的Headers，用户行为，网站目录和数据加载方式。前两种比较容易遇到，大多数网站都从这些角度来反爬虫。第... 继续阅读 >