分类：网站爬虫

2020
10-15

网站反爬虫策略

今天来谈谈关于反爬虫的东西。随着大数据时代的来临，无论是个人还是企业，对于数据的需求都越来越大。这种需求也催生了如今异常热门的数据产业，也催生了日益完善的网络数据采集技术。这种需求的扩大，同时让网络爬虫日益猖獗，猖獗到甚至影响到了网站和APP的正常运行。高频的网络爬虫行为无异于DDOS（分布式拒绝服务）攻击，虽然法律可以治它，但是其过程之繁琐，还是不如先让网站自身充分地强大起来。为了便于基础薄弱的同学理... 继续阅读 >

2020
09-29

springBoot+webMagic实现网站爬虫的实例代码

前端时间公司项目需要抓取各类数据，py玩的不6，只好研究Java爬虫方案，做一个总结。开发环境：springBoot2.2.6、jdk1.8。1、导入依赖<!--WebMagic核心包--><dependency><groupId>us.codecraft</groupId><artifactId>webmagic-core</artifactId><version>0.7.3</version><!--这里可以去掉WebMagic自带的日志（因为打印的很多。。。。）--><!--<exclusions>--><!--<exclusion>--><!--<groupId>org.slf4j... 继续阅读 >