分类：webMagic

2022
02-10

springboot+WebMagic+MyBatis爬虫框架的使用

目录1.添加maven依赖2.项目配置文件application.properties3.数据库表结构4.实体类5.mapper接口6.CrawlerMapper.xml文件7.知乎页面内容处理类ZhihuPageProcessor8.知乎数据处理类ZhihuPipeline9.知乎爬虫任务类ZhihuTask10.Springboot程序启动类WebMagic是一个开源的java爬虫框架。WebMagic框架的使用并不是本文的重点，具体如何使用请参考官方文档：http://webmagic.io/docs/。本文是对springboot+WebMagic+MyBatis做了整合，... 继续阅读 >

2020
12-02

Java爬虫框架之WebMagic实战

一、介绍WebMagic是一个简单灵活的Java爬虫框架。基于WebMagic，你可以快速开发出一个高效、易维护的爬虫。二、如何学习1.查看官网官网地址为:http://webmagic.io/官网详细文档:http://webmagic.io/docs/zh/2.跑通helloworld示例(具体可以参考官网，也可以参考博客)我下面写的单元测试案例，可作为HelloWorld示例。注意需要导入Maven依赖:<dependency><groupId>us.codecraft</groupId><artifactId>webmagic-core</artifactId... 继续阅读 >

2020
09-29

springBoot+webMagic实现网站爬虫的实例代码

前端时间公司项目需要抓取各类数据，py玩的不6，只好研究Java爬虫方案，做一个总结。开发环境：springBoot2.2.6、jdk1.8。1、导入依赖<!--WebMagic核心包--><dependency><groupId>us.codecraft</groupId><artifactId>webmagic-core</artifactId><version>0.7.3</version><!--这里可以去掉WebMagic自带的日志（因为打印的很多。。。。）--><!--<exclusions>--><!--<exclusion>--><!--<groupId>org.slf4j... 继续阅读 >