分类：WebMagic爬取豆瓣

2021
03-05

Java基于WebMagic爬取某豆瓣电影评论的实现

目的搭建爬虫平台，爬取某豆瓣电影的评论信息。准备webmagic是一个开源的Java垂直爬虫框架，目标是简化爬虫的开发流程，让开发者专注于逻辑功能的开发。webmagic的核心非常简单，但是覆盖爬虫的整个流程，也是很好的学习爬虫开发的材料。下载WebMagic源码，或Maven导入，或Jar包方式导入。 码云地址：https://gitee.com/flashsword20/webmagic 试运行搭建好后打开项目，在 us.codecraft.webmagic.processor.examp... 继续阅读 >