分类：网络爬虫框架搭建

2021
09-29

半小时实现Java手撸网络爬虫框架(附完整源码)

最近在做一个搜索相关的项目，需要爬取网络上的一些链接存储到索引库中，虽然有很多开源的强大的爬虫框架，但本着学习的态度，自己写了一个简单的网络爬虫，以便了解其中的原理。今天，就为小伙伴们分享下这个简单的爬虫程序！！首先介绍每个类的功能：DownloadPage.java的功能是下载此超链接的页面源代码.FunctionUtils.java的功能是提供不同的静态方法，包括：页面链接正则表达式匹配,获取URL链接的元素,判断是否创建文... 继续阅读 >