2014
11-11
11-11
大数据基础技术——爬虫的工具选择
大数据是神马？怎么样才算拥有一只善良又可爱的大数据？一种传统的方法是爬取相关的网页，所以咱们今天讲讲爬虫的一些简单知识和可以选择的工具。爬虫的原理就不必多说了，可以自行Google首先，应该认真考虑你需要什么样的大数据，也就是你的需求是什么。爬取普通网页、博客、新闻、社交网络还是图片？貌似咋一看都是爬虫去爬好了，其实不然，细节上的需求可能导致你需要的工具属性不一样。其次，讲讲笔者用过的一些爬虫工具...
继续阅读 >