分类：爬取电影信息

2021
02-26

c# 爬取优酷电影信息(2)

上一章节中我们实现了对优酷单页面的爬取，简单进行回顾一下，使用HtmlAgilityPack库，对爬虫的爬取一共分为三步爬虫步骤加载页面解析数据保存数据继第一篇文档后的爬虫进阶，本文章主要是对上一篇的进阶。实现的功能主要为：1、爬取电影类别列表2、循环每个类别的电影信息，对每个类别的信息分页爬取3、爬取的数据保存到数据库中一、爬取电影类别列表使用Chrome浏览器，F12，找到当前位置，得到当前位置的Xpath。我们需要... 继续阅读 >

2021
02-26

c# 爬取优酷电影信息(1)

爬虫的制作主要分为三个方面1、加载网页结构2、解析网页结构，转变为符合需求的数据实体3、保存数据实体（数据库，文本等）在实际的编码过程中，找到了一个好的类库“HtmlAgilityPack”。介绍：官网：http://html-agility-pack.net/?z=codeplexHtmlAgilityPack源码中的类大概有28个左右，其实不算一个很复杂的类库，但它的功能确不弱，为解析DOM已经提供了足够强大的功能支持，可以跟jQuery操作DOM媲美)使用说明：HtmlAgili... 继续阅读 >