分类：selenium爬取Mysql

2021
01-29

python+selenium爬取微博热搜存入Mysql的实现方法

最终的效果废话不多少，直接上图这里可以清楚的看到，数据库里包含了日期，内容，和网站link下面我们来分析怎么实现使用的库importrequestsfromselenium.webdriverimportChrome,ChromeOptionsimporttimefromsqlalchemyimportcreate_engineimportpandasaspd目标分析这是微博热搜的link：点我可以到目标网页首先我们使用selenium对目标网页进行请求然后我们使用xpath对网页元素进行定位，遍历获得所有数据然后使用pandas... 继续阅读 >