分类：爬取深圳

2020
11-25

记一次python 爬虫爬取深圳租房信息的过程及遇到的问题

为了分析深圳市所有长租、短租公寓的信息，爬取了某租房公寓网站上深圳区域所有在租公寓信息，以下记录了爬取过程以及爬取过程中遇到的问题：爬取代码：importrequestsfromrequests.exceptionsimportRequestExceptionfrompyqueryimportPyQueryaspqfrombs4importBeautifulSoupimportpymongofromconfigimport*frommultiprocessingimportPoolclient=pymongo.MongoClient(MONGO_URL)#申明连接对象db=client[... 继续阅读 >