分类：Python

2021
02-23

Python中使用Selenium环境安装的方法步骤

环境准备已正确安装python环境,已安装chrome浏览器或者firefox浏览器使用python--version命令如果输出python版本则python安装成功安装selenium 使用pip命令安装seleniumpipinstallselenium下载chrome驱动或者firefox驱动selenium的chrome驱动(国内阿里像)selenium的firefox驱动(github地址)注意:下载对应版本的驱,点击浏览器三个点-帮助-关于GoogleChrome即可查看浏览器版本将驱动放入环境变量因为python目录... 继续阅读 >

2021
02-23

详解Python 中的 defaultdict 数据类型

这篇文章给大家介绍Python中的defaultdict数据类型，具体内容如下所示：官方网址首先，defaultdict是dict的一个子类。通常Python中字典（dict）这种数据类型是通过键值对来存取的，当索引一个不存在的键时，就会引发keyerror异常。那么，defaultdict就可以解决这个问题，它可以实现为不存的键值返回一个默认值。defaultdict是collections包下的一个模块，defaultdict在初始化时可以提供一个default_factory的参数... 继续阅读 >

2021
02-23

Python中生成ndarray实例讲解

生成ndarray最简单的方法就是array函数，array函数接受任意的序列型对象，生成一个新的包含传递数据的NumPy数组。例子如下：importnumpyasnpdata1=[1,2,3,4]data2=[[1,2,3,4],[5,6,7,8]]arr1=np.array(data1)arr2=np.array(data2)arr1=arr1*10arr2=arr2+arr1print(arr1)print(arr2)结果如下[10203040][[11223344][15263748]]实例扩展：矩阵乘：按照线性代数的乘法>>>a=np.array([[1,2,3]... 继续阅读 >

2021
02-21

python爬虫利用代理池更换IP的方法步骤

0.前言周日在爬一个国外网站的时候，发现用协程并发请求，并且请求次数太快的时候，会出现对方把我的服务器IP封掉的情况。于是网上找了一下开源的python代理池，这里选择的是star数比较多的proxy_pool1.安装环境#安装python虚拟环境，python环境最好为python3.6，再往上的话，安装依赖时会报错sudoaptupdatesudoaptinstallpython3.6pip3installvirtualenvvirtualenvvenv--python=python3.6sourcevenv/bin/activate#... 继续阅读 >

2021
02-21

Python用requests库爬取返回为空的解决办法

首先介?一下我??用360搜索派取城市排名前20。我们爬取的网址：https://baike.so.com/doc/24368318-25185095.html我们要爬取的内容：html字段：robots协议：现在我们开始用pythonIDLE爬取importrequestsr=requests.get("https://baike.so.com/doc/24368318-25185095.html")r.status_coder.text结果分析，我们可以成功访问到该网页，但是得不到网页的结果。被360搜索识别，我们将headers修改。输出有个小插曲，网页内容很多，我... 继续阅读 >

2021
02-21

python利用proxybroker构建爬虫免费IP代理池的实现

前言写爬虫的小伙伴可能遇到过这种情况：正当悠闲地喝着咖啡，满意地看着屏幕上的那一行行如流水般被爬下来的数据时，突然一个Error弹出，提示抓不到数据了...然后你反复检查，确信自己代码莫得问题之后，发现居然连浏览器也无法正常访问网页了...难道是网站被我爬瘫痪了？然后你用手机浏览所爬网站，惊奇地发现居然能访问!才原来我的IP被网站给封了，拒绝了我的访问这时只能用IP代理来应对禁IP反爬策略了，但是网上高速稳定的代理... 继续阅读 >

2021
02-21

利用Python实现最小二乘法与梯度下降算法

导入所需库%matplotlibinlineimportsympyimportnumpyasnpimportmatplotlib.pyplotaspltfromsympy.abcimportxasa,yasb生成模拟数据#模拟函数y=3x-1#自变量x=np.linspace(-5,5,num=1000)#加入噪声noise=np.random.rand(len(x))*2-1#因变量y=3*x-1+noise查看所生成数据的图像plt.figure(figsize=(10,10))plt.scatter(x,y,s=1)求代价函数的偏导y=ax+b#目标函数e=1/2*Σ([axi+b]-yi)^2#代价函数，求使得代价函数... 继续阅读 >

2021
02-21

python 第三方库paramiko的常用方式

介绍paramiko是什么可以参考其他人的博客或文章，这里不再赘述，直入正题。本次测试的版本信息如下：python3.9paramiko2.7.2centos8三种常用方式paramiko的三种常用方式如下：使用密码进行登录使用密钥免密码登录SFTP传输文件其中最割裂的就是SFTP传输文件，很多文章登陆使用SSHClient类，传输文件使用Transport类，我也是这样用了很长时间。如果你也是这么用的，你没有啥想法吗？用python就是节约心智，怎么一... 继续阅读 >

2021
02-21

Python中Qslider控件实操详解

在学习一些pyqt5的内容后，我们对于其中的组件也有所接触。本篇所要带来的是Qslider控件，也可以说是python中比较常见的控件了。在一些具体的使用和方向等相关的操作上，很多人是没有全面的进行过系统学习的。下面我们就这些操作逐个为大家带来介绍，一起来看下Qslider控件的使用吧。1、控件介绍和使用qslider解释为滑块控件，用于方便左右滑动。往往这类滑动更多用于屏幕可以触碰的设备。我们想要使用滑块控件，本质上实则就是调... 继续阅读 >

2021
02-21

python基于selenium爬取斗鱼弹幕

针对弹幕的爬取我们如果只需要获取看到的网页里面的而数据，使用selenium就能实现，对于直播平台来说，往往有第三方平台api让你获取数据（可以获取发弹幕，发弹幕者的名字礼物等等，这需要客户端向弹幕服务器发送登录请求，心跳信息的发送等等）只获取弹幕信息储存到txt文件中，上代码，上图片代码如下：importtimefromseleniumimportwebdriverchrome_options=webdriver.ChromeOptions()#使用headless无界面浏览器模式#chr... 继续阅读 >

2021
02-21

Python爬虫+Tkinter制作一个翻译软件的示例

今天咱们用Python爬虫和Tkinter界面来做一个翻译软件。一、运行效果软件实现功能：当我们输入英文或中文时，程序即可打印出来对应的译文，如图：二、实现方法1.爬虫部分实现一键翻译最简单的方式就是爬虫，我们只需将要翻译的内容传入，然后将翻译的结果爬取下来呈现给用户即可。在本文中，我们选择的网站是有道翻译。下图这个界面，你在左边输入文字，那么浏览器会把你输入的信息传输给服务器。再在右侧返回对应翻译结果。这就是... 继续阅读 >

2021
02-21

python 多线程爬取壁纸网站的示例

基本开发环境·Python3.6·Pycharm需要导入的库目标网页分析网站是静态网站，没有加密，可以直接爬取整体思路：1、先在列表页面获取每张壁纸的详情页地址2、在壁纸详情页面获取壁纸真实高清url地址3、保存地址代码实现模拟浏览器请请求网页，获取网页数据 这里只选择爬取前10页的数据代码如下importthreadingimportparselimportrequestsdefget_html(html_url):'''获取网页源代码:paramhtml_url:网页url:return:... 继续阅读 >

2021
02-21

python 制作网站小说下载器

基本开发环境·Python3.6·Pycharm相关模块使用目标网页分析输入想看的小说内容，点击搜索这里会返回很多结果，我只选择第一个网页数据是静态数据，但是要搜索，是post请求，需要提价data参数，如下图所示：然后通过解析网站数据，获取第一个小说i的详情页url即可静态网页的获取，难度是不大的。defsearch():    search_url='http://www.xbiquge.la/modules/article/waps.php'    d... 继续阅读 >

2021
02-21

python 统计list中各个元素出现的次数的几种方法

利用字典dict来完成统计举例：a=[1,2,3,1,1,2]dict={}forkeyina:dict[key]=dict.get(key,0)+1printdict输出结果：>>>{1:3,2:2,3:1}利用Python的collection包下Counter的类举例：fromcollectionsimportCountera=[1,2,3,1,1,2]result=Counter(a)printresult输出结果：>>>{1:3,2:2,3:1}Python的pandas包下的value_counts方法举例：importpandasaspda=[1,2,3,1,1,2]result=pd.... 继续阅读 >

2021
02-21

基于Python-Pycharm实现的猴子摘桃小游戏(源代码)

源码及注释：importpygamefromsysimportexitfromrandomimportrandintimporttimeimportos#定义窗口分辨率SCREEN_WIDTH=700SCREEN_HEIGHT=600current_path=os.path.abspath(os.path.dirname(__file__))root_path=current_path[:current_path.find("monkey-picking-peach\\")+len("monkey-picking-peach\\")]\+"resource\\images\\"#图片BACKGROUND_IMAGE_PATH=root_path+"background.jpg"MONKEY_IMAGE... 继续阅读 >

2021
02-21

python实现b站直播自动发送弹幕功能

基本开发环境·Python3.6·Pycharm相关模块使用importrequestsimporttimefromtkinterimport*importrandom目标i网页分析首先你要登陆B站账号，然后随便点击一个直播间，这里建议先选择人气少的，弹幕少的，这样方便查看效果如上图所示，先打开开发者工具，定位到xhr输入发送内容，点击发送，会有一个post请求的send数据接口。所以只需要请求这个数据接口即可发送弹幕。就是正常的时候爬取数据，使用requests请求网页一样，... 继续阅读 >