分类：Python

2021
01-29

python+selenium爬取微博热搜存入Mysql的实现方法

最终的效果废话不多少，直接上图这里可以清楚的看到，数据库里包含了日期，内容，和网站link下面我们来分析怎么实现使用的库importrequestsfromselenium.webdriverimportChrome,ChromeOptionsimporttimefromsqlalchemyimportcreate_engineimportpandasaspd目标分析这是微博热搜的link：点我可以到目标网页首先我们使用selenium对目标网页进行请求然后我们使用xpath对网页元素进行定位，遍历获得所有数据然后使用pandas... 继续阅读 >

2021
01-29

Python实现网络聊天室的示例代码(支持多人聊天与私聊)

实验名称：网络聊天室功能：i.掌握利用Socket进行编程的技术ii.掌握多线程技术，保证双方可以同时发送iii.建立聊天工具iv.可以和单人聊天v.可以和多个人同时进行聊天vi.使用图形界面，显示双方的语录vii.程序可以在一定程度上进行错误识别概述实验通过聊天室可以完成单人或多人之间的聊天通信，功能的实现主要是通过Socket通信来实现。本次实验采用客户端/服务器（C/S）架构模式，通过Python语言来编写服务器端与客户端的程... 继续阅读 >

2021
01-29

python实现scrapy爬虫每天定时抓取数据的示例代码

1.前言。1.1.需求背景。 每天抓取的是同一份商品的数据，用来做趋势分析。要求每天都需要抓一份，也仅限抓取一份数据。但是整个爬取数据的过程在时间上并不确定，受本地网络，代理速度，抓取数据量有关，一般情况下在20小时左右，极少情况下会超过24小时。1.2.实现功能。通过以下三步，保证爬虫能自动隔天抓取数据：每天凌晨00：01启动监控脚本，监控爬虫的运行状态，一旦爬虫进入空闲状态，启动爬虫。一旦爬虫执行... 继续阅读 >

2021
01-29

用Python实现定时备份Mongodb数据并上传到FTP服务器

实现的功能：在win7下，每天晚上1点，自动将F:/data中所有文件进行压缩，以[mongodb+日期]命名，将压缩好的文件存储在本地目录F:\MongoDbData\，然后将这个压缩好的文件上传到ftp://192.168.0.101/MongoDBup/目录下分三步：第一步：搭建FTP服务器，配置好FTP环境。第二步：用python编写压缩文件并实现FTP上传的脚本第三步：使用win7自带的任务计划程序定时执行python脚本1.环境Python：3.6.1PythonIDE：pycharm系统：win72.... 继续阅读 >

2021
01-29

python re.match()用法相关示例

学习python爬虫时遇到了一个问题，书上有示例如下：importreline='Catsaresmarterthandogs'matchObj=re.match(r'(.*)are(.*?).*',line)ifmatchObj:print('matchObj.group():',matchObj.group())print('matchObj.group(1):',matchObj.group(1))print('matchObj.group(2):',matchObj.group(2))else:print('Nomatch!\n')书上的期望输出是：matchObj.group():CatsaresmarterthandogsmatchObj.group(1):Catsmat... 继续阅读 >

2021
01-29

selenium+python实现基本自动化测试的示例代码

安装selenium打开命令控制符输入：pipinstall-Uselenium火狐浏览器安装firebug：www.firebug.com，调试所有网站语言，调试功能SeleniumIDE是嵌入到Firefox浏览器中的一个插件，实现简单的浏览器操作的录制与回放功能，IDE录制的脚本可以可以转换成多种语言，从而帮助我们快速的开发脚本，下载地址：https://addons.mozilla.org/en-US/firefox/addon/selenium-ide/如何使用IDE录制脚本：点击seleniumIDE——点击录制——开... 继续阅读 >

2021
01-29

Python中正则表达式对单个字符，多个字符和匹配边界等使用

RegularExpression，正则表达式，又称正规表示式、正规表示法、正则表达式、规则表达式、常规表示法（英语：RegularExpression，在代码中常简写为regex、regexp或RE），是计算机科学的一个概念。正则表达式是一个特殊的字符序列，它能帮助你方便的检查一个字符串是否与某种模式匹配。在很多文本编辑器里，正则表达式通常被用来检索、替换那些匹配某个模式的文本。Python自1.5版本起增加了re模块。re模块使Python语言拥有全... 继续阅读 >

2021
01-29

python正则表达式re.match()匹配多个字符方法的实现

1. *表示匹配任意多个字符  \d*表示匹配任意多个数字字符importretext="123h1elloworld"text1="123Helloworld456"text2="helloworld"res=re.match("\d*",text)res1=re.match("\d*",text1)res2=re.match("\d*",text2)print(res.group())print(res1.group())print(res2.group())输出结果为123123Processfinishedwithexitcode0示例2：*需求：匹配出，一个字符串第一个字母为大小字符，... 继续阅读 >

2021
01-27

Python利用socket模块开发简单的端口扫描工具的实现

一、socket1.简介Socket又称"套接字"，应用程序通常通过"套接字"向网络发出请求或者应答网络请求，使主机间或者一台计算机上的进程间可以通讯。socket的工作流程socket采用C/S模式，分为服务端和客户端服务端数据处理流程创建socket->绑定到地址和端口->等待连接->开始通信->关闭连接客户端数据处理流程创建socket->等待连接->开始通信->关闭连接客户端没有绑定地址和端口，是由于客户端进程采... 继续阅读 >

2021
01-27

python利用appium实现手机APP自动化的示例

写这个东西也是自己喜欢研究些自动化的东西，以下全是自己的经验所得，由于开源的软件对于各版本以及操作系统要求很高，会经常碰到一些不兼容的问题，这个都属于正常的，换版本就对了。如果你感觉学不会？莫慌，小编推荐大家加入群，前面548中间377后面875，群里有志同道合的小伙伴，互帮互助，还可以拿到许多视频教程！本人的环境搭建都是在win1064位上搭建的1、环境准备1.jdk1.8.0（64位）2.android-sdk_r24.4.1-windows3.pyth... 继续阅读 >

2021
01-27

python 基于opencv去除图片阴影

一、前言如果你自己打印过东西，应该有过这种经历。如果用自己拍的图片，在手机上看感觉还是清晰可见，但是一打印出来就是漆黑一片。比如下面这两张图片：因为左边的图片有大片阴影，所以打印出来的图片不堪入目（因为打印要3毛钱，所以第二张图片只是我用程序模拟的效果）。那有什么办法可以解决吗？答案是肯定的，今天我们就来探讨几个去除阴影的方法。二、如何去除阴影？首先为了方便处理，我们通常会对图片进行灰度转换（即将... 继续阅读 >

2021
01-27

python中用ggplot绘制画图实例讲解

Python的绘图库也允许用户创建优雅的图形，本章给大家介绍的是关于ggplot绘制画图的技巧，ggplot2建立在grid系统上，这个系统不支持纹理。需要额外创建一堆数据，再基于这些数据构建一个geom_path图层，盖在柱图上才可以进行各种绘制，下面给大家详细讲解下怎么使用ggplot绘图。简介：ggplot类是在plotnine中的，能够生成一个图形。安装：pipinstallpandasplotninecsv文件加载到survs_df的数据框架：ggplot(survs_df,aes(x='we... 继续阅读 >

2021
01-27

python中altair可视化库实例用法

作为六大python可视化库，基本上学会都是可以通吃任何领域的存在，本章要给大家介绍的Altair就是其中之一的可视化库，能够将数据转化为非常直观的图片，让我们更加清晰的认知数据之前直观的联系，俨然已经成为可视化库中的新星，好啦，下面就让我们详细了解下这个荣获众多粉丝的可视化库的使用技巧吧。安装Altair：依赖JupyterLab$pipinstall-Ualtairvega_datasetsjupyterlab导入Altair：importaltairasalt绘制图表：定义... 继续阅读 >

2021
01-27

用Python制作音乐海报

前言前段时间在一个朋友那么得到的灵感，想到可以用音乐播放页面作为一张海报图片。其实接下来要讲的和海报还是有差距的，而具体实现也只是简单的图片粘贴，但是在效果上还是不错的。效果图如下，希望大家喜欢：左边是原图，右边是需要添加到中间的图，也是图的主角。其实如果直接用ps实现上面的图是非常简单的，反倒是用代码实现有点曲折，不过实现过程还是非常有趣的，希望这篇博客可以可以让你学到知识。用Pillow创建圆形图在上... 继续阅读 >

2021
01-27

python中pyqtgraph知识点总结

PyQtGraph是纯Python的，只是它底层调用的是PyQt，也就是Qt的Python封装，底层用C/C++语言开发的库，它是在PyQt的基础上开发的可视化控件，相较于老牌的绘制库，PyQtGraph在绘图速度上特别突出，保证绘图的美观性以及强大功能前提下，能够极高的效率去绘制图形，下面一起来详细了解下使用技巧吧。pyqtgraph库安装：pipinstall--userpyqtgraph更快安装方式：pip3.8install-ihttps://mirrors.aliyun.com/pypi/simple导入方式：... 继续阅读 >

2021
01-27

使用Python+Appuim 清理微信的方法

使用Appium安装一下Python用到的模块pipinstallAppium-Python-Client获取好友列表在Pycharm中配置一下启动环境desired_capabilities={'platformName':'Android',#操作系统'deviceName':'2a254a02',#设备ID，使用cmd中adbdevices命令得到'platformVersion':'10.0.10',#设备版本号，在手机设置中查看'appPackage':'com.tencent.mm',#app包名'appActivity':'com.tencent.mm.ui.LauncherUI',#... 继续阅读 >