分类：PYTHON

2021
07-04

Python基础之logging模块知识总结

目录前言一、日志级别二、basicConfig三、日志写文件四、traceback记录前言logging模块是Python内置的标准模块，主要用于输出脚本运行日志，可以设置输出日志的等级、日志保存路径等。可以通过设置不同的日志等级，在release版本中只输出重要信息，而不显示大量的调试信息logging可以决定将信息输出位置和内容logging线程更安全一、日志级别级别排序:CRITICAL>ERROR>WARNING>INFO>DEBUGdebug:打印全... 继续阅读 >

2021
07-04

python防止栈溢出的实例讲解

1、说明使用递归函数的优点是逻辑简单清晰，缺点是过深的调用会导致栈溢出。解决递归调用栈溢出的方法是通过尾递归优化，事实上尾递归和循环的效果是一样的，所以，把循环看成是一种特殊的尾递归函数也是可以的。2、实例deffact(n):returnfact_iter(n,1)deffact_iter(num,product):ifnum==1:returnproductreturnfact_iter(num-1,num*product)#fact(5)的调用过程===>fact_iter(5,1)===... 继续阅读 >

2021
07-04

详解分布式系统中如何用python实现Paxos

目录一致性算法背景Paxos实现集群库介绍业务场景和痛点分布式状态机核心需求类型和常量组件模型应用接口Role类AcceptorReplicaLeaderScoutCommanderBootstrap一致性算法背景1.Paxos一致性算法解决的问题：分布式系统中数据不能存在单个节点（主机）上，否则可能出现单点故障；多个节点（主机）需要保证具有相同的数据。2.什么是一致性：一致性就是数据保持一致，在分布式系统中，可以理解为多个节点中数据的值是一致的。3.一致... 继续阅读 >

2021
07-04

使用python向MongoDB插入时间字段的操作

看代码吧~importpymongofromdateutilimportparserdateStr="2019-05-1401:11:11"myDatetime=parser.parse(dateStr)client=pymongo.MongoClient(host="127.0.0.1",port=27017)db=client["test"]db.ceshi.insert({"date":myDatetime})client.close()补充：python连接mongodb插入数据及设置数据类型安装PythonMongoDB驱动程序安装驱动pipinstallpymongo检查在python交互模式中，执行下面的语句importpymongopymon... 继续阅读 >

2021
07-04

OpenCV3.3+Python3.6实现图片高斯模糊

本文实例为大家分享了OpenCV3.3+Python3.6实现图片高斯模糊的具体代码，供大家参考，具体内容如下高斯模糊高斯模糊（英语：GaussianBlur），通常用它来减少图像噪声以及降低细节层次。这种模糊技术生成的图像，其视觉效果就像是经过一个半透明屏幕在观察图像，这与镜头焦外成像效果散景以及普通照明阴影中的效果都明显不同。高斯模糊也用于计算机视觉算法中的预先处理阶段，以增强图像在不同比例大小下的图像效果（参见尺度空间表... 继续阅读 >

2021
07-04

Python中for后接else的语法使用

0、背景今天看到了一个比较诡异的写法，for后直接跟了else语句，起初还以为是没有缩进好，查询后发现果然有这种语法，特此分享。之前写过c++和Java，在for后接else还是第一次见。1、试验#eg1importnumpyasnpforiinnp.arange(5):printielse:print("hello？")#0#1#2#3#4#hello？可以发现，在for正常结束后，break中的语句进行了执行。#eg2importnumpyasnpforiinnp.arange(5):printiif(i==3... 继续阅读 >

2021
07-04

python中response.text 和response.content的区别详解

1.response.text-类型：str-解码类型：根据HTTP头部对响应的编码作出有根据的推测，推测的文本编码-如何修改编码方式：response.encoding=”gbk”2.response.content-类型：bytes-解码类型：没有指定-如何修改编码方式：response.content.deocde(“utf-8”)3.获取网页源码的通用方式：response.content.decode()response.content.decode(“GBK”)解码方式可以根据响应头中找到Content-Type:text/html;charset=utf-8或者... 继续阅读 >

2021
07-04

基于Python中request请求得到的response的属性问题

Python中request请求得到的response,即通过request得到的数据：importrequestsresponse=requests.get(https://www.jd.com/)response的属性1、返回状态码response.status_codehttp请求的返回状态，2XX表示连接成功，3XX表示跳转,4XX客户端错误,500服务器错误2、返回http响应的文本内容response.texthttp响应内容的字符串(str)形式，请求url对应的页面内容response=requests.get("https://www.jd.com/")print(response.te... 继续阅读 >

2021
07-04

Python实现emoji表情的简单方法

前言作为一个数据分析师，应该信奉一句话——“一图胜千言”。不过这里要说的并不是数据可视化，而是一款全民向的产品形态——表情包！！！！表情包不仅仅是一种符号，更是一种文化——是促进社交乃至社会发展的动力之一，就像懒。我们坚持认为，一张优秀的表情包，应该是一幅艺术品，是那忽如一夜春风来的灵感爆发，是那嘈嘈切切错杂弹的情思激荡，是那直挂云帆济沧海的壮志豪情，是那一览天下众山小的荣耀胜利——是不可以容忍码... 继续阅读 >

2021
07-04

Python机器学习之AdaBoost算法

目录一、算法概述二、算法原理三、算法步骤四、算法实现五、算法优化一、算法概述AdaBoost是英文AdaptiveBoosting（自适应增强）的缩写，由YoavFreund和RobertSchapire在1995年提出。AdaBoost的自适应在于前一个基本分类器分类错误的样本的权重会得到加强，加强后的全体样本再次被用来训练下一个基本分类器。同时，在每一轮训练中加入一个新的弱分类器，直到达到某个预定的足够小的错误率或达到预先指定的最大迭... 继续阅读 >

2021
07-04

Python NumPy中diag函数的使用说明

NumPy包中的内置diag函数很有意思。假设创建一个1维数组a，和一个3*3数组b：importnumpyasnpa=np.arange(1,4)b=np.arange(1,10).reshape(3,3)结果如下：>>>aarray([1,2,3])>>>barray([[1,2,3],[4,5,6],[7,8,9]])使用diag函数，看一看结果：>>>np.diag(a)array([[1,0,0],[0,2,0],[0,0,3]])>>>np.diag(b)array([1,5,9])可以发现，当np.diag(array)中array是一个1维数组时，结果形成一个以一维数组为... 继续阅读 >

2021
07-04

像线程一样管理进程的Python multiprocessing库

目录一、创建一个进程二、设置进程名三、守护进程四、join()五、强制结束进程六、进程退出状态码七、日志八、派生进程一、创建一个进程要创建一个进程，最简单的方式是用一个目标函数实例化一个Process对象，然后与threading一样调用start()函数让它工作。示例如下：importmultiprocessingdefworker():foriinrange(3):print(i)if__name__=="__main__":p=multiprocessing.Process(target=worker)p.star... 继续阅读 >

2021
07-04

Python 如何读取.txt,.md等文本文件

看代码吧~#example.md123456789>>>withopen('example.md')asf:lines=f.readlines()>>>lines['123\n','456\n','789\n']#我们发现每一行后面都会有一个回车符，我们使用strip()函数消除它>>>lines=[i.strip()foriinlines]['123','456','789']#每个元素是一个string，但是我们需要读取的是文本数据，所以需要将string转化为int(orfloat)>>>data=[]>>>forlineinlines:... 继续阅读 >

2021
07-04

快速搭建python爬虫管理平台

目录爬虫有多重要理解什么是爬虫管理平台定义广义爬虫管理平台爬虫管理平台模块爬虫管理平台架构为什么需要爬虫管理平台如何选择一个合适的爬虫管理平台爬虫管理平台Crawlab介绍简介解决问题界面及使用整体架构Github地址及Demo使用Docker部署安装CrawlabDocker镜像安装Docker安装DockerCompose拉取镜像启动Crawlabdocker-compose如何将Scrapy等爬虫集成到CrawlabCrawlab是执行爬虫基本原理编写Pipeline上传并配置... 继续阅读 >

2021
07-04

解读python基于netconf协议获取网元的数据

目录【原理介绍】【开发流程介绍】【网元配置】【python代码示例】【总结】【原理介绍】通过NETCONF，网管能够用可视化的界面统一管理网络中的设备，并且安全性高、可靠性强、扩展性强。如下图所示，网管与网络中的所有交换机之间建立NETCONF会话，用户即可在网管提供的可视化界面上对网络中的所有交换机进行统一的管理，提高网络运维效率。网管通过NETCONF对设备进行管理组网图【开发流程介绍】首先进行网元的配置开通netconf协议... 继续阅读 >

2021
07-04

Python生成字符视频的实现示例

一、前言在之前也写过生成字符视频的文章，但是使用的是命令行窗口输出，效果不是很好，而且存在卡顿的情况。于是我打算直接生成一个mp4的字符视频。大致思路和之前一样：Python20行代码实现视频字符化。下面来看一个效果图：二、OpenCV的操作图像我们先来看一些基本操作。首先我们需要安装OpenCV，执行下面语句：pipinstallopencv-python之后就可以使用了。2.1、读取和显示我们直接看代码：importcv2#读取图片img=cv2.imrea... 继续阅读 >