分类：Python

2020
10-10

python 调用API接口 获取和解析 Json数据

任务背景：调用API接口数据，抽取我们所需类型的数据，并写入指定mysql数据库。先从宏观上看这个任务，并对任务进行分解：step1：需要学习python下的通过url读取数据的方式；step2：数据解析，也是核心部分，数据格式从python角度去理解，是字典？列表？还是各种嵌套？step3：连接mysql数据库，将数据写入。从功能上看，该数据获取程序可以分为3个方法，即step1对应方法request_data()，step2对应方法parse_data()，step3对应data_... 继续阅读 >
2020
10-10

Python爬虫代理池搭建的方法步骤

Python爬虫代理池搭建的方法步骤 一、为什么要搭建爬虫代理池在众多的网站防爬措施中，有一种是根据ip的访问频率进行限制，即在某一时间段内，当某个ip的访问次数达到一定的阀值时，该ip就会被拉黑、在一段时间内禁止访问。应对的方法有两种：1.降低爬虫的爬取频率，避免IP被限制访问，缺点显而易见：会大大降低爬取的效率。2.搭建一个IP代理池，使用不同的IP轮流进行爬取。二、搭建思路1、从代理网站(如：西刺代理、快代理、云代理、无忧代理)爬取代理IP；2、验... 继续阅读 >
2020
10-10

浅析python 通⽤爬⾍和聚焦爬⾍

一、爬虫的简单理解1.什么是爬虫？网络爬虫也叫网络蜘蛛，如果把互联网比喻成一个蜘蛛网，那么蜘蛛就是在网上爬来爬去的蜘蛛，爬虫程序通过请求url地址，根据响应的内容进行解析采集数据，比如：如果响应内容是html，分析dom结构，进行dom解析、或者正则匹配，如果响应内容是xml/json数据，就可以转数据对象，然后对数据进行解析。2.爬虫有什么作用？通过有效的爬虫手段批量采集数据，可以降低人工成本，提高有效数据量，给予运... 继续阅读 >
2020
10-10

小结Python的反射机制

前言：前两天用Python实现了ftp服务器。在小项目中就用到了反射。因此写个笔记巩固下。反射的定义：检测和修改它本身状态或行为的一种能力（自省）。而通过反射，Python可以通过字符串的映射或修改程序运行的状态和方法。反射的四个方法。hasattr，getattr，setattr，delattrhasattr：判断一个方法是否存在与这个类中classPerson(object):def__init__(self,name):self.name=namedeftalk(self):print("%s正在交谈"... 继续阅读 >
2020
10-10

互斥锁解决 Python 中多线程共享全局变量的问题(推荐)

互斥锁解决 Python 中多线程共享全局变量的问题(推荐) 一、同步概念同步就是协同步调，按预定的先后次序进行运行。如:你说完，我再说。"同"字从字面上容易理解为一起动作。其实不是，在这里，"同"字应是指协同、协助、互相配合。线程同步，可理解为线程A和B一块配合，A执行到一定程度时要依靠B的某个结果，于是停下来，示意B运行；B执行，再将结果给A；A再继续操作。之前我们遇到过，如果多个线程共同对某个数据修改，则可能出现不可预料的结果，为了保证数据的正确性，需要对多个线程... 继续阅读 >
2020
10-10

python 常见的反爬虫策略

1、判断请求头来进行反爬这是很早期的网站进行的反爬方式User-Agent用户代理referer请求来自哪里cookie也可以用来做访问凭证解决办法：请求头里面添加对应的参数（复制浏览器里面的数据）2、根据用户行为来进行反爬请求频率过高，服务器设置规定时间之内的请求阈值解决办法：降低请求频率或者使用代理（IP代理）网页中设置一些陷阱（正常用户访问不到但是爬虫可以访问到）解决办法：分析网页，避开这些特殊陷阱请求间隔太短，... 继续阅读 >
2020
10-10

python 5个实用的技巧

下面我挑选出的这几个技巧常常会被人们忽略，但它们在日常编程中能真正的给我们带来不少帮助。1.字典推导(Dictionarycomprehensions)和集合推导(Setcomprehensions)大多数的Python程序员都知道且使用过列表推导(listcomprehensions)。如果你对listcomprehensions概念不是很熟悉——一个listcomprehension就是一个更简短、简洁的创建一个list的方法。>>>some_list=[1,2,3,4,5]>>>another_list=[x+1forxinso... 继续阅读 >
2020
10-10

python 爬取免费简历模板网站的示例

代码#免费的简历模板进行爬取本地保存#http://sc.chinaz.com/jianli/free.html#http://sc.chinaz.com/jianli/free_2.htmlimportrequestsfromlxmlimportetreeimportosdirName='./resumeLibs'ifnotos.path.exists(dirName):os.mkdir(dirName)headers={'User-Agent':'Mozilla/5.0(WindowsNT10.0;Win64;x64)AppleWebKit/537.36(KHTML,likeGecko)Chrome/85.0.4183.83Safari/537.36'}url='http://sc.chi... 继续阅读 >
2020
10-10

python如何提升爬虫效率

单线程+多任务异步协程协程在函数(特殊函数)定义的时候,使用async修饰,函数调用后,内部语句不会立即执行,而是会返回一个协程对象任务对象任务对象=高级的协程对象(进一步封装)=特殊的函数任务对象必须要注册到时间循环对象中给任务对象绑定回调:爬虫的数据解析中事件循环当做是一个装载任务对象的容器当启动事件循环对象的时候,存储在内的任务对象会异步执行特殊函数内部不能写不支持异步请求的模块,如time,requests...否... 继续阅读 >
2020
10-10

python用tkinter实现一个简易能进行随机点名的界面

python用tkinter实现一个简易能进行随机点名的界面 今天学到Python有一个名为random的内置模块，可用于生成随机数，这个好玩~可以用来做为上课随机点名的程序了哈哈。。defmain_cor():importrandomi=random.randrange(0,29)withopen('roll_call.txt',encoding='utf-8')asfile_obj:contents=file_obj.read()stuff=contents.split('')s=stuff[i]str=s.encode('gbk')print(str.decode('gbk'))roll_call.txt里装有全班30位同学... 继续阅读 >
2020
10-10

python实现暗通道去雾算法的示例

何凯明博士的去雾文章和算法实现已经漫天飞了，我今天也就不????簦?苯痈?鲎约?ython实现的完整版本，全部才60多行代码，简单易懂，并有简要注释，去雾效果也很不错。在这个python版本中，计算量最大的就是最小值滤波，纯python写的，慢，可以进一步使用C优化，其他部分都是使用numpy和opencv的现成东东，效率还行。importcv2importnumpyasnpdefzmMinFilterGray(src,r=7):'''最小值滤波，r是滤波器半径''''''ifr<=0:... 继续阅读 >
2020
10-10

谈谈python垃圾回收机制

什么是垃圾回收机制？首先，咱先来解释名词，垃圾回收是不是就是将没用的，废弃的东西回收起来。在坐的各位都没有女朋友对吧，那难以想象你们的房间会是一个什么样子，可能会有很多垃圾，很凌乱，自己也不收拾。那当你有了女朋友了就不一样了，她会帮你收拾房间，把没用的垃圾都给你扔掉。那在我们Python当中的垃圾回收承担的就是女朋友的角色，你们想象一下，你现在有一个轻度强迫症的女朋友一刻不停的跟在你的背后打扫卫生，你一... 继续阅读 >
2020
10-10

如何在python中处理配置文件代码实例

如何在python中处理配置文件代码实例 配置文件是一种计算机文件，可以为一些计算机程序配置参数和初始设置，在内容形式上是一个一个键值对的记录。testcase.yaml文件：excel:filename:"testcase.xlsx"将yaml库做二次封装：importyamlclassHandleYaml:def__init__(self,filename=None):iffilenameisNone:self.filename='testcase.yaml'else:self.filename=filenamewithopen(filename,encoding="utf-8")asfile:#用上下文管... 继续阅读 >
2020
10-10

Python 开发工具通过 agent 代理使用的方法

Pycharm-Python开发工具通过agent代理使用1、下载Pycharm下载地址2、支持本代理包支持2020版本3、参数LFq51qqupnaiTNn39w6zATiOTxZI2JYuRJEBlzmUDv4zeeNlXhMgJZVb0q5QkLr+CIUrSuNB7ucifrGXawLB4qswPOXYG7+ItDNUR/9UkLTUWlnHLX07hnR1USOrWIjTmbytcIKEdaI6x0RskyotuItj84xxoSBP/iRBW2EHpOc4、步骤1、下载pycharm，设置为免费30天使用，随便打开一个空项目，拖动到右边的空白处2、自动提示重启，重启即可3、输入参数4、选择... 继续阅读 >