2023
03-16
03-16
Python线程池的正确使用方法
目录Python线程池的正确使用1、为什么要使用线程池呢？2、线程池怎么用呢？3、如何非阻塞的获取线程执行的结果4、线程池的运行策略Python线程池的正确使用1、为什么要使用线程池呢？因为线程执行完任务之后就会被系统销毁，下次再执行任务的时候再进行创建。这种方式在逻辑上没有啥问题。但是系统启动一个新线程的成本是比较高，因为其中涉及与操作系统的交互，操作系统需要给新线程分配资源。打个比方吧！就像软件公司招聘员工干...
继续阅读 >
目录一、前言二、同步代码演示三、异步，线程池代码四、同步爬虫爬取图片五、使用线程池的异步爬虫爬取4K美女图片一、前言学到现在，我们可以说已经学习了爬虫的基础知识，如果没有那些奇奇怪怪的反爬虫机制，基本上只要有时间分析，一般的数据都是可以爬取的，那么到了这个时候我们需要考虑的就是爬取的效率了，关于提高爬虫效率，也就是实现异步爬虫，我们可以考虑以下两种方式：一是线程池的使用（也就是实现单进程下的多线程）...