分类：pool

2021
05-15

python Pool常用函数用法总结

1、说明apply_async(func[，args[，kwds]):使用非堵塞调用func(并行执行，堵塞方式必须等待上一个过程退出才能执行下一个过程)，args是传输给func的参数列表，kwds是传输给func的关键词参数列表。close()：关闭Pool，使之不再接受新任务。terminate():无论任务是否完成，都要立即终止。join():主进程堵塞，等待子进程退出，必须在close或terminate之后使用。2、实例#coding:utf-8importmultiprocessingimporttimedeffunc(msg... 继续阅读 >

2021
01-13

详解MySQL中的缓冲池（buffer pool）

Mysql中数据是要落盘的，这点大家都知道。读写磁盘速度是很慢的，尤其和内存比起来更是没的说。但是，我们平时在执行SQL时，无论写操作还是读操作都能很快得到结果，并没有预想中的那么慢。可能你会说我有索引啊，有索引当然快了。但是铁子，索引文件也是存储在磁盘上的，查找过程会产生磁盘I/O。如果同时对某行数据进行多次操作，那岂不是要重复产生很多次磁盘IO吗？可能你想到了，那我把数据存在内存里不就可以了吗？内存... 继续阅读 >

2020
11-29

MySQL的查询缓存和Buffer Pool

一、Caches-查询缓存下图是MySQL官网给出的：MySQL架构体系图。人们常说的查询缓存就是下图中的Cache部分。如果将MySQL分成Server层和存储引擎层两大部分，那么Caches位于Server层。另外你还得知道：当一个SQL打向MySQLServer之后，MySQLServer首选会从查询缓存中查看是否曾经执行过这个SQL，如果曾经执行过的话，之前执行的查询结果会以Key-Value的形式保存在查询缓存中。key是SQL语句，value是查询结果。我们将这个过程称为... 继续阅读 >

2020
10-15

python 进程池pool使用详解

和选用线程池来关系多线程类似，当程序中设置到多进程编程时，Python提供了更好的管理多个进程的方式，就是使用进程池。在利用Python进行系统管理的时候，特别是同时操作多个文件目录，或者远程控制多台主机，并行操作可以节约大量的时间。当被操作对象数目不大时，可以直接利用multiprocessing中的Process动态生成多个进程，十几个还好，但如果是上百个，上千个目标，手动的去限制进程数量却又太过繁琐，此时可以发挥进程... 继续阅读 >

2020
10-09

阿里dubbo出错提示Thread pool is EXHAUSTED问题及解决方法

同事反馈，系统使用过程出个别时候会出现错误，系统使用srpingMvc+spring+mybatis+dubbo的微服务架构。检查日志看到如下异常信息：Causedby:java.util.concurrent.RejectedExecutionException:ThreadpoolisEXHAUSTED!ThreadName:DubboServerHandler-10.8.64.57:20880,PoolSize:200(active:200,core:200,max:200,largest:200),Task:5823通过字面大致意思是，dubbo线程池资源消耗完了。最近也没有大的系统升级... 继续阅读 >

2020
09-27

解决windows下python3使用multiprocessing.Pool出现的问题

例如：frommultiprocessingimportPooldeff(x):returnx*xpool=Pool(processes=4)r=pool.map(f,range(100))pool.close()pool.join()在spyder里运行直接没反应；在shell窗口里，直接报错，如下：ProcessSpawnPoolWorker-15:Traceback(mostrecentcalllast):File"C:\Anaconda3\lib\multiprocessing\process.py",line254,in_bootstrself.run()File"C:\Anaconda3\lib\multiprocessing\process.py",line93,inrun... 继续阅读 >