分类：oom

2023
01-13

Java OOM原因以及解决方案

1）什么是OOM？ OOM，全称“OutOfMemory”，翻译成中文就是“内存用完了”，来源于java.lang.OutOfMemoryError。看下关于的官方说明： ThrownwhentheJavaVirtualMachinecannotallocateanobjectbecauseitisoutofmemory,andnomorememorycouldbemadeavailablebythegarbagecollector.意思就是说，当JVM因为没有足够的内存来为对象分配空间并且垃圾回收器也已经没有空间可回收时，就会抛出这个... 继续阅读 >

2022
03-09

浅谈MySQL数据查询太多会OOM吗

目录全表扫描对server层的影响全表扫描对InnoDB的影响InnoDB内存管理小结我的主机内存只有100G，现在要全表扫描一个200G大表，会不会把DB主机的内存用光？逻辑备份时，可不就是做整库扫描吗？若这样就会把内存吃光，逻辑备份不是早就挂了？所以大表全表扫描，看起来应该没问题。这是为啥呢？全表扫描对server层的影响假设，我们现在要对一个200G的InnoDB表db1.t，执行一个全表扫描。当然，你要把扫描结果保存在客户端，会使用类似... 继续阅读 >

2021
07-31

pytorch 运行一段时间后出现GPU OOM的问题

pytorch的dataloader会将数据传到GPU上，这个过程GPU的mem占用会逐渐增加，为了避免GPUmen被无用的数据占用，可以在每个step后用del删除一些变量，也可以使用torch.cuda.empty_cache()释放显存：deltargets,input_k,input_masktorch.cuda.empty_cache()这时能观察到GPU的显存一直在动态变化。但是上述方式不是一个根本的解决方案，因为他受到峰值的影响很大。比如某个batch的数据量明显大于其他batch，可能模型处理该batch时显... 继续阅读 >

2020
10-09

MySQL OOM（内存溢出）的解决思路

OOM全称"OutOfMemory"，即内存溢出。内存溢出已经是软件开发历史上存在了近40年的“老大难”问题。在操作系统上运行各种软件时，软件所需申请的内存远远超出了物理内存所承受的大小，就叫内存溢出。内存溢出产生原因多种多样，当内存严重不足时，内核有两种选择：直接panic杀掉部分进程，释放一些内核。大部分情况下，会杀掉导致OOM的进程，然后系统恢复。通常我们会添加对内存的监控报警，例如：当memory或swap使用超过90... 继续阅读 >

2020
10-08

JAVA各种OOM代码示例与解决方法

周末了，觉得我还有很多作业没有写，针对目前大家对OOM的类型不太熟悉，那么我们来总结一下各种OOM出现的情况以及解决方法。我们把各种OOM的情况列出来，然后逐一进行代码编写复现和提供解决方法。1.堆溢出-java.lang.OutOfMemoryError:Javaheapspace。2.栈溢出-java.lang.OutOfMemorryError。3.栈溢出-java.lang.StackOverFlowError。4.元信息溢出-java.lang.OutOfMemoryError:Metaspace。5.直... 继续阅读 >

2020
10-07

Keras 快速解决OOM超内存的问题

如果在Keras内部多次使用同一个Model，例如在不同的数据集上训练同一个模型进而得到结果，会存在内存泄露的问题。在运行几次循环之后，就会报错OOM。解决方法是在每个代码后面接clear_session()函数，显示的关闭TFGraph，再重启。详情参考https://keras.io/backend/#backend-functions。fromkerasimportbackendasKK.clear_session()补充知识：Keras多次加载模型进行测试时内存溢出的解决方法在进行实验的过程中，保存了每个e... 继续阅读 >

2020
10-01

springboot中@Async默认线程池导致OOM问题

前言：1.最近项目上在测试人员压测过程中发现了OOM问题，项目使用springboot搭建项目工程，通过查看日志中包含信息：unabletocreatenewnativethread内存溢出的三种类型：1.第一种OutOfMemoryError：PermGenspace，发生这种问题的原意是程序中使用了大量的jar或class2.第二种OutOfMemoryError：Javaheapspace，发生这种问题的原因是java虚拟机创建的对象太多3.第三种OutOfMemoryError：unabletocreatenewnativethrea... 继续阅读 >

2020
09-29

Spark处理数据排序问题如何避免OOM

错误思想举个列子，当我们想要比较一个类型为RDD[(Long,(String,Int))]的RDD，让它先按Long分组，然后按int的值进行倒序排序，最容易想到的思维就是先分组，然后把Iterable转换为list，然后sortby,但是这样却有一个致命的缺点，就是Iterable在内存中是一个指针，不占内存，而list是一个容器，占用内存，如果Iterable含有元素过多，那么极易引起OOMvalcidAndSidCountGrouped:RDD[(Long,Iterable[(String,Int)])]=c... 继续阅读 >

2018
05-30

Android内存溢出OOM：常见内存泄漏

在上一篇文章中我们对Android中内存有了一个基本的了解，在本文继续介绍有关内存溢出的相关点。当内存泄漏超过一定的界限，必然会引起内存溢出，有些内存泄漏在开发中是比较常见的，接下来通过介绍几种常见额内存泄漏情形，以便在开发过程中采取必要的措施以此防止内存泄漏。如下是Android开发者在开发中比较常见的几种内存泄漏，并给出了相对应的防止内存泄漏的解决方式。单例模式引起的内存泄漏单例模式可以说在A... 继续阅读 >

2018
01-16

Android 内存暴减的秘密？！

WeTest导读在我这样减少了26.5MJava内存！一文中内存优化一期已经告一段落，主要做的事情是，造了几个分析内存问题的轮子，定位进程各种类型内存占用情况，分析了线程创建OOM的原因。当然最重要的是，优化了一波进程静息态的内存占用（减少26M+）。而二期则是在一期的基础之上，推进已发现问题的SDK解决问题，最终要的是要优化进程的动态Java内存占用！通常来说不管是做什么性能优化，逃不出性能优化3步曲：... 继续阅读 >