系统稳定性—OutOfMemoryError常见原因及解决方法

JVM内存严重不足时,就会抛出 java.lang.OutOfMemoryError错误。本文总结了常见的 OOM原因及其解决方法,如下图所示。如有遗漏或错误,欢迎补充指正。

系统稳定性—OutOfMemoryError常见原因及解决方法

一、Java heap space

Java heap space(堆内存溢出),当堆内存( Heap Space)没有足够空间存放新创建的对象时,就会抛出 java.lang.OutOfMemoryError: Java heap space错误(根据实际生产经验,可以对程序日志中的 OutOfMemoryError配置关键字告警,一经发现,立即处理)。

1.1 原因分析

Java heap space错误产生的常见原因可以分为以下几类:

  • 请求创建一个超大对象,通常是一个大数组。
  • 超出预期的访问量/数据量,通常是上游系统请求流量飙升,常见于各类促销/秒杀活动,可以结合业务流量指标排查是否有尖状峰值。
  • 过度使用终结器( Finalizer),该对象没有立即被 GC
  • 内存泄漏( Memory Leak),大量对象引用没有释放, JVM无法对其自动回收,常见于使用了 File等资源没有回收。

相关拓展:一个线程oom,进程里其他线程还能运行吗?

1.2 解决方案

针对大部分情况,通常只需要通过增加 -Xms(初始堆大小)和 -Xmx(最大堆大小)参数的大小来调高 JVM堆内存空间即可。如: set JAVA_OPTS= -Xms1024m -Xmx1024m-Xms-Xmx设置一样,是因为防止内存抖动)。如果仍然没有解决,可以参考以下情况做进一步处理:

  • 如果是超大对象,可以检查其合理性,比如是否一次性查询了数据库全部结果,而没有做结果数限制。
  • 如果是业务峰值压力,可以考虑添加机器资源,或者做限流降级。
  • 如果是内存泄漏,需要找到持有的对象,修改代码设计,比如关闭没有释放的连接。

二、GC overhead limit exceeded

Java进程花费 98%以上的时间执行 GC,但只恢复了不到 2%的内存,且该动作连续重复了 5次,就会抛出 java.lang.OutOfMemoryError:GC overhead limit exceeded错误。简单地说,就是应用程序已经基本耗尽了所有可用内存, GC也无法回收。

此类问题的原因与解决方案跟 Java heap space非常类似,可以参考上文。

三、Permgen space

Permgen space(方法区内存溢出),该错误表示永久代( Permanent Generation)已用满,通常是因为加载的 class数目太多或体积太大。

3.1 原因分析

永久代存储对象主要包括以下几类:

  • 加载/缓存到内存中的 class定义,包括类的名称,字段,方法和字节码;
  • 常量池;
  • 对象数组/类型数组所关联的 class
  • JIT编译器优化后的 class信息。

PermGen的使用量与加载到内存的 class的数量/大小正相关。

3.2 解决方案

根据 Permgen space报错的时机,可以采用不同的解决方案,如下所示:

  • 程序启动报错,修改 -XX:MaxPermSize启动参数,调大永久代空间。
  • 应用重新部署时报错,很可能是没有应用没有重启,导致加载了多份 class信息,只需重启 JVM即可解决。
  • 运行时报错,应用程序可能会动态创建大量 class,而这些 class的生命周期很短暂,但是 JVM默认不会卸载 class,可以设置 -XX:+CMSClassUnloadingEnabled-XX:+UseConcMarkSweepGC这两个参数允许 JVM卸载 class

如果上述方法无法解决,可以通过 jmap命令 dump内存对象 jmap -dump:format=b,file=dump.hprof <process-id></process-id>,然后利用Eclipse MAT功能逐一分析开销最大的 classloader和重复 class

JDK 1.8使用 Metaspace替换了永久代( Permanent Generation),该错误表示 Metaspace已被用满,通常是因为加载的 class数目太多或体积太大。

此类问题的原因与解决方法跟 Permgen space非常类似,可以参考上文。需要特别注意的是调整 Metaspace空间大小的启动参数为 -XX:MaxMetaspaceSize

五、Unable to create new native thread

每个 Java线程都需要占用一定的内存空间,当 JVM向底层操作系统请求创建一个新的 native线程时,如果没有足够的资源分配就会报此类错误。

5.1 原因分析

JVMOS请求创建 native线程失败,就会抛出 Unable to create new native thread,常见的原因包括以下几类:

  • 线程数超过操作系统最大线程数 ulimit限制。
  • 线程数超过 kernel.pid_max(只能重启)。
  • native内存不足。

该问题发生的常见过程主要包括以下几步:

  1. JVM内部的应用程序请求创建一个新的 Java线程;
  2. JVM native方法代理了该次请求,并向操作系统请求创建一个 native线程;
  3. 操作系统尝试创建一个新的 native线程,并为其分配内存;
  4. 如果操作系统的虚拟内存已耗尽,或是受到 32位进程的地址空间限制,操作系统就会拒绝本次 native内存分配;
  5. JVM将抛出 java.lang.OutOfMemoryError: Unable to create new native thread错误。

5.2 解决方案

  • 升级配置,为机器提供更多的内存;
  • 降低 Java Heap Space大小;
  • 修复应用程序的线程泄漏问题;
  • 限制线程池大小;
  • 使用 -Xss参数减少线程栈的大小;
  • 调高 OS层面的线程最大数:执行 ulimia -a查看最大线程数限制,使用 ulimit -u xxx调整最大线程数限制。
ulimit -a
.... &#x7701;&#x7565;&#x90E8;&#x5206;&#x5185;&#x5BB9; .....

max user processes              (-u) 16384

六、Out of swap space

该错误表示所有可用的虚拟内存已被耗尽。

虚拟内存( Virtual Memory)由物理内存( Physical Memory)和交换空间( Swap Space)两部分组成。当运行时程序请求的虚拟内存溢出时就会报 Out of swap space错误。

6.1 原因分析

该错误出现的常见原因包括以下几类:

  • 地址空间不足;
  • 物理内存已耗光;
  • 应用程序的本地内存泄漏( native leak),例如不断申请本地内存,却不释放。
  • 执行 jmap -histo:live <pid></pid>命令,强制执行 Full GC;如果几次执行后内存明显下降,则基本确认为 Direct ByteBuffer问题。

6.2 解决方案

根据错误原因可以采取如下解决方案:

  • 升级地址空间为 64bit;
  • 使用Arthas检查是否为 Inflater/Deflater解压缩问题,如果是,则显式调用 end方法。
  • Direct ByteBuffer问题可以通过启动参数 -XX:MaxDirectMemorySize调低阈值。
  • 升级服务器配置/隔离部署,避免争用。

七、Kill process or sacrifice child

有一种内核作业( Kernel Job)名为 Out of Memory Killer,它会在可用内存极低的情况下”杀死”( kill)某些进程。 OOM Killer会对所有进程进行打分,然后将评分较低的进程”杀死”,具体的评分规则可以参考Surviving the Linux OOM Killer

不同于其他的 OOM错误, Kill process or sacrifice child错误不是由 JVM层面触发的,而是由操作系统层面触发的。

7.1 原因分析

默认情况下, Linux内核允许进程申请的内存总量大于系统可用内存,通过这种”错峰复用”的方式可以更有效的利用系统资源。

然而,这种方式也会无可避免地带来一定的”超卖”风险。例如某些进程持续占用系统内存,然后导致其他进程没有可用内存。此时,系统将自动激活 OOM Killer,寻找评分低的进程,并将其”杀死”,释放内存资源。

7.2 解决方案

八、Requested array size exceeds VM limit

JVM限制了数组的最大长度,该错误表示程序请求创建的数组超过最大长度限制。

JVM在为数组分配内存前,会检查要分配的数据结构在系统中是否可寻址,通常为 Integer.MAX_VALUE - 2

此类问题比较罕见,通常需要检查代码,确认业务是否需要创建如此大的数组,是否可以拆分为多个块,分批执行。

九、Direct buffer memory

Direct buffer memory(堆外内存), Java允许应用程序通过 Direct ByteBuffer直接访问堆外内存,许多高性能程序通过 Direct ByteBuffer结合内存映射文件( Memory Mapped File)实现高速 IO

9.1 原因分析

Direct ByteBuffer的默认大小为 64MB,一旦使用超出限制,就会抛出 Direct buffer memory错误。

9.2 解决方案

  • Java只能通过 ByteBuffer.allocateDirect方法使用 Direct ByteBuffer,因此,可以通过Arthas等在线诊断工具拦截该方法进行排查。
  • 检查是否直接或间接使用了 NIO,如 nettyjetty等。
  • 通过启动参数 -XX:MaxDirectMemorySize调整 Direct ByteBuffer的上限值。
  • 检查 JVM参数是否有 -XX:+DisableExplicitGC选项,如果有就去掉,因为该参数会使 System.gc()失效。
  • 检查堆外内存使用代码,确认是否存在内存泄漏;或者通过反射调用 sun.misc.Cleanerclean()方法来主动释放被 Direct ByteBuffer持有的内存空间。
  • 内存容量确实不足,升级配置。

参考文章

Original: https://www.cnblogs.com/ciel717/p/16185066.html
Author: 夏尔_717
Title: 系统稳定性—OutOfMemoryError常见原因及解决方法

原创文章受到原创版权保护。转载请注明出处:https://www.johngo689.com/599582/

转载文章受原作者版权保护。转载请注明原作者出处!

(0)

大家都在看

  • 0x01MySQL环境配置与软件安装

    0x01MySQL环境配置与软件安装 工具/原料 操作系统:CentOS7.6 软件版本: MySQL5.7.28 桌面环境:Windows 10 服务器远程工具组合:远程+文件上…

    数据库 2023年6月9日
    085
  • SpringCloudAlibaba 实战

    SpringCloudAlibaba 实战 服务发现Nacos 服务发现原理 负载均衡Ribbon 细粒度修改Ribbon负载均衡规则 指定Ribbon全局负载均衡规则 配置Rib…

    数据库 2023年6月6日
    0109
  • servlet映射路径匹配解析

    开头 servlet是javaweb用来处理请求和响应的重要对象,本文将从源码的角度分析tomcat内部是如何根据请求路径匹配得到处理请求的servlet的 假设有一个reques…

    数据库 2023年6月16日
    094
  • 强烈推荐一款优秀且通用的后台管理系统

    最近看到一款优秀的通用管理后台——likeadmin,推荐给大家。likeadmin的部署方式简单,界面美观,基于MIT协议,完全免费,非常值得一用。 likeadmin快速开发通…

    数据库 2023年6月14日
    091
  • 自然对数

    https://zhuanlan.zhihu.com/p/71928040自然对数 https://www.youtube.com/watch?v=mZE0RmCbDe8 本文来自…

    数据库 2023年6月11日
    0112
  • mybatis中文文档PDF版

    https://share.weiyun.com/2Dwd35jD 密码:dguiby Original: https://www.cnblogs.com/qingxin12345…

    数据库 2023年6月9日
    0119
  • python中的cls和self区别

    self:Always use self for the first argument to instance methods self是作为类进行实例化传递的第一个参数,也就是我…

    数据库 2023年6月6日
    067
  • 06-MyBatis中ResultType和ResultMap的区别

    MyBatis中ResultType和ResultMap的区别 如果数据库结果集中的列名和要封装的属性名完全一致的话用 resultType属性 如果数据库结果集中的列名和要封装实…

    数据库 2023年6月16日
    094
  • SpringMvc(四)- 下载,上传,拦截器

    1、图片下载 图片下载:将服务器端的文件以流的形式写到客户端,通过浏览器保存到本地,实现下载; 1.1 图片下载步骤 1.通过session获取上下文对象(session.getS…

    数据库 2023年6月16日
    065
  • MySQL并行复制(MTS)原理(完整版)

    MySQL 5.6并行复制架构 MySQL 5.7并行复制原理 Master 组提交(group commit) 支持并行复制的GTID slave LOGICAL_CLOCK(由…

    数据库 2023年6月16日
    098
  • 2022-8-18 第六组 JDBC

    JDBC 1. 概念:Java DataBase Connectivity Java 数据库连接, Java语言操作数据库 JDBC本质:其实是官方(sun公司)定义的一套操作所有…

    数据库 2023年6月14日
    082
  • MySQLB+树

    书名《MySQL是怎样运行的:从根儿上理解MySQL》。 这本书真的很好。如果你想学习,我建议你去😊看看。 [En] This book is really good. I sug…

    数据库 2023年5月24日
    097
  • 我竟然才知道slf4j里还有个MDC

    大家好久不见,我是walking。今天给大家带来一个日志方面的知识——MDC,不知道大家认识不,反正我是最近刚知道的😂 初见MDC 前两天看项目中的代码,无意中看到一个自定义的线程…

    数据库 2023年6月11日
    0147
  • try enabling the break write locks option for the cleanup

    如图: 一般是在中断:提交/更新的时候产生的。 一般两种解决方式(可以参考其他的): 1,重启ide(我的就是这么神奇,重启idea后好了); 2,在cleanup时勾选 brea…

    数据库 2023年6月11日
    0122
  • 常见的dos命令

    常用快捷键 alt+f4 常见的dos命令 打开CMD的方式 开始+系统+命令提示符 win+R 输入cmd打开控制台 在任意文件夹下,按住shift+鼠标右键点击 资源管理器的地…

    数据库 2023年6月11日
    096
  • MySQL之事务隔离级别和MVCC

    事务隔离级别 事务并发可能出现的问题 脏写 事务之间对增删改互相影响 脏读 事务之间读取其他未提交事务的数据 不可重复读 一个事务在多次执行一个select读到的数据前后不相同。因…

    数据库 2023年5月24日
    087
亲爱的 Coder【最近整理,可免费获取】👉 最新必读书单  | 👏 面试题下载  | 🌎 免费的AI知识星球