百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 技术分析 > 正文

导致程序出现OOM的因素,夜深人静的时候,程序OOM异常追踪

liebian365 2024-11-12 13:11 13 浏览 0 评论

  认真写文章,用心做分享。公众号:Java耕耘者 ??文章都会在里面更新,整理的资料也会放在里面。

 作为Java程序员, 除了享受垃圾回收机制带来的便利外, 还深受OOM(Out Of Memory)的困惑和折磨.

先来看下java的内存分布

堆溢出(heap)
  编写如下例程:

public static void main(String[] args) {

  List<byte[]> datas = new ArrayList<byte[]>();

  while ( true ) {

    datas.add(new byte[1024 * 1024]);

  }

}

  同时设置虚拟机参数, 使得java进程能够快速生成heapdump.

-Xms20m -Xmx20m -XX:+HeapDumpOnOutOfMemoryError

  评注: 设置heap的内存限制在20m, Xms/Xmx分别对应heap的初始和最大heap大小.
  产生的异常信息:

mat进行内存分析

评注: 从这边能看出, 这边聚集了众多的对象, 占据了99%的内存量.
  

栈溢出(stack)
  栈溢出的异常, 还是具有明确的指向性的. 暂略.
 

永久代溢出(常量池/方法区)
 String.intern()和cglib动态代理类的两个例子.
  其错误也很有指向性:

Exception in thread "main" java.lang.OutOfMemoryError: PermGen space

  这边讲述下, 小编(mumuxinfei)很久之前做的一个项目.

OOM的原因分类

 导致程序出现OOM的因素有多种. 大致我们可以把OOM简单的分为堆溢出(Heap), 栈溢出(Stack), 永久代溢出(常量池/方法区), 直接内存溢出.

  • outOfMemoryError 年老代内存不足。
  • outOfMemoryError:PermGen Space 永久代内存不足。
  • outOfMemoryError:GC overhead limit exceed 垃圾回收时间占用系统运行时间的98%或以上。
  • 在这里我们就要结合代码,观察是否大量应该被回收的对象在一直被引用或者是否有占用内存特别大的对象无法被回收。

    问题展示


    日志文件:

    时间戳 [http-nio-端口号-exec-1] ERROR ResponseExceptionHandle:26 - Handler dispatch failed; nested exception is java.lang.OutOfMemoryError: GC overhead limit exceeded
    org.springframework.web.util.NestedServletException: Handler dispatch failed; nested exception is java.lang.OutOfMemoryError: GC overhead limit exceeded
    	****中间一大段****
    Caused by: java.lang.OutOfMemoryError: GC overhead limit exceeded

    这个时候要是有可视化界面就好了(或者拥有运维的电脑,自己用Arthas上去),没办法,只能让运维线程栈信息以及内存信息下载下来。

    Linux上生成文件命令

    # 生成堆转储快照dump文件命令
    jmap -dump:format=b,file=heapdump.hprof pid
    # 生成堆栈信息文件命令
    jstack -l pid >> stack.txt

    堆栈信息查看

    "http-nio-端口号-exec-1" #37 daemon prio=5 os_prio=0 tid=0x00007f789d236800 nid=0x650e waiting on condition [0x00007f7851409000]
       java.lang.Thread.State: WAITING (parking)
    	at sun.misc.Unsafe.park(Native Method)
    	- parking to wait for  <0x00000000faa51ba0> (a java.util.concurrent.locks.AbstractQueuedSynchronizer$ConditionObject)
    	at java.util.concurrent.locks.LockSupport.park(LockSupport.java:175)
    	at java.util.concurrent.locks.AbstractQueuedSynchronizer$ConditionObject.await(AbstractQueuedSynchronizer.java:2039)
    	at java.util.concurrent.LinkedBlockingQueue.take(LinkedBlockingQueue.java:442)
    	at org.apache.tomcat.util.threads.TaskQueue.take(TaskQueue.java:103)
    	at org.apache.tomcat.util.threads.TaskQueue.take(TaskQueue.java:31)
    	at java.util.concurrent.ThreadPoolExecutor.getTask(ThreadPoolExecutor.java:1067)
    	at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1127)
    	at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)
    	at org.apache.tomcat.util.threads.TaskThread$WrappingRunnable.run(TaskThread.java:61)
    	at java.lang.Thread.run(Thread.java:745)
    
       Locked ownable synchronizers:
    	- None
    ****等等容器内其他线程

    上面只是我截取整个线程堆栈信息的一个容器线程状态查看,整个文件下来是没有发现死锁的发生,那线程方面是没有问题的,不会有线程相互竞争资源造成服务内部请求阻塞而造成OOM的情况发生。

    堆转储快照查看

    我们通过上面那条指令,以hprof二进制格式转储Java堆到指定filename的文件中。按照普通的文件方式打开肯定是行不通的(你在想啥呢?醒醒)。我这边是有两种方式去处理分析这种文件的。

    利用jhat

    利用JDK里面的指令去分析文件(有时dump出来的堆很大,在启动时会报堆空间不足的错误,可加参数:jhat -J-Xmx512m <heap dump file>。这个内存大小可根据自己电脑进行设置。):

    接着你就可以在浏览器里面输入 http://localhost:7000/进行访问:

    当前页面是展示了当前容器内包含的类以及id。页面的最下面是导航栏了:

    • All classes including platform 显示堆中所包含的所有的类
    • Show all members of the Rootset 从根集能引用到的对象
    • Show instance counts for all classes(including platform)显示平台包括的所有类的实例数量
    • Show instance counts for all classes(excluding platform)显示除去平台包括的所有类的实例数量
    • Show heap histogram 堆实例分布表
    • Show finalizer summary 显示终结器概述
    • Execute Object Query Language(OQL)query 执行对象查询语句

    一般查看堆异常情况主要看这个两个部分:

    • Show instance counts for all classes (excluding platform),平台外的所有对象信息。如下图:
    • Show heap histogram,以树状图形式展示堆情况。如下图:

    要注意的是,一般不会直接在服务器上进行分析,因为jhat是一个耗时并且耗费硬件资源的过程,一般把服务器生成的dump文件复制到本地或其他机器上进行分析。

    利用Memory Analyzer

    打开mat(MAC端安装MAT)然后导入文件:


    这里面参数说明很多

    Shallow Heap 表示一个对象消费的内存的总量。对象 X 的 Retained Set 指的是一旦 X 被垃圾回收后也会随之被 GC 回收掉的对象的集合。对象 X 的 Retained heap 指的是 X 的 retained set 中所有对象的 shallow heap 之和,或者说是因为对象 X而保持 alive 的内存的大小。

    我们查看下面的选项:

    1. Histogram可以列出内存中的对象,对象的个数以及大小。
    2. Dominator Tree可以列出那个线程,以及线程下面的那些对象占用的空间。
    3. Top consumers通过图形列出最大的object。
    4. Leak Suspects通过MA自动分析泄漏的原因。

    我们看到最大的那个区域就好(占用了41MB的):我们可以看到左下角是显示对象的名称:org.hibernate.internal.SessionFactoryImpl。我们的技术栈持久层框架使用的是hibernate

    我们点击Leak Suspects,然后出现:

    经过MAT出现了两个怀疑内存泄露相关的问题:


    我们通过查看下面的问题描述知道:

    Question1:被LaunchedURLClassLoader类加载器加载的一个SessionFactoryImpl实例中的BoundedConcurrentHashMap堆积着内存空间,占据了42,984,656字节。

    Question2:该内存中存在被SystemClassLoader加载的7,941个Class对象,占据了10,075,768字节。

    从Q1入手进行查看:


    1. Description 描述信息
    2. Shortest Paths To the Accumulation Point 到堆积点的最短路径
    3. Accumulated Objects by Class in Dominator Tree 支配树中按类累积对象
    4. All Accumulated Objects by Class 所有按类累积的对象

    我们这里就选择从下面三个都可以进行查看当前容器内部的内存堆积问题。上面的第二个是从堆积点一直追踪到线程,可以看到每一个线程对应的Shallow Heap以及Retained heap。

    我们这里就查看第三个:

    我们查看到是SessionFactoryImpl中的QueryPlanCache中存在一个Map集合,该集合占据了大量的内存空间。这个类实际运用中还没有使用到过,不过看这个提示以及名称,个人觉得跟ConcurrentHashMap相似(有大佬对BoundedConcurrentHashMap了解的嘛,可以评论下让我涨涨知识)。通过QueryPlanCache的名字,就可以知道它是用来缓存查询计划的,也就是缓存sql语句,以便于后边的相同的sql重复编译。

    总结:

    本人故障定位中查到的N多OOM问题,原因不外乎以下3类

    1、线程池不管理式滥用

    2、本地缓存滥用(如只需要使用Node的id,但将整个Node所有信息都缓存)

    3、特殊场景考虑不足(如采用单线程处理复杂业务,环境震荡+多设备下积压任务暴增)

    ==============利用gc.log进行OOM监控=======================

    针对JVM的监听,JDK默认提供了如jconsole、jvisualVM工具都非常好用。

    相关推荐

    快递查询教程,批量查询物流,一键管理快递

    作为商家,每天需要查询许许多多的快递单号,面对不同的快递公司,有没有简单一点的物流查询方法呢?小编的回答当然是有的,下面随小编一起来试试这个新技巧。需要哪些工具?安装一个快递批量查询高手快递单号怎么快...

    一键自动查询所有快递的物流信息 支持圆通、韵达等多家快递

    对于各位商家来说拥有一个好的快递软件,能够有效的提高自己的工作效率,在管理快递单号的时候都需要对单号进行表格整理,那怎么样能够快速的查询所有单号信息,并自动生成表格呢?1、其实方法很简单,我们不需要一...

    快递查询单号查询,怎么查物流到哪了

    输入单号怎么查快递到哪里去了呢?今天小编给大家分享一个新的技巧,它支持多家快递,一次能查询多个单号物流,还可对查询到的物流进行分析、筛选以及导出,下面一起来试试。需要哪些工具?安装一个快递批量查询高手...

    3分钟查询物流,教你一键批量查询全部物流信息

    很多朋友在问,如何在短时间内把单号的物流信息查询出来,查询完成后筛选已签收件、筛选未签收件,今天小编就分享一款物流查询神器,感兴趣的朋友接着往下看。第一步,运行【快递批量查询高手】在主界面中点击【添...

    快递单号查询,一次性查询全部物流信息

    现在各种快递的查询方式,各有各的好,各有各的劣,总的来说,还是有比较方便的。今天小编就给大家分享一个新的技巧,支持多家快递,一次能查询多个单号的物流,还能对查询到的物流进行分析、筛选以及导出,下面一起...

    快递查询工具,批量查询多个快递快递单号的物流状态、签收时间

    最近有朋友在问,怎么快速查询单号的物流信息呢?除了官网,还有没有更简单的方法呢?小编的回答当然是有的,下面一起来看看。需要哪些工具?安装一个快递批量查询高手多个京东的快递单号怎么快速查询?进入快递批量...

    快递查询软件,自动识别查询快递单号查询方法

    当你拥有多个快递单号的时候,该如何快速查询物流信息?比如单号没有快递公司时,又该如何自动识别再去查询呢?不知道如何操作的宝贝们,下面随小编一起来试试。需要哪些工具?安装一个快递批量查询高手快递单号若干...

    教你怎样查询快递查询单号并保存物流信息

    商家发货,快递揽收后,一般会直接手动复制到官网上一个个查询物流,那么久而久之,就会觉得查询变得特别繁琐,今天小编给大家分享一个新的技巧,下面一起来试试。教程之前,我们来预览一下用快递批量查询高手...

    简单几步骤查询所有快递物流信息

    在高峰期订单量大的时候,可能需要一双手当十双手去查询快递物流,但是由于逐一去查询,效率极低,追踪困难。那么今天小编给大家分享一个新的技巧,一次能查询多个快递单号的物流,下面一起来学习一下,希望能给大家...

    物流单号查询,如何查询快递信息,按最后更新时间搜索需要的单号

    最近有很多朋友在问,如何通过快递单号查询物流信息,并按最后更新时间搜索出需要的单号呢?下面随小编一起来试试吧。需要哪些工具?安装一个快递批量查询高手快递单号若干怎么快速查询?运行【快递批量查询高手】...

    连续保存新单号功能解析,导入单号查询并自动识别批量查快递信息

    快递查询已经成为我们日常生活中不可或缺的一部分。然而,面对海量的快递单号,如何高效、准确地查询每一个快递的物流信息,成为了许多人头疼的问题。幸运的是,随着科技的进步,一款名为“快递批量查询高手”的软件...

    快递查询教程,快递单号查询,筛选更新量为1的单号

    最近有很多朋友在问,怎么快速查询快递单号的物流,并筛选出更新量为1的单号呢?今天小编给大家分享一个新方法,一起来试试吧。需要哪些工具?安装一个快递批量查询高手多个快递单号怎么快速查询?运行【快递批量查...

    掌握批量查询快递动态的技巧,一键查找无信息记录的两种方法解析

    在快节奏的商业环境中,高效的物流查询是确保业务顺畅运行的关键。作为快递查询达人,我深知时间的宝贵,因此,今天我将向大家介绍一款强大的工具——快递批量查询高手软件。这款软件能够帮助你批量查询快递动态,一...

    从复杂到简单的单号查询,一键清除单号中的符号并批量查快递信息

    在繁忙的商务与日常生活中,快递查询已成为不可或缺的一环。然而,面对海量的单号,逐一查询不仅耗时费力,还容易出错。现在,有了快递批量查询高手软件,一切变得简单明了。只需一键,即可搞定单号查询,一键处理单...

    物流单号查询,在哪里查询快递

    如果在快递单号多的情况,你还在一个个复制粘贴到官网上手动查询,是一件非常麻烦的事情。于是乎今天小编给大家分享一个新的技巧,下面一起来试试。需要哪些工具?安装一个快递批量查询高手快递单号怎么快速查询?...

    取消回复欢迎 发表评论: