Hadoop jar配置使用JMX进行远程JVM监控

背景: 编写了一个MapReduce程序,发现该程序内存占用非常多,需要有一种方法来分析内存详细的占用情况。

可以使用linux上的pmap –d

在这篇文章Eclipse远程调试HDP源代码中,提到使用JMX的方法对HDP进行远程调试。JMX(Java Management Extensions,即Java管理扩展),望文生义一下,可知这个机制是与管理相关的。在这个机制的基础上,可以对JVM的运行情况进行实时的分析。方法如下:

  1. 修改vim /usr/hdp/2.3.0.0-2557/hadoop/etc/hadoop/hadoop-env.sh的配置,添加与JMX相关的参数:

文字版本(添加45行的内容)

这个会在执行hadoop jar的机器上,开启一个端口,这个端口号由 -Dcom.sun.management.jmxremote.port=1499这个参数决定。

2.启动一个mapreduce程序,bash-4.1$ hadoop jar /home/yanliming/workspace/mosaicTest/videoMapreduce/videoMapreduce-1.0-SNAPSHOT.jar /tmp/yanliming/Wildlife.wmv /tmp/ryj/result/output012

在启动mapreduce的集群上,可以看到刚才配置的端口已经起来:

在visualVM中,配置远程机器的IP和端口号,进行实时的监控:

Original: https://www.cnblogs.com/justinzhang/p/5529865.html
Author: justinzhang
Title: Hadoop jar配置使用JMX进行远程JVM监控

原创文章受到原创版权保护。转载请注明出处:https://www.johngo689.com/533739/

转载文章受原作者版权保护。转载请注明原作者出处!

(0)

大家都在看

亲爱的 Coder【最近整理,可免费获取】👉 最新必读书单  | 👏 面试题下载  | 🌎 免费的AI知识星球