【死磕JVM】看完這篇我也會排查JVM內(nèi)存過高了 就是玩兒!
前言
CPU 是時分的,操作系統(tǒng)里面有很多線程,每個線程的運行時間由CPU決定,CPU會分給每一個線程一個時間片,時間片是一個很短的時間長度,如果在時間片內(nèi),線程一直占有,就是100%,我們應(yīng)該意識到,CPU運行速度很快(主頻非常高),除非是密集型耗費CPU的運算,其他類型的任務(wù)都會在小于時間片的時間內(nèi)結(jié)束。
內(nèi)存過高一般有兩種情況:內(nèi)存溢出和內(nèi)存泄露
- 內(nèi)存溢出: 程序分配的內(nèi)存超過物理機的內(nèi)存大小,導(dǎo)致無法繼續(xù)分配內(nèi)存,出現(xiàn)OOM報錯
 - 內(nèi)存泄露: 不再使用的對象一直占據(jù)著內(nèi)存不釋放,導(dǎo)致這塊內(nèi)存浪費掉,久而久之,內(nèi)存泄露的對象堆積起來,也會導(dǎo)致物理機的內(nèi)存被耗盡,出現(xiàn)OOM報錯
 
具體操作
如何監(jiān)控JVM,我們可以通過一個案例在了解一些實際當(dāng)中的操作,大家可以看到下面的代碼,下面的代碼只是模擬了當(dāng)中的一個場景,一個風(fēng)險控制的場景,一般銀行或者第三方公司在向一個人發(fā)放貸款的時候,會調(diào)用這個人的征信已經(jīng)還款能力,給出響應(yīng)的評級。
- import java.math.BigDecimal;
 - import java.util.ArrayList;
 - import java.util.Date;
 - import java.util.List;
 - import java.util.concurrent.ScheduledThreadPoolExecutor;
 - import java.util.concurrent.ThreadPoolExecutor;
 - import java.util.concurrent.TimeUnit;
 - public class FullGCTest {
 - //模擬銀行卡的類
 - private static class CardInfo {
 - //小農(nóng)的銀行卡信息記錄
 - BigDecimal price = new BigDecimal(10000000.0);
 - String name = "牧小農(nóng)";
 - int age = 18;
 - Date birthdate = new Date();
 - public void m() {}
 - }
 - //線程池 定時線程池
 - //50個,然后設(shè)置 拒絕策略
 - private static ScheduledThreadPoolExecutor executor = new ScheduledThreadPoolExecutor(50,
 - new ThreadPoolExecutor.DiscardOldestPolicy());
 - public static void main(String[] args) throws Exception {
 - executor.setMaximumPoolSize(50);
 - for (;;){
 - modelFit();
 - Thread.sleep(100);
 - }
 - }
 - /**
 - * 對銀行卡進行風(fēng)險評估
 - */
 - private static void modelFit(){
 - List taskList = getAllCardInfo();
 - //拿出每一個信息出來
 - taskList.forEach(info -> {
 - // do something
 - executor.scheduleWithFixedDelay(() -> {
 - //調(diào)用M方法
 - info.m();
 - }, 2, 3, TimeUnit.SECONDS);
 - });
 - }
 - private static List getAllCardInfo(){
 - List taskList = new ArrayList<>();
 - //每次查詢100張卡出來
 - for (int i = 0; i < 100; i++) {
 - CardInfo ci = new CardInfo();
 - taskList.add(ci);
 - }
 - return taskList;
 - }
 - }
 
程序的設(shè)計其實比較簡單,就是我們用信用卡的案例來進行說明,比如CardInfo就是信用卡類,我們把這個人對應(yīng)的信用卡的記錄都調(diào)用出來,之后做一些自己響應(yīng)的業(yè)務(wù)處理方法來對它進行處理和計算,來看看我們這個模型是否符合modelFit,具體怎么做呢,在應(yīng)用程序中有一個類是CardInfo,有一個方法叫做getAllCardInfo,每次都是拿100個出來,拿100個之后用線程池做計算,線程池用的是 ScheduledThreadPoolExecutor(定時任務(wù)),new出來線程池之后,50個線程池,然后做對應(yīng)的業(yè)務(wù)邏輯處理,會調(diào)用 modelFit(),使用100毫秒模擬業(yè)務(wù)的停頓。
首先我們需要使用javac 命令將Java文件進行編譯
- javac FullGCTest.java 進行編譯,然后打印GC日志,進行風(fēng)險監(jiān)控
 - 打印GC日志: java -Xms200M -Xmx200M -XX:+PrintGC FullGCTest
 
怎么知道JVM內(nèi)存過高?
在公司里面,如果遇到了JVM內(nèi)存過高的情況,那么一般是運維團隊首先受到報警信息,然后通知對應(yīng)的開發(fā)人員去查看,那么開發(fā)人員應(yīng)該如何查看,或者怎么樣去排查呢?
1、top 查看進程
受到報警信息后,拿top命令去查詢
- [root@root ~]# top
 
查看內(nèi)存不斷增長,CPU占用率居高不下的。top后你會看到它的PID(31061)。它占比比較高。
2、top -Hp 查看線程
找到CPU占用比較高的進程PID,這里我們以 java 的進程為例 使用命令 top -Hp 31061 ,這個時候它會把這個進程里面所有的線程全部線程都羅列出來嗎,這些都是Java這個進程里面內(nèi)部的一些線程,如下圖所示:
我們會看到每個線程的占比都差不多,偶爾會有某一個線程比較高,在某些線程占得比較高的時候,這個小例子最終會是垃圾回收的線程占得比較高,因為垃圾回收不過來了,所以需要不停的來回回收,每次都回收一點點,實際這種例子里面非常有可能是你業(yè)務(wù)邏輯線程,那一塊的業(yè)務(wù)邏輯線程占比非常高,這是時候就需要用到另外的命令——jstack
3、jstack
當(dāng)我們使用 top -Hp 知道了是哪個線程后,我們下一步就可以使用 jstack命令,比如我們要查看31083這個線程號,31061是我們的進程PID,我們要定位某一個線程cpu的占比會比其他cpu高很多,那么我們就要定位這個線程里面到底是什么樣的問題的時候,就需要把這個線程號(31083)記下來。
因為 jstack 用到的線程號是16進制的,所以我們需要把31083的10進制轉(zhuǎn)換成16進制才可以
特點:
每個線程有自己的線程號碼,里面有線程的狀態(tài),可以觀察線程是否阻塞,如果長時間的wait和block說明這個線程是有問題的
4、轉(zhuǎn)換16進制
因為Java線程文件中的線程ID是16進制,所以需要將線程ID從十進制轉(zhuǎn)換成十六進制
- 命令:echo "obase=16;31083" | bc
 
5、jstack用法解析
- [root@root ~]# jstack
 - Usage:
 - jstack [-l]
 - (to connect to running process)
 - jstack -F [-m] [-l]
 - (to connect to a hung process)
 - jstack [-m] [-l]
 - (to connect to a core file)
 - jstack [-m] [-l] [server_id@]
 - (to connect to a remote debug server)
 - Options:
 - -F to force a thread dump. Use when jstack does not respond (process is hung)
 - -m to print both java and native frames (mixed mode)
 - -l long listing. Prints additional information about locks
 - -h or -help to print this help message
 
6、jstack查看輸出
我們也可以用 jps或者java ps -ef| java 來查看Java進程,這里我們用jps來查看
- [root@root ~]# jps
 
- [root@root ~]# jstack 31061
 
- "pool-1-thread-3" #10 prio=5 os_prio=0 tid=0x00007f3568105800 nid=0x7961 waiting on condition [0x00007f35455cf000]
 - java.lang.Thread.State: WAITING (parking)
 - at sun.misc.Unsafe.park(Native Method)
 - - parking to wait for <0x00000000f8a81148> (a java.util.concurrent.locks.AbstractQueuedSynchronizer$ConditionObject)
 - at java.util.concurrent.locks.LockSupport.park(LockSupport.java:175)
 - at java.util.concurrent.locks.AbstractQueuedSynchronizer$ConditionObject.await(AbstractQueuedSynchronizer.java:2039)
 - at java.util.concurrent.ScheduledThreadPoolExecutor$DelayedWorkQueue.take(ScheduledThreadPoolExecutor.java:1088)
 - at java.util.concurrent.ScheduledThreadPoolExecutor$DelayedWorkQueue.take(ScheduledThreadPoolExecutor.java:809)
 - at java.util.concurrent.ThreadPoolExecutor.getTask(ThreadPoolExecutor.java:1074)
 - at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1134)
 - at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
 - at java.lang.Thread.run(Thread.java:748)
 - "pool-1-thread-2" #9 prio=5 os_prio=0 tid=0x00007f3568103800 nid=0x7960 waiting on condition [0x00007f35456d0000]
 - java.lang.Thread.State: WAITING (parking)
 - at sun.misc.Unsafe.park(Native Method)
 - - parking to wait for <0x00000000f8a81148> (a java.util.concurrent.locks.AbstractQueuedSynchronizer$ConditionObject)
 - at java.util.concurrent.locks.LockSupport.park(LockSupport.java:175)
 - at java.util.concurrent.locks.AbstractQueuedSynchronizer$ConditionObject.await(AbstractQueuedSynchronizer.java:2039)
 - at java.util.concurrent.ScheduledThreadPoolExecutor$DelayedWorkQueue.take(ScheduledThreadPoolExecutor.java:1088)
 - at java.util.concurrent.ScheduledThreadPoolExecutor$DelayedWorkQueue.take(ScheduledThreadPoolExecutor.java:809)
 - at java.util.concurrent.ThreadPoolExecutor.getTask(ThreadPoolExecutor.java:1074)
 - at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1134)
 - at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
 - at java.lang.Thread.run(Thread.java:748)
 - "pool-1-thread-1" #8 prio=5 os_prio=0 tid=0x00007f3568102000 nid=0x795f waiting on condition [0x00007f35457d1000]
 - java.lang.Thread.State: WAITING (parking)
 - at sun.misc.Unsafe.park(Native Method)
 - - parking to wait for <0x00000000f8a81148> (a java.util.concurrent.locks.AbstractQueuedSynchronizer$ConditionObject)
 - at java.util.concurrent.locks.LockSupport.park(LockSupport.java:175)
 - at java.util.concurrent.locks.AbstractQueuedSynchronizer$ConditionObject.await(AbstractQueuedSynchronizer.java:2039)
 - at java.util.concurrent.ScheduledThreadPoolExecutor$DelayedWorkQueue.take(ScheduledThreadPoolExecutor.java:1088)
 - at java.util.concurrent.ScheduledThreadPoolExecutor$DelayedWorkQueue.take(ScheduledThreadPoolExecutor.java:809)
 - at java.util.concurrent.ThreadPoolExecutor.getTask(ThreadPoolExecutor.java:1074)
 - at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1134)
 - at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
 - at java.lang.Thread.run(Thread.java:748)
 - "Service Thread" #7 daemon prio=9 os_prio=0 tid=0x00007f35680b4000 nid=0x795d runnable [0x0000000000000000]
 - java.lang.Thread.State: RUNNABLE
 - "C1 CompilerThread1" #6 daemon prio=9 os_prio=0 tid=0x00007f35680b1000 nid=0x795c waiting on condition [0x0000000000000000]
 - java.lang.Thread.State: RUNNABLE
 - "C2 CompilerThread0" #5 daemon prio=9 os_prio=0 tid=0x00007f35680af000 nid=0x795b waiting on condition [0x0000000000000000]
 - java.lang.Thread.State: RUNNABLE
 - "Signal Dispatcher" #4 daemon prio=9 os_prio=0 tid=0x00007f35680ad800 nid=0x795a runnable [0x0000000000000000]
 - java.lang.Thread.State: RUNNABLE
 - "Finalizer" #3 daemon prio=8 os_prio=0 tid=0x00007f356807c800 nid=0x7959 in Object.wait() [0x00007f3558301000]
 - java.lang.Thread.State: WAITING (on object monitor)
 - at java.lang.Object.wait(Native Method)
 - - waiting on <0x00000000f8a86b38> (a java.lang.ref.ReferenceQueue$Lock)
 - at java.lang.ref.ReferenceQueue.remove(ReferenceQueue.java:144)
 - - locked <0x00000000f8a86b38> (a java.lang.ref.ReferenceQueue$Lock)
 - at java.lang.ref.ReferenceQueue.remove(ReferenceQueue.java:165)
 - at java.lang.ref.Finalizer$FinalizerThread.run(Finalizer.java:216)
 - "Reference Handler" #2 daemon prio=10 os_prio=0 tid=0x00007f3568077800 nid=0x7958 in Object.wait() [0x00007f3558402000]
 - java.lang.Thread.State: WAITING (on object monitor)
 - at java.lang.Object.wait(Native Method)
 - - waiting on <0x00000000f8a86cf0> (a java.lang.ref.Reference$Lock)
 - at java.lang.Object.wait(Object.java:502)
 - at java.lang.ref.Reference.tryHandlePending(Reference.java:191)
 - - locked <0x00000000f8a86cf0> (a java.lang.ref.Reference$Lock)
 - at java.lang.ref.Reference$ReferenceHandler.run(Reference.java:153)
 - "main" #1 prio=5 os_prio=0 tid=0x00007f3568009800 nid=0x7956 waiting on condition [0x00007f356ed59000]
 - java.lang.Thread.State: TIMED_WAITING (sleeping)
 - at java.lang.Thread.sleep(Native Method)
 - at FullGCTest.main(FullGCTest.java:35)
 - "VM Thread" os_prio=0 tid=0x00007f356806e000 nid=0x7957 runnable
 - "VM Periodic Task Thread" os_prio=0 tid=0x00007f35680b7000 nid=0x795e waiting on condition
 - JNI global references: 205
 
通過thread dump分析線程狀態(tài)
大多數(shù)情況下會基于thead dump 分析當(dāng)前各個線程的運行情況,如是否存在死鎖,是否存在一個線程長時間持有鎖不釋放等等
在dump中,線程一般存在如下幾種狀態(tài):1、RUNNABLE,線程處于執(zhí)行中 2、BLOCKED,線程被阻塞 3、WAITING,線程正在等待
- locked <0x000000076bf62208> 說明線程 對地址為0x000000076bf62208對象進行了加鎖;waiting to lock <0x000000076bf62208> 說明線程 在等待地址為0x000000076bf62208對象上的鎖;waiting for monitor entry [0x000000001e21f000]說明線程 是通過synchronized關(guān)鍵字進入了監(jiān)視器的臨界區(qū),并處于"Entry Set"隊列,等待monitor;waiting on <0x0000000088ca3310> (a java.lang.Object)等待鎖的釋放
 - 假如有一個進程中有100個線程,很多線程都在waiting on 某一把鎖,然后線程不該阻塞的被阻塞了,該結(jié)束的沒結(jié)束掉,一定要找到哪個線程持有這把鎖 ,我們可以搜索 jstack dump 的信息,找到 <0X...> 的信息,看哪個線程只有了這把鎖,一般這個線程狀態(tài)是RUNNABLE,表示這個線程正在運行但是一直持有這把鎖不釋放,那么就會導(dǎo)致整個線程的死鎖
 
7、jstack分析死鎖
- public class TestDeadLock {
 - private static Object obj1 = new Object();
 - private static Object obj2 = new Object();
 - public static void main(String[] args) {
 - new Thread(new Thread1()).start();
 - new Thread(new Thread2()).start();
 - }
 - private static class Thread1 implements Runnable {
 - @Override
 - public void run() {
 - synchronized (obj1) {
 - System.out.println("Thread1 拿到了 obj1 的鎖!");
 - try {// 停頓2秒的意義在于,讓Thread2線程拿到obj2的鎖
 - Thread.sleep(2000);
 - } catch (InterruptedException e) {
 - e.printStackTrace();
 - }
 - synchronized (obj2) {
 - System.out.println("Thread1 拿到了 obj2 的鎖!");
 - }
 - }
 - }
 - }
 - private static class Thread2 implements Runnable {
 - @Override
 - public void run() {
 - synchronized (obj2) {
 - System.out.println("Thread2 拿到了 obj2 的鎖!");
 - try {
 - // 停頓2秒的意義在于,讓Thread1線程拿到obj1的鎖
 - Thread.sleep(2000);
 - } catch (Exception e) {
 - e.printStackTrace();
 - }
 - synchronized (obj1) {
 - System.out.println("Thread2 拿到了obj1的鎖!");
 - }
 - }
 - }
 - }
 - }
 
通過命令查看分析日志
- [root@root fuccGC]# jps
 - 485 Bootstrap
 - 9877 Jps
 - 10629 QuorumPeerMain
 - 9846 TestDeadLock
 - [root@root fuccGC]# jstack 9846
 
內(nèi)存監(jiān)控工具的使用
我們可以使用jvm自帶的命令去進行監(jiān)控GC的信息: jinfo pid: 這個命令就是把這個進程的一些詳細信息列出來
- [root@root ~]# jinfo 9846
 
這個只是有幫助,但是幫助不是特別大,大家只要記住有這個命令就行,不做深入了解
jstat -gc pid 1000: 這個就是每一秒鐘將GC的日志打印出來,動態(tài) 觀察GC情況/閱讀GC日志發(fā)現(xiàn)頻繁GC等等,但是這個信息看起來不是很直觀,能夠分析出來的東西也不多,所以一般使用的也不是很多
我們用的最多的還是通過工具去查看,比如 jconsole/jvisualvm
1、 jconsole
這兩個是JDK自帶的一個工具,也是 一個圖形界面的工具,只要你裝了JDK就有這兩個工具,可以從本機去跟蹤遠程服務(wù)器上的一個進程,作為Linux服務(wù)器,很少有人會裝圖形界面,如下圖所示:
在我們程序啟動的時候要加入?yún)?shù):
- java -Djava.rmi.server.hostname=101.XX.XXX.XX -Dcom.sun.management.jmxremote -Dcom.sun.management.jmxremote.port=8080 -Dcom.sun.management.jmxremote.ssl=false -Dcom.sun.management.jmxremote.authenticate=false -Dcom.sun.management.jmxremote.rmi.port=8080 FullGCTes
 
基本情況如下,我們就可以監(jiān)控到我們遠程服務(wù)器上面的內(nèi)存信息
2、 jvisualvm
雙擊 jvisualvm
選擇遠程-點擊文件按鈕
選擇添加JMX連接
輸入我們的地址和賬號密碼就可以登錄了
這樣就可以查看我們遠程服務(wù)的內(nèi)存信息了
在這里我們就知道怎么定位問題了,哪一個類占用了多少內(nèi)存,就會顯示出來,點擊抽樣器,內(nèi)存,之后就會對遠程的那臺機器的JAVA進程內(nèi)存,在圖形化界面中顯示,有多少個類,占用了多少個字節(jié),這樣我們就可以具體定位到是哪個類有問題了
面試中如何回答定位內(nèi)存溢出(OOM)
如果面試官我們?nèi)绾味ㄎ籓OM的問題,但是我們不能回答用圖形界面,因為作為一個服務(wù)來講,在不斷的運行,當(dāng)我們開一個JMX服務(wù)的時候,會形象服務(wù)本來的運行效率,那我們已經(jīng)上線的系統(tǒng)不用圖形化用什么?還有一個叫Jprofiler是最好用的圖形界面,但是這個是收費的,所以一般用不到,
如果不用圖形界面那我們用什么,我們可以用 cmdline、arthas這兩個 圖形界面用在什么地方呢?用在測試上,測試的時候進行監(jiān)控~
如果已經(jīng)上線的項目,我們不用圖形界面可以用什么呢?我們可以用Jmap
jmap
- [root@root~]#jmap-histo19086|head-20
 
它就會把我們的內(nèi)存信息打印出來,雖然沒有圖形化界面方便,但是里面的信息也足夠我們?nèi)ビ^察和定位問題了
線上系統(tǒng),內(nèi)存特別大,jmap執(zhí)行期間會對進程產(chǎn)生很大影響,甚至卡頓(電商不適合)
- 設(shè)定了參數(shù)HeapDump,OOM的時候會自動產(chǎn)生堆轉(zhuǎn)儲文件( java-Xms20M-Xmx20M-XX:+UseParallelGC-XX:+HeapDumpOnOutOfMemoryErrorFullGCTest)
 - 很多服務(wù)器備份(高可用),停掉這臺服務(wù)器對其他服務(wù)器不影響
 - 下期講解,哈哈哈
 





































 
 
 




 
 
 
 