Java 21 神仙特性:虛擬線程使用指南
虛擬線程是由 Java 21 版本中實(shí)現(xiàn)的一種輕量級(jí)線程。它由 JVM 進(jìn)行創(chuàng)建以及管理。虛擬線程和傳統(tǒng)線程(我們稱之為平臺(tái)線程)之間的主要區(qū)別在于,我們可以輕松地在一個(gè) Java 程序中運(yùn)行大量、甚至數(shù)百萬(wàn)個(gè)虛擬線程。
由于虛擬線程的數(shù)量眾多,也就賦予了 Java 程序強(qiáng)大的力量。虛擬線程適合用來(lái)處理大量請(qǐng)求,它們可以更有效地運(yùn)行 “一個(gè)請(qǐng)求一個(gè)線程” 模型編寫的 web 應(yīng)用程序,可以提高吞吐量以及減少硬件浪費(fèi)。
由于虛擬線程是 java.lang.Thread 的實(shí)現(xiàn),并且遵守自 Java SE 1.0 以來(lái)指定 java.lang.Thread 的相同規(guī)則,因此開發(fā)人員無(wú)需學(xué)習(xí)新概念即可使用它們。
但是虛擬線程才剛出來(lái),對(duì)我們來(lái)說(shuō)有一些陌生。由于 Java 歷來(lái)版本中無(wú)法生成大量平臺(tái)線程(多年來(lái) Java 中唯一可用的線程實(shí)現(xiàn)),已經(jīng)讓程序員養(yǎng)成了一套關(guān)于平臺(tái)線程的使用習(xí)慣。這些習(xí)慣做法在應(yīng)用于虛擬線程時(shí)會(huì)適得其反,我們需要摒棄。
此外虛擬線程和平臺(tái)線程在創(chuàng)建成本上的巨大差異,也提供了一種新的關(guān)于線程使用的方式。Java 的設(shè)計(jì)者鼓勵(lì)使用虛擬線程而不必?fù)?dān)心虛擬線程的創(chuàng)建成本。
本文無(wú)意全面涵蓋虛擬線程的每個(gè)重要細(xì)節(jié),目的只是提供一套介紹性指南,以幫助那些希望開始使用虛擬線程的人充分利用它們。
關(guān)于更多有關(guān)虛擬線程和平臺(tái)線程的介紹,大家可以看我《3 分鐘理解 Java 虛擬線程》這篇文章有詳細(xì)講解。
本文完整大綱如下,
圖片
請(qǐng)大方使用同步阻塞 IO
虛擬線程可以顯著提高以 “一個(gè)請(qǐng)求一個(gè)線程” 模型編寫的 web 應(yīng)用程序的吞吐量(注意不是延遲)。在這種模型中,web 應(yīng)用程序針對(duì)每個(gè)客戶端請(qǐng)求都會(huì)創(chuàng)建一個(gè)線程進(jìn)行處理。因此為了處理更多的客戶端請(qǐng)求,我們需要?jiǎng)?chuàng)建更多的線程。
在 “一個(gè)請(qǐng)求一個(gè)線程” 模型中使用平臺(tái)線程的成本很高,因?yàn)槠脚_(tái)線程與操作系統(tǒng)線程對(duì)應(yīng)(操作系統(tǒng)線程是一種相對(duì)稀缺的資源),阻塞了平臺(tái)線程,會(huì)讓它無(wú)事可做一直處于阻塞中,這樣就會(huì)造成很大的資源浪費(fèi)。
然而,在這個(gè)模型中使用虛擬線程就很合適,因?yàn)樘摂M線程非常廉價(jià)就算被阻塞也不會(huì)造成資源浪費(fèi)。因此在虛擬線程出來(lái)后,Java 的設(shè)計(jì)者是建議我們應(yīng)該以簡(jiǎn)單的同步風(fēng)格編寫代碼并使用阻塞 IO。
舉個(gè)例子,以下用非阻塞異步風(fēng)格編寫的代碼是不會(huì)從虛擬線程中受益太多的,
CompletableFuture.supplyAsync(info::getUrl, pool)
.thenCompose(url -> getBodyAsync(url, HttpResponse.BodyHandlers.ofString()))
.thenApply(info::findImage)
.thenCompose(url -> getBodyAsync(url, HttpResponse.BodyHandlers.ofByteArray()))
.thenApply(info::setImageData)
.thenAccept(this::process)
.exceptionally(t -> { t.printStackTrace(); return null; });
另一方面,以下用同步風(fēng)格并使用阻塞 IO 編寫的代碼使用虛擬線程將受益匪淺,
try {
String page = getBody(info.getUrl(), HttpResponse.BodyHandlers.ofString());
String imageUrl = info.findImage(page);
byte[] data = getBody(imageUrl, HttpResponse.BodyHandlers.ofByteArray());
info.setImageData(data);
process(info);
} catch (Exception ex) {
t.printStackTrace();
}
并且上面的同步代碼也更容易在調(diào)試器中調(diào)試、在分析器中分析或通過(guò)線程轉(zhuǎn)儲(chǔ)進(jìn)行觀察。要觀察虛擬線程,可以使用 jcmd 命令創(chuàng)建線程轉(zhuǎn)儲(chǔ),
jcmd <pid> Thread.dump_to_file -format=json <file>
用同步風(fēng)格并使用阻塞 IO 風(fēng)格編寫的代碼越多,虛擬線程的性能和可觀察性就越好。而用異步非阻塞 IO 風(fēng)格編寫的程序或框架,如果每個(gè)任務(wù)沒有專用一個(gè)線程,則無(wú)法從虛擬線程中獲得顯著的好處。
使用虛擬線程,我們因該避免將同步阻塞 IO 與異步非阻塞 IO 混為一談。
避免池化虛擬線程
關(guān)于虛擬線程使用方面最難理解的一件事情就是,我們不應(yīng)該池化虛擬線程。雖然虛擬線程具有與平臺(tái)線程相同的行為,但虛擬線程和線程池其實(shí)是兩種概念。
平臺(tái)線程是一種稀缺資源,因?yàn)樗軐氋F。越寶貴的資源就越需要管理,管理平臺(tái)線程最常見的方法是使用線程池。
不過(guò)在使用線程池后,我們需要回答的一個(gè)問(wèn)題,線程池中應(yīng)該有多少個(gè)線程?最小線程數(shù)、最大線程數(shù)應(yīng)該設(shè)置多少?這也是一個(gè)問(wèn)題。
虛擬線程是一種非常廉價(jià)的資源,每個(gè)虛擬線程不應(yīng)代表某些共享的、池化的資源,而應(yīng)代表單一任務(wù)。在應(yīng)用程序中,我們應(yīng)該直接使用虛擬線程而不是通過(guò)線程池使用它。
那么我們應(yīng)該創(chuàng)建多少個(gè)虛擬線程嘞?答案是不必在乎虛擬線程的數(shù)量,我們有多少個(gè)并發(fā)任務(wù)就可以有多少個(gè)虛擬線程。
如下是一段提交任務(wù)的代碼,將每個(gè)任務(wù)都提交到線程池中執(zhí)行,在 Java 21 以后,不建議再使用共享線程池執(zhí)行器,代碼如下,
Future<ResultA> f1 = sharedThreadPoolExecutor.submit(task1);
Future<ResultB> f2 = sharedThreadPoolExecutor.submit(task2);
// ... use futures
建議使用虛擬線程執(zhí)行器,代碼如下,
try (var executor = Executors.newVirtualThreadPerTaskExecutor()) {
Future<ResultA> f1 = executor.submit(task1);
Future<ResultB> f2 = executor.submit(task2);
// ... use futures
}
上面代碼雖然仍使用 ExecutorService,但從 Executors.newVirtualThreadPerTaskExecutor() 方法返回的執(zhí)行器不再使用線程池。它會(huì)為每個(gè)提交的任務(wù)都創(chuàng)建一個(gè)新的虛擬線程。
此外,ExecutorService 本身是輕量級(jí)的,我們可以像創(chuàng)建任何簡(jiǎn)單對(duì)象一樣直接創(chuàng)建一個(gè)新的 ExecutorService 對(duì)象而不必考慮復(fù)用。
這使我們能夠依賴 Java 19 中新添加的 ExecutorService.close() 方法和 try-with-resources 語(yǔ)法糖。在 try 塊末尾隱式調(diào)用 ExecutorService.close() 方法,會(huì)自動(dòng)等待提交給 ExecutorService 的所有任務(wù)(即 ExecutorService 生成的所有虛擬線程)終止。
對(duì)于廣播場(chǎng)景來(lái)說(shuō),使用 Executors.newVirtualThreadPerTaskExecutor() 比較合適,在這種場(chǎng)景中,希望同時(shí)對(duì)不同的服務(wù)執(zhí)行多個(gè)傳出調(diào)用,并且方法結(jié)束時(shí)就關(guān)閉線程池,代碼如下,
void handle(Request request, Response response) {
var url1 = ...
var url2 = ...
try (var executor = Executors.newVirtualThreadPerTaskExecutor()) {
var future1 = executor.submit(() -> fetchURL(url1));
var future2 = executor.submit(() -> fetchURL(url2));
response.send(future1.get() + future2.get());
} catch (ExecutionException | InterruptedException e) {
response.fail(e);
}
}
String fetchURL(URL url) throws IOException {
try (var in = url.openStream()) {
return new String(in.readAllBytes(), StandardCharsets.UTF_8);
}
}
針對(duì)廣播模式和其他常見的并發(fā)模式,如果希望有更好的可觀察性,建議使用結(jié)構(gòu)化并發(fā)。這是 Java 21 中新出的特性,這里給大家賣個(gè)關(guān)子,我將在后續(xù)進(jìn)行講解。
根據(jù)經(jīng)驗(yàn)來(lái)說(shuō),如果我們的應(yīng)用程序從未經(jīng)歷 1 萬(wàn)的并發(fā)訪問(wèn),那么它不太可能從虛擬線程中受益。一方面它負(fù)載太輕而不需要更高的吞吐量,一方面并發(fā)請(qǐng)求任務(wù)也不夠多。