在數(shù)字化和智能化快速發(fā)展的今天，對象存儲以其高擴展性和低成本優(yōu)勢，成為海量數(shù)據(jù)存儲的首選方案。然而，隨著大數(shù)據(jù)分析、AIGC（人工智能生成內(nèi)容）等涉及海量數(shù)據(jù)計算的場景快速發(fā)展，對象存儲面臨著嚴重的性能挑戰(zhàn)。

為了應(yīng)對挑戰(zhàn)，騰訊云存儲團隊推出了基于對象存儲搭建的分布式高性能文件系統(tǒng)GooseFS。在NAS2024大會上，騰訊云存儲團隊提交的《GooseFS:分布式緩存服務(wù)以提高云對象存儲性能》論文成功入選會議論文，充分展現(xiàn)了騰訊云在對象存儲領(lǐng)域的技術(shù)創(chuàng)新實力。

AIGC等應(yīng)用場景下，對象存儲面臨諸多挑戰(zhàn)

雖然對象存儲具備高擴展性和低成本等優(yōu)勢，能夠承載TB級別甚至PB級別的數(shù)據(jù)量，滿足了海量數(shù)據(jù)存儲的需求，但是隨著大數(shù)據(jù)分析、AIGC等場景的快速發(fā)展，對象存儲也面臨著嚴重的性能挑戰(zhàn)。

在騰訊云數(shù)據(jù)湖存儲GooseFS負責(zé)人程力看來，在AIGC等場景下，對象存儲主要面臨時延高、吞吐低、元數(shù)據(jù)操作慢三大主要挑戰(zhàn)。

首先，對象存儲的數(shù)據(jù)組織和實現(xiàn)方式導(dǎo)致其時延較高，無法滿足對低時延要求較高的應(yīng)用場景。

其次，對象存儲的存儲介質(zhì)性能不足，限制了其吞吐能力的提升，難以滿足大數(shù)據(jù)分析和AIGC等場景下的高吞吐需求。

最后，對象存儲的元數(shù)據(jù)操作性能表現(xiàn)一般，影響了數(shù)據(jù)訪問的效率和準確性。

騰訊云存儲產(chǎn)品總經(jīng)理陳崢表示，性能問題嚴重限制了對象存儲在大數(shù)據(jù)分析和AIGC等場景下的應(yīng)用，亟需一種高效的技術(shù)方案來解決這些問題。為此，騰訊云存儲團隊基于對象存儲研發(fā)了一套分布式緩存架構(gòu)，這個架構(gòu)支持計算端的緩存技術(shù)、 Storage-Side存儲端的緩存技術(shù)和元數(shù)據(jù)操作的加速技術(shù)，這也就是GooseFS的整體技術(shù)框架。

三個關(guān)鍵設(shè)計，加速對象存儲數(shù)據(jù)訪問

在GooseFS中，引入了三個關(guān)鍵設(shè)計，來實現(xiàn)在存算分離架構(gòu)下對對象存儲的加速訪問。

一是計算端緩存加速。在計算端，GooseFS將離計算資源更近的本地盤作為緩存介質(zhì)存放部分對象存儲數(shù)據(jù)，實現(xiàn)計算對數(shù)據(jù)的就近訪問，降低延遲。同時，通過多級粒度緩存管理和短路讀機制，GooseFS降低了隨機小IO下的數(shù)據(jù)訪問時延。

程力表示， GooseFS支持多種存儲粒度的緩存管理，如4K、8K、16K、64K等。不同存儲粒度的數(shù)據(jù)在緩存中的表現(xiàn)不同，通過多級粒度緩存管理，可以更有效地利用緩存空間，提高緩存命中率。此外，GooseFS還支持短路讀機制，當計算節(jié)點需要讀取數(shù)據(jù)時，GooseFS會優(yōu)先從本地緩存中讀取。如果本地緩存中沒有所需數(shù)據(jù)，再從對象存儲中拉取。這種機制減少了網(wǎng)絡(luò)傳輸?shù)拈_銷，提高了數(shù)據(jù)讀取的效率。

二是存儲端緩存加速。在存儲端，GooseFS構(gòu)建了高性能SSD緩存池，為計算節(jié)點提供存儲端的緩存支持。這解決了對象存儲介質(zhì)性能不足的問題，提高了面對順序IO時的吞吐率。據(jù)介紹，GooseFS利用高性能SSD構(gòu)建緩存池，提供高速的數(shù)據(jù)讀寫能力。當計算節(jié)點需要寫入數(shù)據(jù)時，可以先將數(shù)據(jù)寫入SSD緩存池，再由緩存池異步寫入對象存儲。這種機制提高了數(shù)據(jù)寫入的效率，減少了對象存儲的壓力。

三是元數(shù)據(jù)加速。GooseFS自研了一套高性能元數(shù)據(jù)引擎，通過元數(shù)據(jù)分級管理、強一致性緩存和平行擴展等技術(shù)手段來提升元數(shù)據(jù)讀寫性能。同時，將元數(shù)據(jù)持久化到底層的企業(yè)級數(shù)據(jù)庫中，以此大幅提升了元數(shù)據(jù)處理的效率。

實驗結(jié)果表明，相比原生對象存儲，GooseFS的吞吐量提升了8~10倍，同時降低了90%的存儲帶寬消耗，滿足了多種工作負載對高性能要求。

據(jù)程力介紹，在AIGC場景中，模型訓(xùn)練需要處理大量的數(shù)據(jù)，對存儲的性能要求較高。GooseFS通過加速數(shù)據(jù)訪問，提高了模型訓(xùn)練的效率和準確性，降低了訓(xùn)練成本。在大數(shù)據(jù)分析場景中，需要對海量數(shù)據(jù)進行處理和分析。GooseFS通過提高存儲吞吐量和降低時延，加速了數(shù)據(jù)分析的速度，提升了數(shù)據(jù)處理的效率和質(zhì)量。

除此之外，在智能推薦場景中，需要根據(jù)用戶的行為和興趣進行實時推薦。GooseFS通過加速數(shù)據(jù)訪問和元數(shù)據(jù)操作，提高了推薦系統(tǒng)的響應(yīng)速度和準確性，提升了用戶體驗。

目前，GooseFS已經(jīng)服務(wù)了蔚來、博世、百川、高途、燃數(shù)、酷狗等一大批客戶，在多個應(yīng)用場景中展現(xiàn)了其卓越的性能優(yōu)勢。

多項創(chuàng)新技術(shù)加持，攜手業(yè)界共同推動對象存儲發(fā)展

GooseFS的技術(shù)創(chuàng)新不僅體現(xiàn)在其卓越的性能優(yōu)勢上，還體現(xiàn)在其靈活部署、高可用性和強一致性等方面。

1）靈活部署：GooseFS支持靈活部署，可以根據(jù)業(yè)務(wù)需求動態(tài)調(diào)整緩存容量和節(jié)點數(shù)量。同時，GooseFS支持多種存儲介質(zhì)和操作系統(tǒng)，具有廣泛的適用性和兼容性。

2）高可用性：GooseFS通過利用Raft協(xié)議和企業(yè)級數(shù)據(jù)庫進行元數(shù)據(jù)持久化存儲，保證了系統(tǒng)的高可用性。即使在某些節(jié)點出現(xiàn)故障時，也能快速恢復(fù)數(shù)據(jù)訪問能力，保證業(yè)務(wù)的連續(xù)性和穩(wěn)定性。

3）強一致性：GooseFS的讀寫操作都是強一致的，即寫入后的數(shù)據(jù)可以立即被讀取到。這保證了數(shù)據(jù)訪問的準確性和可靠性，避免了數(shù)據(jù)不一致帶來的潛在風(fēng)險。

從業(yè)界發(fā)展來看，GooseFS的技術(shù)方案已經(jīng)得到了廣泛的認可和關(guān)注。除了騰訊云之外，阿里、火山引擎等廠商也在積極研發(fā)類似的緩存+高性能文件系統(tǒng)方案。同時，一些開源廠商和初創(chuàng)企業(yè)也在該領(lǐng)域進行探索和創(chuàng)新。在多方的共同努力下，對象存儲技術(shù)的發(fā)展也有了巨大的進步。

寫在最后：

作為創(chuàng)新技術(shù)， GooseFS通過引入計算端緩存加速、存儲端緩存加速和元數(shù)據(jù)加速等關(guān)鍵設(shè)計，實現(xiàn)了對對象存儲的加速訪問。實驗結(jié)果表明，相比原生對象存儲，GooseFS的吞吐量提升了8~10倍，同時降低了90%的存儲帶寬消耗。目前， GooseFS已經(jīng)服務(wù)了多家知名企業(yè)，在AIGC、大數(shù)據(jù)分析和智能推薦等應(yīng)用場景中展現(xiàn)了其卓越的性能優(yōu)勢。

不難發(fā)現(xiàn)，隨著未來數(shù)字化和智能化的不斷深入發(fā)展，對象存儲將面臨更多的挑戰(zhàn)和機遇。騰訊云存儲團隊將繼續(xù)致力于技術(shù)創(chuàng)新和產(chǎn)品研發(fā)，為用戶提供更加高效、可靠和智能的存儲解決方案。同時，騰訊云存儲也將積極與業(yè)界合作伙伴進行交流和合作，共同推動對象存儲技術(shù)的發(fā)展和進步。