在數字化和智能化快速發(fā)展的今天，對象存儲以其高擴展性和低成本優(yōu)勢，成為海量數據存儲的首選方案。然而，隨著大數據分析、AIGC（人工智能生成內容）等涉及海量數據計算的場景快速發(fā)展，對象存儲面臨著嚴重的性能挑戰(zhàn)。

為了應對挑戰(zhàn)，騰訊云存儲團隊推出了基于對象存儲搭建的分布式高性能文件系統(tǒng)GooseFS。在NAS2024大會上，騰訊云存儲團隊提交的《GooseFS:分布式緩存服務以提高云對象存儲性能》論文成功入選會議論文，充分展現了騰訊云在對象存儲領域的技術創(chuàng)新實力。

AIGC等應用場景下，對象存儲面臨諸多挑戰(zhàn)

雖然對象存儲具備高擴展性和低成本等優(yōu)勢，能夠承載TB級別甚至PB級別的數據量，滿足了海量數據存儲的需求，但是隨著大數據分析、AIGC等場景的快速發(fā)展，對象存儲也面臨著嚴重的性能挑戰(zhàn)。

在騰訊云數據湖存儲GooseFS負責人程力看來，在AIGC等場景下，對象存儲主要面臨時延高、吞吐低、元數據操作慢三大主要挑戰(zhàn)。

首先，對象存儲的數據組織和實現方式導致其時延較高，無法滿足對低時延要求較高的應用場景。

其次，對象存儲的存儲介質性能不足，限制了其吞吐能力的提升，難以滿足大數據分析和AIGC等場景下的高吞吐需求。

最后，對象存儲的元數據操作性能表現一般，影響了數據訪問的效率和準確性。

騰訊云存儲產品總經理陳崢表示，性能問題嚴重限制了對象存儲在大數據分析和AIGC等場景下的應用，亟需一種高效的技術方案來解決這些問題。為此，騰訊云存儲團隊基于對象存儲研發(fā)了一套分布式緩存架構，這個架構支持計算端的緩存技術、 Storage-Side存儲端的緩存技術和元數據操作的加速技術，這也就是GooseFS的整體技術框架。

三個關鍵設計，加速對象存儲數據訪問

在GooseFS中，引入了三個關鍵設計，來實現在存算分離架構下對對象存儲的加速訪問。

一是計算端緩存加速。在計算端，GooseFS將離計算資源更近的本地盤作為緩存介質存放部分對象存儲數據，實現計算對數據的就近訪問，降低延遲。同時，通過多級粒度緩存管理和短路讀機制，GooseFS降低了隨機小IO下的數據訪問時延。

程力表示， GooseFS支持多種存儲粒度的緩存管理，如4K、8K、16K、64K等。不同存儲粒度的數據在緩存中的表現不同，通過多級粒度緩存管理，可以更有效地利用緩存空間，提高緩存命中率。此外，GooseFS還支持短路讀機制，當計算節(jié)點需要讀取數據時，GooseFS會優(yōu)先從本地緩存中讀取。如果本地緩存中沒有所需數據，再從對象存儲中拉取。這種機制減少了網絡傳輸的開銷，提高了數據讀取的效率。

二是存儲端緩存加速。在存儲端，GooseFS構建了高性能SSD緩存池，為計算節(jié)點提供存儲端的緩存支持。這解決了對象存儲介質性能不足的問題，提高了面對順序IO時的吞吐率。據介紹，GooseFS利用高性能SSD構建緩存池，提供高速的數據讀寫能力。當計算節(jié)點需要寫入數據時，可以先將數據寫入SSD緩存池，再由緩存池異步寫入對象存儲。這種機制提高了數據寫入的效率，減少了對象存儲的壓力。

三是元數據加速。GooseFS自研了一套高性能元數據引擎，通過元數據分級管理、強一致性緩存和平行擴展等技術手段來提升元數據讀寫性能。同時，將元數據持久化到底層的企業(yè)級數據庫中，以此大幅提升了元數據處理的效率。

實驗結果表明，相比原生對象存儲，GooseFS的吞吐量提升了8~10倍，同時降低了90%的存儲帶寬消耗，滿足了多種工作負載對高性能要求。

據程力介紹，在AIGC場景中，模型訓練需要處理大量的數據，對存儲的性能要求較高。GooseFS通過加速數據訪問，提高了模型訓練的效率和準確性，降低了訓練成本。在大數據分析場景中，需要對海量數據進行處理和分析。GooseFS通過提高存儲吞吐量和降低時延，加速了數據分析的速度，提升了數據處理的效率和質量。

除此之外，在智能推薦場景中，需要根據用戶的行為和興趣進行實時推薦。GooseFS通過加速數據訪問和元數據操作，提高了推薦系統(tǒng)的響應速度和準確性，提升了用戶體驗。

目前，GooseFS已經服務了蔚來、博世、百川、高途、燃數、酷狗等一大批客戶，在多個應用場景中展現了其卓越的性能優(yōu)勢。

多項創(chuàng)新技術加持，攜手業(yè)界共同推動對象存儲發(fā)展

GooseFS的技術創(chuàng)新不僅體現在其卓越的性能優(yōu)勢上，還體現在其靈活部署、高可用性和強一致性等方面。

1）靈活部署：GooseFS支持靈活部署，可以根據業(yè)務需求動態(tài)調整緩存容量和節(jié)點數量。同時，GooseFS支持多種存儲介質和操作系統(tǒng)，具有廣泛的適用性和兼容性。

2）高可用性：GooseFS通過利用Raft協(xié)議和企業(yè)級數據庫進行元數據持久化存儲，保證了系統(tǒng)的高可用性。即使在某些節(jié)點出現故障時，也能快速恢復數據訪問能力，保證業(yè)務的連續(xù)性和穩(wěn)定性。

3）強一致性：GooseFS的讀寫操作都是強一致的，即寫入后的數據可以立即被讀取到。這保證了數據訪問的準確性和可靠性，避免了數據不一致帶來的潛在風險。

從業(yè)界發(fā)展來看，GooseFS的技術方案已經得到了廣泛的認可和關注。除了騰訊云之外，阿里、火山引擎等廠商也在積極研發(fā)類似的緩存+高性能文件系統(tǒng)方案。同時，一些開源廠商和初創(chuàng)企業(yè)也在該領域進行探索和創(chuàng)新。在多方的共同努力下，對象存儲技術的發(fā)展也有了巨大的進步。

寫在最后：

作為創(chuàng)新技術， GooseFS通過引入計算端緩存加速、存儲端緩存加速和元數據加速等關鍵設計，實現了對對象存儲的加速訪問。實驗結果表明，相比原生對象存儲，GooseFS的吞吐量提升了8~10倍，同時降低了90%的存儲帶寬消耗。目前， GooseFS已經服務了多家知名企業(yè)，在AIGC、大數據分析和智能推薦等應用場景中展現了其卓越的性能優(yōu)勢。

不難發(fā)現，隨著未來數字化和智能化的不斷深入發(fā)展，對象存儲將面臨更多的挑戰(zhàn)和機遇。騰訊云存儲團隊將繼續(xù)致力于技術創(chuàng)新和產品研發(fā)，為用戶提供更加高效、可靠和智能的存儲解決方案。同時，騰訊云存儲也將積極與業(yè)界合作伙伴進行交流和合作，共同推動對象存儲技術的發(fā)展和進步。