數(shù)據(jù)世界正在浮出水面的三大新標(biāo)準(zhǔn)：Postgres、Open Telemetry，以及 Iceberg。

Postgres[1] 基本已經(jīng)是事實(shí)標(biāo)準(zhǔn)；OTel[2] 和 Iceberg[3] 尚在成長(zhǎng)， 但它們具備當(dāng)年讓 Postgres 走紅的同樣配方。常有人問我：“為什么最后是 Postgres 贏了？” 標(biāo)準(zhǔn)答案是“可擴(kuò)展性” —— 對(duì)，但不完整。

除了產(chǎn)品本身優(yōu)秀，Postgres 還踩中了開源生態(tài)爆點(diǎn) —— 關(guān)鍵在于“開源的姿勢(shì)”本身。

開源的三個(gè)信條

我逐漸悟到，開發(fā)者判斷一個(gè)項(xiàng)目“開源味”濃不濃，大致看三點(diǎn)：

1.許可證：是否為 OSI 核準(zhǔn)[4] 的開源協(xié)議。2.自托管：能否把完整產(chǎn)品端到端地自己部署。3.商業(yè)化：有沒有商業(yè)中立、無廠商綁架；更妙的是，有 多家 公司背書而非一家獨(dú)大。

第三點(diǎn)我領(lǐng)悟得最慢 —— 是的，Postgres 贏在產(chǎn)品力，但更贏在 “誰(shuí)也控不住” 。 治理結(jié)構(gòu)與社區(qū)文化決定了它不可能被任何公司收編。它就像國(guó)際空間站，多家公司只能合作，因?yàn)檎l(shuí)都沒本事說 “這就是我的”。

Postgres 點(diǎn)滿了 “開源” 技能點(diǎn)，但它也并非在所有數(shù)據(jù)場(chǎng)景里都是銀彈。

三類數(shù)據(jù)角色

數(shù)據(jù)領(lǐng)域里主要有三種 “操盤手” 及其趁手工具：

1.OLTP 數(shù)據(jù)庫(kù)：開發(fā)者 寫應(yīng)用用。2.遙測(cè) / 觀測(cè)：SRE 運(yùn)維基建、調(diào)優(yōu)應(yīng)用用。3.OLAP / 數(shù)倉(cāng)：數(shù)據(jù)工程師 / 科學(xué)家 挖掘洞見用。

數(shù)據(jù)生命周期通常是 1 → 2 → 3：先有應(yīng)用，再加點(diǎn)基礎(chǔ)遙測(cè)（很多時(shí)候直接塞進(jìn) OLTP 系統(tǒng)），等表長(zhǎng)到塞不下，就得上數(shù)倉(cāng)了。

三類角色各玩各的，但行業(yè)正整體“左移”：工具越發(fā)友好，觀測(cè)與數(shù)倉(cāng)也慢慢被開發(fā)者收編。SRE 和數(shù)據(jù)崗并非故意讓賢，只是數(shù)據(jù)庫(kù)本身越來越能打，創(chuàng)業(yè)團(tuán)隊(duì)能撐更久再招專家。

三大開放數(shù)據(jù)標(biāo)準(zhǔn)

圍繞以上三大場(chǎng)景，正冒出三套滿足同樣開源三信條的開放標(biāo)準(zhǔn)：

1.OLTP： PostgreSQL2.遙測(cè)： Open Telemetry3.OLAP： Iceberg

后兩者更像“標(biāo)準(zhǔn)”而非“工具”，類似 HTML 與瀏覽器：大家約好格式，其他工具要么跟進(jìn)要么淘汰。

圖片

標(biāo)準(zhǔn)往往草根起家，商業(yè)公司則陷入經(jīng)典的 顛覆式創(chuàng)新[5] 兩難：

?不跟？潮流跑了，錯(cuò)過增長(zhǎng)趨勢(shì)。?跟了？自家產(chǎn)品鎖定度變低。

對(duì)開發(fā)者而言，這簡(jiǎn)直不能更香了 —— 我們堅(jiān)信[6]：可遷移性會(huì)逼著廠商拼體驗(yàn)。

下面逐一展開深入探討。

Postgres：開放式 OLTP 標(biāo)準(zhǔn)

Postgres 雖是一款數(shù)據(jù)庫(kù)，卻已成 “標(biāo)準(zhǔn)接口”。 幾乎所有新數(shù)據(jù)庫(kù)都宣稱“兼容 Postgres wire 協(xié)議[7]”。 因?yàn)檎l(shuí)也管不了 Postgres，各大云廠商要么主動(dòng)，要么被用戶倒逼著上架 Postgres —— 連 Oracle Cloud 都供著。 體驗(yàn)差？一句 pg_dump 走人。Postgres 用 PostgreSQL License[8] —— 功能上和 MIT 相當(dāng)。

OTel：開放式遙測(cè)標(biāo)準(zhǔn)

“open telemetry” 的名字是字面含義：開放遙測(cè)。OTel[9] 仍年輕且頗為復(fù)雜[10]，但契合開源三信條：Apache 2.0，廠商中立。 正如云廠商擁抱 Postgres，主流觀測(cè)平臺(tái)也在集體投 OTel，包括 Datadog[11]、Honeycomb[12]、Grafana Labs[13] 與 Elastic[14]。 想自托管？可選 SigNoz[15]、OpenObserve[16]，再不濟(jì)用官方 OTel 工具集[17]。

Iceberg：開放式 OLAP 標(biāo)準(zhǔn)

開放表格式[18] 算是新賽道：大家約定目錄+元數(shù)據(jù)格式，任何計(jì)算引擎都能查詢。 雖有 DeltaLake[19]、Hudi[20] 等對(duì)手，但目前 Iceberg[21] 已然領(lǐng)跑。

各大數(shù)倉(cāng)陸續(xù)“投靠” Iceberg：包括 Databricks[22]、Snowflake[23] 和 ClickHouse[24]。 最關(guān)鍵的商業(yè)推手是 AWS —— 2024 年底官宣 S3 Tables[25]，在 S3 上提供開箱即用的 Iceberg。

S3：終極數(shù)據(jù)基礎(chǔ)設(shè)施

對(duì)象存儲(chǔ)很便宜，已成三大標(biāo)準(zhǔn)的基石。今天凡是數(shù)據(jù)工具，不是原生 S3 就是兼容 S3。

AWS S3 團(tuán)隊(duì)連環(huán)上新，把 “S3 當(dāng)數(shù)據(jù)庫(kù)” 的幻想推向現(xiàn)實(shí)。諸如 Conditional Writes[26] 和 S3 Express[27] —— 速度比普通 S3 快 10 倍，最近還 逆天降價(jià) 85%[28]。

圖片

不同場(chǎng)景對(duì) S3 的姿勢(shì)略有差異：

?OLTP：性能要命，S3 與 NVMe 永遠(yuǎn)隔著物理網(wǎng)線。因此重點(diǎn)是 Zero ETL & 分層存儲(chǔ)：冷熱數(shù)據(jù)自由搬遷。Postgres 現(xiàn)有多種讀 Iceberg 的方式，如 pg_mooncake[29]、pg_duckdb[30] 及 Iceberg FDW[31]。?遙測(cè) / 數(shù)倉(cāng)：關(guān)鍵字是“基數(shù)”。S3 越便宜，大家越把海量數(shù)據(jù)往里倒，催生“存算分離”的架構(gòu)。于是出現(xiàn)一堆以計(jì)算層自居的嵌入式數(shù)據(jù)庫(kù)：如 DuckDB[32]（OLAP）、SQLite 的云后端存儲(chǔ)[33]、turbopuffer[34]（向量）、SlateDB[35]（KV）、Tonbo[36]（Arrow）。它們既可嵌入應(yīng)用，也能單飛。

Supabase 的數(shù)據(jù)藍(lán)圖

大家知道 Supabase 是 Postgres 服務(wù)商，我們花了 5 年打造讓開發(fā)者舒爽的數(shù)據(jù)庫(kù)平臺(tái)，這仍是主航道。

不同的是，我們不止做 Postgres（雖然梗圖[37]挺火）。我們還提供 Supabase Storage[38]，一套兼容 S3 的對(duì)象存儲(chǔ)。未來，Supabase 聚焦的不是“一個(gè)數(shù)據(jù)庫(kù)”，而是“所有數(shù)據(jù)”：

?給我們維護(hù)的所有開源工具加上 OTel。?在 Supabase Storage 引入 Iceberg。?在 Supabase ETL[39] 里打通 Postgres ? Iceberg 零 ETL。?通過擴(kuò)展和 FDW，讓 Postgres 能讀能寫 Iceberg。

接下來，我們押注三大開放數(shù)據(jù)標(biāo)準(zhǔn)：Postgres、OTel、Iceberg。敬請(qǐng)期待。

老馮點(diǎn)評(píng)

Supabase 是我最欣賞的數(shù)據(jù)庫(kù)創(chuàng)業(yè)公司，他們的創(chuàng)始人認(rèn)知水平非常在線。 例如在三年前 OpenAI 插件帶火向量數(shù)據(jù)庫(kù)賽道之前，Supabase 就已經(jīng)發(fā)掘出 pgvector 進(jìn)行 RAG 的玩法了。

YC S20 的項(xiàng)目走過五年發(fā)展到今天，已經(jīng)是估值 2B 的獨(dú)角獸了。目前 YC 80% 的初創(chuàng)公司都在用 Supabase 起步。 目前有小道消息稱 OpenAI 即將收購(gòu) Supabase，如果是真的，那他們也算功德圓滿，實(shí)至名歸。

關(guān)于 Postgres

老馮非常認(rèn)同 Paul 的觀點(diǎn)，Postgres 已經(jīng)成為 OLTP 世界的事實(shí)標(biāo)準(zhǔn)。 但至少在當(dāng)下，還有幾件事是 PostgreSQL “不擅長(zhǎng)” （不是做不到）的：

?遙測(cè)?海量分析?對(duì)象存儲(chǔ)

所以如果你想要提供一個(gè)真正 “完全覆蓋” 的數(shù)據(jù)基礎(chǔ)設(shè)施，那么光有 PostgreSQL 是不行的。

我的意思是，你可以使用 TimescaleDB 擴(kuò)展存儲(chǔ)遙測(cè)數(shù)據(jù)，但體驗(yàn)與表現(xiàn)是比不上 Prometheus，VictoriaMetrics 的等專用 APM 組件的。 

你確實(shí)可以用原生 PG，TimescaleDB，Citus，以及好幾個(gè) DuckDB 縫合擴(kuò)展做數(shù)倉(cāng) —— 盡管我認(rèn)為 DuckDB PG 縫合有潛力解決這個(gè)問題，但至少在當(dāng)下，當(dāng)數(shù)據(jù)量超過幾十個(gè) TB 時(shí)，專用數(shù)倉(cāng)的性能依然還是壓著 PG 打的。 

有一些 “邪路” 可以將 PG 作為文件系統(tǒng)，例如 JuiceFS，但這僅適用于小規(guī)模的數(shù)據(jù)存儲(chǔ)（也許幾十GB？），海量 PB 級(jí)對(duì)象存儲(chǔ)依然是原生 PG 所望塵莫及的。

圖片

至于其他的細(xì)分領(lǐng)域，比如向量數(shù)據(jù)庫(kù)，文檔數(shù)據(jù)庫(kù)，地理空間數(shù)據(jù)庫(kù)，時(shí)序數(shù)據(jù)庫(kù)，消息隊(duì)列，全文檢索引擎，乃至是圖數(shù)據(jù)庫(kù)，PostgreSQL 都已經(jīng) “足夠好” 了。 留給其他產(chǎn)品的只剩下一個(gè)極端場(chǎng)景專用組件的 Niche，不會(huì)再有其他這種體量的玩家出現(xiàn)了。

圖片

因此，在我做 Pigsty 的時(shí)候，也是用相同的思路構(gòu)建的，以 PostgreSQL 為核心，以可觀測(cè)性作為這個(gè)發(fā)行版的基石（Postgres in Grafana Style：這是最初的縮寫），以同心圓的方式對(duì)外攤大餅。 用 MinIO 補(bǔ)足對(duì)象存儲(chǔ)，用 DuckDB / Greenplum 補(bǔ)足數(shù)倉(cāng)分析能力，最后用數(shù)量驚人的擴(kuò)展插件來覆蓋其他細(xì)分領(lǐng)域。

其實(shí)在這一點(diǎn)上， Pigsty 跟 Supabase 很像，只不過人家是 2B 獨(dú)角獸，老馮是數(shù)據(jù)庫(kù)個(gè)體戶，哈哈。但其實(shí)只要戰(zhàn)略選對(duì)了，也不是不能打，比如， Supabase 騎在 PostgreSQL 肩膀上，而我可以騎在 Supabase 的肩膀上。 

關(guān)于開源

Paul 說關(guān)于開源的三點(diǎn)精髓，第三點(diǎn)他領(lǐng)悟的是最慢的：

有沒有商業(yè)中立、無廠商綁架；更妙的是，有 多家 公司背書而非一家獨(dú)大。

其實(shí)我非常理解 Paul 的感受，在前兩年，Supabase 的想法可能是 —— “我要占領(lǐng)開源道德高地，但是也要用 PG 擴(kuò)展構(gòu)建自己的商業(yè)壁壘?！?/p>

雖然 Supabase 提供了 Docker Compose 自建模板，但那個(gè)數(shù)據(jù)庫(kù)容器鏡像充其量就是個(gè)玩具，而且里面包含著隱藏的壁壘。 主要是他們自己用 Rust 寫了幾個(gè)擴(kuò)展插件，這幾個(gè)擴(kuò)展插件雖然是開源的，但打包構(gòu)建的知識(shí)并沒有在社區(qū)普及 —— 你無法指望讓用戶自己去編譯這些東西。

老馮就干了件 “缺德” 或者說 “有德” 的事（取決于廠家還是用戶視角），把他們的擴(kuò)展插件全都編譯打包成了 10 大 Linux 主流系統(tǒng)下的 RPM/DEB 包， 這樣你就可以真的在自己的 PostgreSQL 上自建 Supabase 了。我們還提供了一個(gè)模板，可以在一臺(tái)裸服務(wù)器上自建 Supabase，目前是 Supabase 官方推薦的三個(gè)三方自建教程之一。

圖片

Supabase 還在想其他方法構(gòu)建壁壘，例如他們?nèi)ツ晔召?gòu)了 OrioleDB，一個(gè)云原生，無膨脹的 PostgreSQL 存儲(chǔ)引擎擴(kuò)展（需要Patch內(nèi)核）。 還沒等正式 GA 上線，老馮就也已經(jīng)打好了 OrioleDB 的 RPM/DEB 包，供用戶自建使用了。

圖片

我估計(jì) Paul 的心情是復(fù)雜的，一方面他想要將用戶鎖定在 Supabase 云服務(wù)上，看到別人真的用開源來拆臺(tái)，心里肯定不爽。 但另一方面正是這些三方社區(qū)廠商的努力，反而讓 Supabase 開枝散葉，不是一個(gè) “只有我提供” 的東西，才有了開源的醍醐味。 所以最后也釋然了，坦然接受了這種現(xiàn)狀。

但這件事也對(duì)老馮有所觸動(dòng)，我也開始思考，Pigsty 作為一個(gè)開源項(xiàng)目，是否也有類似的 “開源三信條”？

老實(shí)說，老馮很懷念全職創(chuàng)業(yè)前的那種狀態(tài)，完全不考慮商業(yè)化，為了興趣，熱情，公益而開源，所以使用的是 Apache 2.0 協(xié)議。 后來因?yàn)槟猛顿Y人錢要有一個(gè)交代，所以把協(xié)議修改為更嚴(yán)格的 AGPLv3 ，目標(biāo)是為了阻止云廠商與同行白嫖。 但既然現(xiàn)在我又成了數(shù)據(jù)庫(kù)個(gè)體戶，其實(shí)也是可以回到那種開源初心狀態(tài)的 —— “反正俺也不靠這個(gè)賺錢”。

References

[1]?Postgres:https://www.postgresql.org/

[2]OTel:https://opentelemetry.io/

[3]Iceberg:https://iceberg.apache.org/

[4]OSI 核準(zhǔn):https://opensource.org/licenses

[5]顛覆式創(chuàng)新:https://en.wikipedia.org/wiki/Disruptive_innovation

[6]我們堅(jiān)信:https://supabase.com/docs/guides/getting-started/architecture#everything-is-portable

[7]wire 協(xié)議:https://www.postgresql.org/docs/current/protocol.html

[8]PostgreSQL License:https://www.postgresql.org/about/licence/

[9]OTel:https://opentelemetry.io/

[10]頗為復(fù)雜:https://news.ycombinator.com/item?id=42655102

[11]Datadog:https://docs.datadoghq.com/integrations/otel/

[12]Honeycomb:https://docs.honeycomb.io/send-data/opentelemetry/

[13]Grafana Labs:https://grafana.com/grafana/dashboards/15983-opentelemetry-collector/

[14]Elastic:https://www.elastic.co/docs/solutions/observability/apm/use-opentelemetry-with-apm

[15]SigNoz:https://github.com/SigNoz/signoz

[16]OpenObserve:https://github.com/openobserve/openobserve

[17]OTel 工具集:https://github.com/open-telemetry/opentelemetry-collector

[18]開放表格式:https://www.startdataengineering.com/post/what_why_table_format/

[19]DeltaLake:https://delta.io/

[20]Hudi:https://hudi.apache.org/

[21]Iceberg:https://iceberg.apache.org/

[22]Databricks:https://docs.databricks.com/aws/en/delta/uniform

[23]Snowflake:https://docs.snowflake.com/en/user-guide/tables-iceberg

[24]ClickHouse:https://clickhouse.com/docs/engines/table-engines/integrations/iceberg

[25]S3 Tables:https://aws.amazon.com/blogs/aws/new-amazon-s3-tables-storage-optimized-for-analytics-workloads/

[26]Conditional Writes:https://aws.amazon.com/about-aws/whats-new/2024/08/amazon-s3-conditional-writes/

[27]S3 Express:https://aws.amazon.com/blogs/aws/new-amazon-s3-express-one-zone-high-performance-storage-class/

[28]逆天降價(jià) 85%:https://aws.amazon.com/blogs/aws/up-to-85-price-reductions-for-amazon-s3-express-one-zone/

[29]pg_mooncake:https://github.com/Mooncake-Labs/pg_mooncake

[30]pg_duckdb:https://github.com/duckdb/pg_duckdb

[31]Iceberg FDW:https://github.com/supabase/wrappers/pull/462

[32]DuckDB:https://duckdb.org/2021/10/29/duckdb-wasm.html

[33]云后端存儲(chǔ):https://sqlite.org/cloudsqlite/doc/trunk/www/index.wiki

[34]turbopuffer:https://turbopuffer.com/

[35]SlateDB:https://slatedb.io/

[36]Tonbo:https://tonbo.io/

[37]梗圖:https://itsjustpostgres.com/

[38]Supabase Storage:https://supabase.com/storage

[39]Supabase ETL:?https://github.com/supabase/supabase_etl