分布式數(shù)據(jù)處理，協(xié)作式SQL和開(kāi)源

SQL是當(dāng)今工作場(chǎng)所最需要的技術(shù)技能之一。 該技術(shù)可以追溯到1970年代，至今仍是我們連接大多數(shù)數(shù)據(jù)系統(tǒng)的方式。 不管使用了什么拖放工具，還是試圖用新的查詢范式取代它，它仍然存在。

我們今天將要談?wù)摰脑S多現(xiàn)代數(shù)據(jù)庫(kù)技術(shù)一直都必須遵守SQL策略，而SQL需要進(jìn)行更新。

但是，這并不是說(shuō)SQL的環(huán)境在過(guò)去的幾十年中沒(méi)有發(fā)生太大變化，并且不會(huì)繼續(xù)發(fā)展。 這是SQL堅(jiān)持這么多的原因之一。 它與時(shí)俱進(jìn)。

本文將總結(jié)SQL和數(shù)據(jù)分析領(lǐng)域當(dāng)前發(fā)生的一些主要趨勢(shì)。

我們將討論SQL如何變得更加協(xié)作和開(kāi)放，我們這個(gè)世界上繼續(xù)運(yùn)行的大多數(shù)數(shù)據(jù)庫(kù)如何是開(kāi)源的或切換到開(kāi)源的，以及提出一些您可能沒(méi)有聽(tīng)說(shuō)過(guò)的技術(shù)，但是 應(yīng)該提防。

在技術(shù)領(lǐng)域中發(fā)生了如此多的事情之后，這將有助于清晰地了解SQL和數(shù)據(jù)領(lǐng)域中一些更重要的變化。

SQL不僅僅適合數(shù)據(jù)驅(qū)動(dòng)公司中的數(shù)據(jù)工程師和分析師

如果您曾經(jīng)在FAANG或甚至是Instacart之類的技術(shù)驅(qū)動(dòng)型初創(chuàng)公司工作過(guò)，那么您可能已經(jīng)意識(shí)到，數(shù)據(jù)驅(qū)動(dòng)著一切-分析師，產(chǎn)品經(jīng)理和產(chǎn)品經(jīng)理開(kāi)始不必要地理解SQL。

SQL是數(shù)據(jù)的語(yǔ)言，如果要與數(shù)據(jù)進(jìn)行交互，則需要了解它。

您是否想輕松計(jì)算出用戶花在產(chǎn)品上的平均時(shí)間，但又不想等待分析師? 您最好弄清楚如何運(yùn)行查詢。

不再需要安裝SQL編輯器的事實(shí)也推動(dòng)了這種輕松運(yùn)行查詢的能力。 借助基于云的數(shù)據(jù)，倉(cāng)庫(kù)附帶了SaaS SQL編輯器。 在下一節(jié)中，我們將更多地討論SaaS SQL編輯器。

但是，這里的重要部分是您不必等待30分鐘就可以安裝編輯器，而不必理會(huì)所有管理它的麻煩。

現(xiàn)在，您只需轉(zhuǎn)到URL即可訪問(wèn)團(tuán)隊(duì)的數(shù)據(jù)倉(cāng)庫(kù)。 這使公司中的任何人都可以輕松訪問(wèn)其數(shù)據(jù)。

我們從傳聞中獲得的經(jīng)驗(yàn)以及在過(guò)去五年中確實(shí)確實(shí)對(duì).com進(jìn)行跟蹤的事實(shí)表明了這一點(diǎn)，該網(wǎng)站在2019年的跟蹤顯示了對(duì)SQL技能的穩(wěn)定需求。

總體而言，我們預(yù)見(jiàn)了一個(gè)未來(lái)，不僅僅是大型科技公司正在使用SQL和分析來(lái)制定明智的決策。 為此，我們將需要能夠使任何人更輕松地訪問(wèn)其公司數(shù)據(jù)的工具。

SQL和Analytics(分析)正變得更加協(xié)作

SQL和分析變得更加協(xié)作。 如前所述，從數(shù)據(jù)中獲取見(jiàn)解變得越來(lái)越多。 這意味著更多的人正在參與創(chuàng)建查詢，分析和指標(biāo)。

協(xié)作工作始于Google表格之類的產(chǎn)品。 這種趨勢(shì)一直在擴(kuò)展到SaaS產(chǎn)品，例如Figma(協(xié)作設(shè)計(jì))和PopSQL(協(xié)作SQL)。

諸如PopSQL之類的技術(shù)為您的團(tuán)隊(duì)提供了通過(guò)文件夾和版本控制輕松協(xié)作并跟蹤查詢工作的能力。

現(xiàn)在，您不必?fù)?dān)心有人不小心更改了報(bào)表或儀表板上的查詢。 版本控制可讓您還原先前保存狀態(tài)下的查詢。 這樣可以確保您的團(tuán)隊(duì)與SQL和用于計(jì)算指標(biāo)的邏輯始終處于同一頁(yè)面上。

您還可以輕松共享查詢，更新查詢，將其派生并可視化數(shù)據(jù)。

此外，F(xiàn)igma，Google Sheets和PopSQL等工具可輕松與Slack等其他協(xié)作工具集成。 這些集成還使您的團(tuán)隊(duì)可以輕松共享圖表，查詢，設(shè)計(jì)和見(jiàn)解。

您的團(tuán)隊(duì)可以輕松地看到其他人正在做的工作，正在做的更改，并了解為什么要進(jìn)行更改。

隨著遠(yuǎn)程工作的概念在許多公司中變得越來(lái)越現(xiàn)實(shí)，擁有易于協(xié)作的工具將變得非常重要。

最后，像PopSQL這樣的技術(shù)在自助服務(wù)分析方面邁出了重要的一步，因?yàn)樗鼈儗⒉樵償?shù)據(jù)的能力置于分析師和數(shù)據(jù)工程師的手中。

開(kāi)源仍然是很受歡迎的數(shù)據(jù)庫(kù)

像Oracle和MSSQL這樣的付費(fèi)許可數(shù)據(jù)庫(kù)管理系統(tǒng)對(duì)于團(tuán)隊(duì)來(lái)說(shuō)似乎是非常受歡迎的選擇。 但是，MySQL和Postgres這兩個(gè)開(kāi)源數(shù)據(jù)庫(kù)管理系統(tǒng)是當(dāng)前開(kāi)發(fā)人員最喜歡使用的選項(xiàng)。

根據(jù)EverSQL在2018年和2020年進(jìn)行的一項(xiàng)調(diào)查，MySQL仍然是開(kāi)發(fā)最流行的數(shù)據(jù)庫(kù)管理系統(tǒng)。 另外，根據(jù)Stack Overflow的數(shù)據(jù)，Postgres最近已超過(guò)MSSQL，成為第二受歡迎的數(shù)據(jù)庫(kù)。

Postgres引入了一種新型的關(guān)系數(shù)據(jù)庫(kù)。 這就是所謂的對(duì)象關(guān)系數(shù)據(jù)庫(kù)管理系統(tǒng)(ORDMS)。 這具有與面向?qū)ο蟮木幊填愃频膶傩?，您可以在其中具有類和繼承。 另外，有關(guān)Postgres的其他一些漂亮功能是它允許數(shù)組并具有一些PubSub功能。

向開(kāi)源的轉(zhuǎn)變并不新鮮。 但是，事實(shí)是，許多公司開(kāi)始放棄使用Oracle和Microsoft的免費(fèi)選項(xiàng)。 他們選擇支付云計(jì)算成本還是支付許可成本。

總體而言，我們發(fā)現(xiàn)開(kāi)發(fā)人員的數(shù)據(jù)庫(kù)選擇發(fā)生了許多變化。

云優(yōu)先的開(kāi)源數(shù)據(jù)庫(kù)正在獲得牽引力和資金

盡管對(duì)于選擇從Oracle轉(zhuǎn)向開(kāi)放源代碼解決方案的公司來(lái)說(shuō)，Postgres經(jīng)常是一個(gè)常見(jiàn)的選擇，但在開(kāi)發(fā)Postgres時(shí)并未考慮到云基礎(chǔ)架構(gòu)和復(fù)雜性。

這迫使團(tuán)隊(duì)開(kāi)發(fā)復(fù)雜的云基礎(chǔ)架構(gòu)，以管理在全球范圍內(nèi)使用的應(yīng)用程序。

但是，還有其他開(kāi)源解決方案。 在2019年7月，YugabyteDB開(kāi)源了100%。 現(xiàn)在許多人可能會(huì)問(wèn)(特別是如果您在美國(guó))，"什么是YugabyteDB?"

YugaByte專有的面向文檔的存儲(chǔ)格式是RocksDB的高度定制形式，可提供低延遲訪問(wèn)和高數(shù)據(jù)密度。 它在流行和已知的API上運(yùn)行。

YugaByte旨在填補(bǔ)所有空白。 想要也是ACID的NoSQL數(shù)據(jù)庫(kù)嗎? 然后Yugabyte打算占領(lǐng)這個(gè)市場(chǎng)。

它正在尋求解決開(kāi)發(fā)人員在部署SQL數(shù)據(jù)庫(kù)(如MySQL)時(shí)遇到的問(wèn)題，這些SQL數(shù)據(jù)庫(kù)需要分片和復(fù)雜的基礎(chǔ)架構(gòu)來(lái)運(yùn)行多區(qū)域系統(tǒng)。

YugaByteDB通過(guò)自動(dòng)分片和負(fù)載平衡以及其他一些利用云優(yōu)先方法的功能來(lái)實(shí)現(xiàn)此目的。

那么，如果YugaByte自2016年以來(lái)一直存在，為什么還要在此更新中使用它呢?

這是因?yàn)閃ipro Ventures本月初向Yugabyte投資了3000萬(wàn)美元。 此外，Wipro還計(jì)劃將Yugabyte的開(kāi)源SQL數(shù)據(jù)庫(kù)帶給客戶。 有1,000家可能正在使用Yugabyte的新公司。

盡管Yugabyte不在EverSQL的調(diào)查結(jié)果中，但在未來(lái)幾年中，由于受到更多的關(guān)注和更多用戶的關(guān)注，它可能會(huì)出現(xiàn)。 現(xiàn)在，說(shuō)實(shí)話，解決NoSQL和標(biāo)準(zhǔn)關(guān)系數(shù)據(jù)庫(kù)所有問(wèn)題的數(shù)據(jù)庫(kù)將是一個(gè)奇跡。 因此，從很多方面來(lái)說(shuō)，我們感到驚訝的是并沒(méi)有得到更大的采用。

我們很想知道在未來(lái)幾年中，Yugabyte是否像承諾解決組織中所有問(wèn)題的許多其他奇跡技術(shù)一樣，或者像許多其他奇跡般消失了。

用于數(shù)據(jù)倉(cāng)庫(kù)的分布式數(shù)據(jù)庫(kù)已成為常態(tài)

在技術(shù)世界中，數(shù)據(jù)庫(kù)有兩種主要用途：應(yīng)用程序和分析。

這兩個(gè)主要用例得益于不同的數(shù)據(jù)庫(kù)系統(tǒng)和不同的數(shù)據(jù)庫(kù)設(shè)計(jì)。

特別是，為單個(gè)公司的數(shù)千名分析師，數(shù)據(jù)科學(xué)家和數(shù)據(jù)工程師運(yùn)行數(shù)百萬(wàn)次計(jì)算的分析數(shù)據(jù)庫(kù)通常會(huì)受益于某種形式的分布式或并行組件。 想想Redshift及其如何依賴MPP(大規(guī)模并行處理)。

但是，這個(gè)領(lǐng)域有很多新的SQL和NoSQL技術(shù)。

例如，F(xiàn)acebook Presto的分支Starburst，又獲得了4,200萬(wàn)美元的資金。 Starburst是Facebook開(kāi)源項(xiàng)目(Presto)的衍生產(chǎn)品。 Starburst的目標(biāo)是創(chuàng)建Presto的企業(yè)版，因?yàn)镻resto本身不具有訪問(wèn)管理功能，Teradata，Snowflake和DB2等企業(yè)系統(tǒng)的連接器，或者用戶可以在其中配置集群以自動(dòng)擴(kuò)展的管理控制臺(tái)。

對(duì)于大多數(shù)公司來(lái)說(shuō)，這使Presto很難單獨(dú)使用。 真可惜，因?yàn)镻resto允許您輕松地跨數(shù)據(jù)庫(kù)運(yùn)行查詢，而無(wú)需將數(shù)據(jù)加載到數(shù)據(jù)倉(cāng)庫(kù)中。

因此，最近為Starburst提供的資金非常值得一看。 我們期待看到這項(xiàng)技術(shù)的發(fā)展方向，并希望更多的公司可以利用Presto的優(yōu)勢(shì)，而不必麻煩管理Presto的所有復(fù)雜性。

當(dāng)我們談?wù)撓馪resto這樣的分布式數(shù)據(jù)庫(kù)系統(tǒng)時(shí)，本月另一個(gè)有趣的發(fā)展是Spark 3.0的發(fā)布。 新版本的Spark帶來(lái)了許多增強(qiáng)功能。 其中許多增強(qiáng)功能旨在使Spark SQL變得更符合ANSI SQL。

這是重要的說(shuō)明。 一種似乎仍然正確的模式是您無(wú)法照原樣擺脫SQL。 許多工具和技術(shù)已嘗試開(kāi)發(fā)其查詢語(yǔ)言。 但是，歸根結(jié)底，SQL仍然存在-與許多已經(jīng)淘汰的編程語(yǔ)言不同。

SQL仍然是數(shù)據(jù)的語(yǔ)言。

您的團(tuán)隊(duì)如何利用您的數(shù)據(jù)?

數(shù)據(jù)庫(kù)和SQL不會(huì)無(wú)處可去。 如果有的話，它們正變得越來(lái)越普遍。 諸如Starburst和PopSQL之類的工具顯示出讓您的工程師，分析師，甚至您的非技術(shù)人員都精通數(shù)據(jù)的重要性。

這些技術(shù)或類似技術(shù)肯定會(huì)在大小公司中大量使用，因此它們可以幫助改善決策。

我們喜歡看到PopSQL和Starburst等工具。 這些工具通過(guò)使SQL更具協(xié)作性并簡(jiǎn)化諸如Presto之類的強(qiáng)大技術(shù)的部署來(lái)打開(kāi)數(shù)據(jù)世界。 這有助于提高公司執(zhí)行數(shù)據(jù)分析，做出更好的決策和開(kāi)發(fā)更好的數(shù)據(jù)流程的能力。

這樣一來(lái)，我們將總結(jié)每?jī)芍芤淮蔚臄?shù)據(jù)和技術(shù)世界動(dòng)態(tài)。 我們的目標(biāo)是繼續(xù)提供有關(guān)新興技術(shù)，風(fēng)險(xiǎn)投資等方面的未來(lái)更新。

敬請(qǐng)關(guān)注!