獲取一份關(guān)于如何充分利用時(shí)間序列數(shù)據(jù)的技巧和推薦資源的綜合指南。

譯自10 Things You Need to Know About Time-Series Data，作者 Team Timescale。

我們整理了一份全面的指南，包含提示和推薦資源，幫助您充分利用時(shí)間序列數(shù)據(jù)。? 現(xiàn)在，您的數(shù)據(jù)是時(shí)間序列嗎？

您可能沒(méi)有這樣想過(guò)，但請(qǐng)查看我們的示例列表——您可能會(huì)感到驚訝。從優(yōu)化數(shù)據(jù)庫(kù)性能、與第三方工具集成，到評(píng)估時(shí)間序列數(shù)據(jù)庫(kù)時(shí)需要考慮的因素，涵蓋的主題豐富多樣，無(wú)論您是時(shí)間序列新手還是經(jīng)驗(yàn)豐富的數(shù)據(jù)庫(kù)管理員，都能從中受益。

這份指南匯總了您需要了解的時(shí)間序列數(shù)據(jù)庫(kù)的相關(guān)信息，內(nèi)容來(lái)源于我們的內(nèi)部團(tuán)隊(duì)和活躍的開(kāi)發(fā)者社區(qū)。（其中一些內(nèi)容可能是復(fù)習(xí)，而另一些可能是您未曾了解的。）

10. “大云”供應(yīng)商不一定能提供更好的產(chǎn)品。

Resource:What We Learned From Benchmarking Amazon Aurora PostgreSQL Serverless

沒(méi)有人希望一開(kāi)始就使用一個(gè)數(shù)據(jù)庫(kù)，結(jié)果發(fā)現(xiàn)它無(wú)法擴(kuò)展或不適合其應(yīng)用程序和系統(tǒng)的增長(zhǎng)需求。正如這篇文章指出的那樣，時(shí)間序列數(shù)據(jù)庫(kù)在數(shù)據(jù)攝取速度、查詢(xún)延遲、易用性、可靠性等方面差異很大。

我們有對(duì)時(shí)間序列數(shù)據(jù)庫(kù)性能進(jìn)行基準(zhǔn)測(cè)試的歷史，我們花費(fèi)數(shù)周時(shí)間分析了 Amazon Aurora Serverless 的數(shù)據(jù)攝取性能、查詢(xún)速度、成本和可靠性。我們多次仔細(xì)檢查了這些數(shù)字，因?yàn)槲覀儙缀蹼y以置信，但 Timescale 的 PostgreSQL 云平臺(tái)：

• 數(shù)據(jù)攝取速度快 35%
• 在除兩個(gè)查詢(xún)類(lèi)別外的所有查詢(xún)類(lèi)別中，查詢(xún)速度快 1.15 倍到 16 倍
• 數(shù)據(jù)存儲(chǔ)效率提高 95%
• 每小時(shí)計(jì)算成本降低 52%
• 存儲(chǔ)創(chuàng)建的數(shù)據(jù)每月成本降低 78%

查看完整文章以了解詳細(xì)結(jié)果、關(guān)鍵數(shù)據(jù)庫(kù)考慮標(biāo)準(zhǔn)以及復(fù)制結(jié)果和運(yùn)行您自己的基準(zhǔn)測(cè)試的步驟。

圖片

9. 時(shí)間序列數(shù)據(jù)非常適合金融服務(wù)，從傳統(tǒng)股票市場(chǎng)到加密貨幣。

Resource:Learn how to power a (successful) crypto trading bot with TimescaleDB

閱讀軟件開(kāi)發(fā)人員和活躍的 TimescaleDB 社區(qū)成員是如何構(gòu)建他的加密交易機(jī)器人的——并獲得了 480 倍的回報(bào)——使用 TensorFlow、Node.js、TimescaleDB 和機(jī)器學(xué)習(xí)情緒分析模型，以及他在此過(guò)程中學(xué)到的經(jīng)驗(yàn)教訓(xùn)，以及他對(duì)有抱負(fù)的加密交易者的建議。

而且，如果您想嘗試自己的加密分析，請(qǐng)查看我們的分析加密貨幣市場(chǎng)數(shù)據(jù)教程（其中包括分步說(shuō)明和 5 個(gè)以上的示例查詢(xún)）。

此外，時(shí)間序列數(shù)據(jù)不僅僅是物聯(lián)網(wǎng)、石油和天然氣以及金融領(lǐng)域的利基市場(chǎng)；時(shí)間序列數(shù)據(jù)無(wú)處不在，從跟蹤包裹遞送車(chē)隊(duì)物流到監(jiān)控系統(tǒng)和應(yīng)用程序，預(yù)測(cè)航班到達(dá)時(shí)間以及報(bào)告空氣質(zhì)量。（查看我們關(guān)于時(shí)間序列數(shù)據(jù)的入門(mén)指南以了解使時(shí)間序列數(shù)據(jù)獨(dú)一無(wú)二的更多信息。）

8. 持續(xù)優(yōu)化數(shù)據(jù)庫(kù)插入速率對(duì)于時(shí)間序列工作負(fù)載尤其重要。

Resource:Get our 13 tips to improve PostgreSQL Insert performance

對(duì)于時(shí)間序列數(shù)據(jù)，更改被視為插入，而不是覆蓋——當(dāng)您需要保留所有數(shù)據(jù)而不是覆蓋過(guò)去的值時(shí)，優(yōu)化數(shù)據(jù)庫(kù)攝取新數(shù)據(jù)的速度變得至關(guān)重要。

為了幫助您提高數(shù)據(jù)庫(kù)性能并針對(duì)時(shí)間序列場(chǎng)景進(jìn)行優(yōu)化，Timescale 首席技術(shù)官分享了他的最佳技巧。您將獲得有關(guān)普通 PostgreSQL 的建議——例如如何測(cè)試 I/O 性能——以及一些 TimescaleDB 特定的建議。

7. 啟用壓縮可以顯著降低存儲(chǔ)成本，加快查詢(xún)速度，并允許您保留更多數(shù)據(jù)。

Resource:Building Columnar Compression for Large PostgreSQL Databases

壓縮算法：它們并非魔法，但卻能顯著降低您的數(shù)據(jù)存儲(chǔ)成本并加快查詢(xún)速度。鑒于時(shí)間序列數(shù)據(jù)的持續(xù)增長(zhǎng)特性，數(shù)據(jù)快速堆積，縮減數(shù)據(jù)存儲(chǔ)需求就顯得尤為關(guān)鍵。

本文將講述我們?nèi)绾螢镻ostgreSQL構(gòu)建靈活、高性能的列式壓縮機(jī)制以提高其可擴(kuò)展性。

?  有趣的事實(shí)：通過(guò)結(jié)合列式存儲(chǔ)和專(zhuān)門(mén)的壓縮算法，我們能夠?qū)崿F(xiàn)令人印象深刻的壓縮率，在任何其他關(guān)系數(shù)據(jù)庫(kù)中都無(wú)法比擬（+95%）。

6. 有效地使用和查詢(xún)您的時(shí)間序列數(shù)據(jù)，可以將其轉(zhuǎn)化為預(yù)測(cè)趨勢(shì)和預(yù)測(cè)未來(lái)事件的工具。

Resource:Replacing kdb+ With PostgreSQL for Time-Series Forecasting

時(shí)間序列預(yù)測(cè)本身就非常強(qiáng)大。但是，將時(shí)間序列數(shù)據(jù)與其他關(guān)系型業(yè)務(wù)數(shù)據(jù)結(jié)合起來(lái)，可以幫助您對(duì)數(shù)據(jù)（和業(yè)務(wù)）如何隨時(shí)間變化做出更深入的預(yù)測(cè)。在本開(kāi)發(fā)者問(wèn)答中，數(shù)據(jù)科學(xué)家Andrew Engel分享了他如何使用TimescaleDB創(chuàng)建機(jī)器學(xué)習(xí)管道概念驗(yàn)證以進(jìn)行時(shí)間序列預(yù)測(cè)的故事。

5. 如果你選擇了正確的數(shù)據(jù)庫(kù)，你可以將其與你最喜歡的第三方和開(kāi)源工具集成。

Resource:See our favorite PostgreSQL extensions for time-series

PostgreSQL擁有2萬(wàn)多個(gè)擴(kuò)展可供選擇，我們非常喜歡它龐大的生態(tài)系統(tǒng)和極高的可擴(kuò)展性。幸運(yùn)的是，許多擴(kuò)展可以幫助您更高效地處理時(shí)間序列數(shù)據(jù)，而無(wú)需切換到全新的數(shù)據(jù)庫(kù)。

但是，從哪里開(kāi)始呢？

為了幫助您找到可能適合您的選項(xiàng)，我們調(diào)查了內(nèi)部團(tuán)隊(duì)成員和活躍的社區(qū)成員，以獲取我們的“必備”擴(kuò)展列表，其中包括一些鮮為人知但有用的擴(kuò)展。

??  獎(jiǎng)勵(lì)：安裝說(shuō)明和示例查詢(xún)，向您展示如何獲取每個(gè)擴(kuò)展、它的工作原理以及它允許您做什么。

4. 數(shù)據(jù)庫(kù)架構(gòu)、靈活性和查詢(xún)語(yǔ)言很重要——而且差異很大。

Resource:Read how TimescaleDB and InfluxDB are purpose-built differently — and how this impacts performance

雖然我們的Amazon Aurora基準(zhǔn)測(cè)試表明，選擇正確的時(shí)間序列數(shù)據(jù)庫(kù)并不像從大型云提供商中選擇那么簡(jiǎn)單，但我們的InfluxDB比較演示了理解您的需求的重要性，例如查詢(xún)語(yǔ)言、開(kāi)發(fā)者入門(mén)時(shí)間、生態(tài)系統(tǒng)和完全托管的數(shù)據(jù)庫(kù)選項(xiàng)。

我們報(bào)告了InfluxDB在哪些方面優(yōu)于TimescaleDB（低基數(shù)查詢(xún)），并使用數(shù)據(jù)來(lái)展示為什么如果您擁有高基數(shù)數(shù)據(jù)集、想要靈活的托管數(shù)據(jù)庫(kù)選項(xiàng)和/或不想學(xué)習(xí)專(zhuān)有的查詢(xún)語(yǔ)言，TimescaleDB是更好的選擇。

圖片

說(shuō)到查詢(xún)語(yǔ)言，我們創(chuàng)建了一份備忘單，以幫助您了解InfluxQL、Flux和SQL之間的區(qū)別。

3. Grafana非常適合時(shí)間序列，但存在學(xué)習(xí)曲線。

Resource:Watch Guide to Grafana 101: Getting Started With (Awesome) Visualizations

Grafana是一個(gè)令人驚嘆的開(kāi)源可視化工具（Timescale團(tuán)隊(duì)非常喜歡它），非常適合常見(jiàn)的時(shí)間序列場(chǎng)景，但是有很多功能你可能不知道如何、何時(shí)或?yàn)楹问褂谩?/p>

為了幫助您了解Grafana為什么非常適合時(shí)間序列，Avthar(@avthars) 演示了如何構(gòu)建6多種可視化——從世界地圖到儀表——用于物聯(lián)網(wǎng)、DevOps等等。您將看到真實(shí)的示例，并獲得創(chuàng)建您自己的（很棒的）可視化所需的最佳實(shí)踐、代碼示例和靈感。

2. 您可以托管您的時(shí)間序列數(shù)據(jù)，并且只為存儲(chǔ)的數(shù)據(jù)付費(fèi)。

Resource:Navigating a Usage-Based Model for PostgreSQL

對(duì)于時(shí)間序列數(shù)據(jù)，每個(gè)數(shù)據(jù)點(diǎn)都作為新值插入，而不是覆蓋先前（即較早的）值。因此，時(shí)間序列工作負(fù)載的擴(kuò)展速度遠(yuǎn)快于其他類(lèi)型的數(shù)據(jù)，您需要一個(gè)能夠與您一起發(fā)展的數(shù)據(jù)庫(kù)——不會(huì)產(chǎn)生天文數(shù)字的成本或影響性能。

使用Timescale Cloud，您只需為實(shí)際使用的Timescale服務(wù)存儲(chǔ)付費(fèi)，無(wú)需價(jià)格陷阱或隱藏成本。這種新的存儲(chǔ)體驗(yàn)簡(jiǎn)單、透明，并且可以為您節(jié)省資金——尤其是在結(jié)合壓縮和分層存儲(chǔ)等功能時(shí)。??

1. 用于時(shí)間序列的關(guān)系型數(shù)據(jù)庫(kù)可以無(wú)限擴(kuò)展

Resource:Scaling PostgreSQL for Cheap: Introducing Tiered Storage in Timescale

最后，我們想談?wù)剷r(shí)間序列數(shù)據(jù)：關(guān)系數(shù)據(jù)庫(kù)可以無(wú)限擴(kuò)展。為了證明這一點(diǎn)，我們構(gòu)建了分層存儲(chǔ)，這是一種多層存儲(chǔ)架構(gòu)，旨在為T(mén)imescale平臺(tái)上的時(shí)間序列和分析數(shù)據(jù)庫(kù)實(shí)現(xiàn)無(wú)限的、低成本的可擴(kuò)展性。

通過(guò)我們的分層存儲(chǔ)架構(gòu)，您現(xiàn)在可以將較舊的、訪問(wèn)頻率較低的數(shù)據(jù)存儲(chǔ)在低成本的存儲(chǔ)層中，同時(shí)仍然能夠訪問(wèn)它——而無(wú)需犧牲頻繁訪問(wèn)數(shù)據(jù)的性能。最棒的是？它非常經(jīng)濟(jì)實(shí)惠：我們的低成本存儲(chǔ)層的價(jià)格為每GB/月0.021美元——比Amazon S3更便宜。

圖片

總結(jié)

如果您更喜歡自行管理TimescaleDB，請(qǐng)查看我們的GitHub倉(cāng)庫(kù)以獲取安裝選項(xiàng)。