AWS針對S3中數(shù)據(jù)推出Amazon Athena查詢服務
新服務為使用標準SQL分析Amazon S3中的數(shù)據(jù)提供了方便
憑借Amazon Athena,Atlassian、納斯達克和新聞集團以及其他很多客戶僅需幾秒鐘就可獲得查詢結果
今天開始全面上市
美國西雅圖,2016年11月30日 –亞馬遜(NASDAQ:AMZN)旗下公司Amazon Web Services, Inc.(AWS)今天宣布,推出無服務器查詢服務Amazon Athena,該服務為使用標準SQL在Amazon S3(Amazon Simple Storage Service)中直接分析數(shù)據(jù)提供了方便。客戶僅需在AWS管理控制臺(AWS Management Console)中點擊幾下,就可將Amazon Athena指向其存儲在Amazon S3中的數(shù)據(jù),用標準SQL進行查詢,并在幾秒鐘內(nèi)獲得查詢結果。有了Amazon Athena,就無需管理和微調(diào)集群,也無需設置或管理基礎設施了,而且客戶只需為已發(fā)生的查詢付費。Amazon Athena可自動擴展,執(zhí)行并行查詢,因此可以快速獲得查詢結果,甚至在面對大型數(shù)據(jù)集和進行復雜查詢時也一樣。
由于Amazon Redshift、Amazon EMR等AWS數(shù)據(jù)分析服務的出現(xiàn),各種規(guī)模的公司都能夠進行PB級數(shù)據(jù)分析了。憑借Amazon Redshift,客戶可以對海量結構化數(shù)據(jù)進行復雜查詢,并實現(xiàn)超快速的查詢性能。就非結構化數(shù)據(jù)而言,憑借Amazon EMR,客戶能夠橫跨可動態(tài)擴展的集群,使用Apache Spark、Presto、Hive、Pig等流行的分布式框架,快速、經(jīng)濟地處理和分析大量數(shù)據(jù)。盡管這些服務可擴展性足夠高、威力足夠大,可以應對大型、復雜的大數(shù)據(jù)應用,但是很多客戶還是希望無需啟動、配置和管理Hadoop集群或數(shù)據(jù)倉庫,就能夠非常快速地查詢存儲在Amazon S3中的數(shù)據(jù)(例如Web日志、點擊數(shù)據(jù)流和原始的事件文件)?,F(xiàn)在,憑借Amazon Athena,分析存儲在Amazon S3中的數(shù)據(jù)就如同編寫SQL查詢一樣簡便。Amazon Athena運用全面支持標準SQL的Presto框架,并支持各種標準數(shù)據(jù)格式,包括CSV、JSON、ORC和Parquet。此外,Amazon Athena不僅非常適合快速、專門的查詢,實現(xiàn)了與Amazon QuickSight的集成以方便實現(xiàn)虛擬化,而且能夠處理復雜數(shù)據(jù)分析,包括大型連接、窗口功能和陣列。Amazon Athena利用多個可用區(qū)(Availability Zones)中的計算資源執(zhí)行查詢,并將Amazon S3用作底層數(shù)據(jù)存儲系統(tǒng),由于數(shù)據(jù)冗余地存儲在多個地點和每個地點的多個設備中,所以該服務的可用性和耐用性很高。
AWS公司數(shù)據(jù)庫、數(shù)據(jù)分析和人工智能事業(yè)部副總裁Raju Gulabani表示:“過去幾年來,AWS開發(fā)出了全套大數(shù)據(jù)服務,客戶可用這些服務完成從流數(shù)據(jù)、PB級數(shù)據(jù)倉庫到Spark和Hadoop作業(yè)的實時分析,而且所有分析都具備快速、可擴展和經(jīng)濟實惠的特點。Amazon S3是幾十萬客戶的主要數(shù)據(jù)存儲系統(tǒng),保存了幾十億至幾萬億個數(shù)據(jù)對象??蛻艚?jīng)常問我們,能否讓任何人都不用擔心服務器和集群的分區(qū)或管理問題,就能夠方便地查詢其存儲在Amazon S3中的數(shù)據(jù)。現(xiàn)在客戶們可以做到這一點了。使用Amazon Athena是零管理的,任何人,只要會編寫SQL查詢,就能分析其存儲在Amazon S3中的數(shù)據(jù)。Amazon QuickSight和Amazon Athena實現(xiàn)了緊密集成,因此客戶甚至無需編寫SQL查詢,就可虛擬化其Amazon Athena查詢結果。
新聞集團首席技術官Paul Cheesbrough表示:“我們是AWS的長期客戶,用Amazon Redshift、Amazon EMR等服務支持我們?nèi)镜臄?shù)據(jù)分析。我們是Amazon Athena的早期客戶,該服務快速、簡便易用和經(jīng)濟實惠的特點已得到證實。我們的工程師和分析師團隊使用該服務后給出了積極的反饋信息,他們尤其贊賞的是,通過Amazon Athena能夠直接查詢Amazon S3,我們一想到使用這項服務的前景,就倍感振奮。”
LiveIntent是一家平臺提供商,為針對電子郵件渠道的市場營銷和廣告提供平臺,每個月通過1300個頂級發(fā)布商發(fā)送的電子郵件,幫助逾1100個品牌商向1.45億人提供市場營銷和廣告信息。LiveIntent公司工程部執(zhí)行副總裁Eric Raab表示:“LiveIntent平臺每天收集處理數(shù)億個事件的信息。我們不斷要求自己改進和擴展平臺,以提供更快速、更經(jīng)濟的數(shù)據(jù)訪問,這樣的數(shù)據(jù)訪問又會轉化成更深入、更快速地洞察我們客戶的能力。在我們評估的解決方案中,Amazon Athena速度快、價格優(yōu),因此我們決定馬上采用該服務。我們很喜歡Amazon Athena的零管理特色,以及無需加載就能夠在Amazon S3中直接查詢多種格式數(shù)據(jù)的能力。”
DataXu公司幫助營銷人員利用數(shù)據(jù)了解市場營銷投資怎樣才能轉化成可盈利的客戶關系。該公司工程副總裁Yekesa Kosuru表示:“我們每秒鐘處理超過300萬個報價申請,因此每天總共接收3PB數(shù)據(jù)。即使經(jīng)過壓縮和刪減,每天仍會產(chǎn)生超過180TB的日志數(shù)據(jù)。我們一聽說Amazon Athena,就馬上采用了該服務,我們喜歡Amazon Athena的簡便性、高速度和按查詢量付費的定價模式。Amazon Athena使我們能夠查詢存儲在Amazon S3上的全部數(shù)據(jù)集,而無需管理基礎設施。因為沒有任何東西需要管理,只需按查詢量付費,所以我們正在全公司范圍內(nèi)積極部署Amazon Athena。”
Gunosy是日本領先的新聞收集應用提供商。該公司數(shù)據(jù)科學家Yosuke Abe表示:“Amazon Athena令我們印象深刻,甚至在預覽階段,Amazon Athena的速度就比我們一直在使用的系統(tǒng)快,即使該系統(tǒng)直接在Amazon S3中查詢數(shù)據(jù),因此我們盡快開始了Amazon Athena的使用。我們正在積極向AWS遷移工作負載,以將Amazon Athena置于我們分析平臺的核心位置。”
Inrix是一家領先的實時交通信息提供商,為企業(yè)、公共機構和媒體服務。該公司工程經(jīng)理Harsh Shah表示:“我們公司每天接收數(shù)TB道路網(wǎng)絡和運動數(shù)據(jù),并用數(shù)百條Amazon EMR數(shù)據(jù)管道處理這些數(shù)據(jù)。我們將Amazon S3用作未處理、處理中和已處理數(shù)據(jù)集的存儲庫。我們的數(shù)據(jù)科學家需要切割和分析這些數(shù)據(jù),為針對道路網(wǎng)絡進行預測性分析建立數(shù)學模型。我們的數(shù)據(jù)工程師需要從已處理數(shù)據(jù)向處理中數(shù)據(jù)逐級深入,以發(fā)現(xiàn)和消除數(shù)據(jù)質(zhì)量問題。我們抓住了試用Amazon Athena的機會,喜歡上了該服務的高速度、易用性和靈活性。憑借Amazon Athena,我們的任何開發(fā)人員都能夠利用SQL,查詢我們存儲在Amazon S3上的所有數(shù)據(jù),而且不用擔心基礎設施問題或是否了解大數(shù)據(jù)處理系統(tǒng)。通過Amazon Athena,我們已經(jīng)迅速將Amazon S3變成了我們的數(shù)據(jù)湖。”
Japan Taxi是一款交通應用,每月有200萬活躍用戶。Japan Taxi公司首席技術官Kazuhiri Iwata表示:“能夠將數(shù)據(jù)放入Amazon S3中,并通過Amazon Athena服務、利用標準SQL查詢這些數(shù)據(jù),這種體驗非常好。有了Amazon Athena,我們就不必加載數(shù)據(jù)了,因為通過該服務可以立即查詢數(shù)據(jù)?,F(xiàn)在我們的任何開發(fā)人員都能夠以低成本和高分辨率查詢數(shù)據(jù),我們能夠讓每一位有需求的人簡便地訪問我們的數(shù)據(jù)。由于Amazon Athena采用開源格式,所以我們還能夠針對相同的數(shù)據(jù)使用Amazon EMR等其他解決方案,因而很容易實現(xiàn)互操作性。此外,由于Amazon Athena不需要管理,所以我們能夠立即開始使用該服務。”
mParticle公司幫助移動應用開發(fā)人員收集數(shù)據(jù)并理解數(shù)據(jù)的含義。該公司首席技術官Michael Katz表示:“我們公司收集和處理大量數(shù)據(jù)。我們希望所有客戶都能夠用SQL等簡便的語言處理原始數(shù)據(jù)。我們一聽說Amazon Athena就立即采用了該服務,因為能夠利用標準SQL快速分析大量數(shù)據(jù)對我們很有吸引力。通過Amazon Athena,我們能夠立即啟動工作,按查詢量付費,并快速完成查詢。我們喜歡這種ANSI-SQL兼容性,以及既能夠查詢文本也能夠查詢列式存儲格式數(shù)據(jù)的能力。”
納斯達克采用的技術支撐著50個國家逾70個市場,以及全球1/10的證券交易量。納斯達克公司首席設計師Nate Sammons表示:“以創(chuàng)新愿景和變革傳統(tǒng)為基礎,我們總是尋找在我們所有市場上提高效率、增強業(yè)務洞察力的新途徑。由于數(shù)據(jù)對我們的業(yè)務成功至關重要,所以對于能夠分析我們存儲在Amazon Redshift、Amazon S3以及其他存儲系統(tǒng)中的數(shù)據(jù)的新工具,我們始終抱有濃厚興趣。我們希望擴展我們的Amazon Redshift數(shù)據(jù)倉庫,建立一個安全、經(jīng)濟的長期數(shù)據(jù)存儲系統(tǒng)。由于ANSI-SQL兼容性和高速性能,所以我們選擇了Amazon S3作為存儲系統(tǒng),選擇了Presto作為查詢和分析系統(tǒng)的組成部分。由于使用Amazon Athena就不再需要集群,而且通過該服務,我們所有分析師都能夠快速查詢Amazon S3中的數(shù)據(jù),所以我們預計Amazon Athena將幫助我們進一步實現(xiàn)上述想法。”
JW Player是全世界流行的視頻播放器之一,JW Player公司也是領先的數(shù)字和移動視頻解決方案提供商。JW Player在超過200萬個網(wǎng)站上運行,面向OTT、手機、平板電腦、臺式電腦等各種設備,月觀看人數(shù)超過130億次。JW Player公司工程副總裁Rick Okin表示:“我們使用組合平臺支撐JW數(shù)據(jù)分析狀態(tài)顯示板(JW Analytics Dashboard),通過橫跨大型數(shù)據(jù)集的數(shù)據(jù)分析衡量內(nèi)容的效果。我們每天定期接收超過40億個事件的信息,并不斷尋找能夠簡化大型數(shù)據(jù)集處理、同時降低成本和復雜性的解決方案。Amazon Athena為我們提供了一種簡便易用、快速、經(jīng)濟且無需管理的解決方案。令我們欣喜的是,我們無需擔心集群或數(shù)據(jù)倉庫問題,只需將數(shù)據(jù)放在S3中、使用Apache Parquet等開源格式以實現(xiàn)與其余數(shù)據(jù)棧的互操作性、運行SQL查詢即可。”
Tableau公司幫助人們查看和理解數(shù)據(jù)。該公司首席開發(fā)官Andrew Beers表示:“我們的使命是,盡可能讓更多人獲得數(shù)據(jù),這樣人們就可以根據(jù)所獲信息采取行動,改變世界。我們與AWS合作很長時間了,我們的解決方案與Amazon Redshift、Amazon EMR和Amazon RDS實現(xiàn)了原生集成。宣布支持Amazon Athena也令我們倍感振奮。憑借Tableau解決方案和Amazon Athena,客戶可以經(jīng)濟地以互動方式虛擬化其存儲在Amazon S3中的所有數(shù)據(jù),而且無需管理基礎設施。”
客戶可以通過AWS管理控制臺使用Amazon Athena。Amazon Athena已開始在美國東部地區(qū)(弗吉尼亞州北部)和美國西部地區(qū)(俄勒岡州)提供,并將在未來幾個月擴展至美國其余地區(qū)。
關于 Amazon Web Services
近10年來,Amazon Web Services(AWS)一直是世界上服務和應用廣泛的云服務平臺。通過位于美國、澳大利亞、巴西、中國、德國、愛爾蘭、日本、韓國、新加坡以及印度等 14 個不同區(qū)域的38個可用區(qū)(AZ),AWS向客戶提供70多項功能全面的服務,包括計算、存儲、數(shù)據(jù)庫、分析、移動、物聯(lián)網(wǎng)(IoT)和企業(yè)應用等。AWS的服務獲得了全球上百萬客戶的青睞,包括發(fā)展迅速的初創(chuàng)公司、大型企業(yè)和政府機構。通過AWS的服務,客戶能夠有效地強化自身基礎設施,提高敏捷度并降低成本?! ?/p>
關于亞馬遜公司(Amazon.com)
亞馬遜公司(Amazon.com)成立于1995年7月。公司秉承四大原則:顧客至尚而不是專注于競爭對手;對創(chuàng)新發(fā)明充滿熱情;追求卓越運營;進行長遠的思考。公司開創(chuàng)了諸多創(chuàng)新服務,包括客戶評價、一鍵下單、個性化推薦、Prime會員服務、亞馬遜配送、亞馬遜云計算服務、Kindle直接出版( Kindle Direct Publishing)、Kindle、Fire tablets以及 Fire TV 等。