在開始之前，再次強調(diào)一下：

• 本內(nèi)容為高頻常用的數(shù)據(jù)處理操作對比，不涉及底層技術(shù)問題，煩請愛鉆牛角的杠精繞行。
• 本內(nèi)容盡量簡單直白、詳細步驟，適合數(shù)據(jù)分析入門。特別喜歡技術(shù)語言的大佬們，可自行跳過。

 

[[330440]]

關(guān)于網(wǎng)友的留言，老海也反饋一下自己的看法

之前有網(wǎng)友留言說：

• “SQL從來不是工具，它是語言!”

說實話，我很吃驚。在我的理解中，語言的本質(zhì)就是工具，而百度百科也是這樣定義的：

語言即傳遞信息的聲音。是人類最重要的交際工具,是人們進行溝通的主要表達方式

自然語言也好、計算機語言、數(shù)據(jù)庫語言也好，就是人與人、人與機之間溝通的一種編碼解碼工具。

 

語言作為一種溝通工具，通常需要通過一定的實體載體來記錄和傳達，不能獨立存在。

就如英語是門語言，也是溝通工具，而聽、說、讀、寫是它的傳達方式，是工具化的載體。

SQL也是一樣，它是語言工具，而MySQL、HiveSQL等等數(shù)據(jù)庫工具都是它的設計表達載體。

 

[[330441]]

回頭看我們?yōu)槭裁匆獙W英語?，為什么要學Python?，為什么要學SQL?

相信你的理由，絕對不僅僅它是一門語言或者文化，否則只會像高中應試外語那么難受!

更多的時候是出于實現(xiàn)某種目的，而刺激我們主動去尋找這樣一種可以實現(xiàn)思考溝通的工具

總之，語言即是工具。凡是工具，不拘一格，皆為所用!

還有網(wǎng)友留言說：

• “Power BI 只是可視化厲害一點兒，其他都不行”

OK，我們來看看這幾年P(guān)owerBI發(fā)展趨勢，你會發(fā)現(xiàn)它比Tableau更加強大，與其他BI產(chǎn)品的差異也是越來越大，這與微軟本身的用戶環(huán)境和軟件家族存在很大關(guān)系。

 

2020

 

2019年

再來看看招聘網(wǎng)站上的要求，PowerBI近幾年開始逐步成為主力工具，比如運營部門、財務部門、商業(yè)分析等覆蓋的業(yè)務范圍越來越廣。

 

餓了吧招聘要求

 

阿里招聘要求

以前Python一直是我的主力工具，可是現(xiàn)在老海強推Power BI，甚至建議首選它來做商業(yè)分析

一個公式：Power BI 數(shù)據(jù)分析流程 = PQ + PP + PV

即PowerQuery—數(shù)據(jù)處理查詢、PowerPivot—數(shù)據(jù)結(jié)構(gòu)建模、PowerView—數(shù)據(jù)圖表可視化

這個流程順序，也是所有分析工具都通用的套路，使用起來自然相當順手舒服。

 

[[330442]]

而且Power BI可以徹底解決很多在Python或者Excel中讓人煩透了的問題，比如：

• 做個圖表再也不用寫Python幾十甚至上百行的代碼，也不用調(diào)整N多了Excel圖表參數(shù)。
• 做個表格直接星型連接，再也不用pandas來回join、也不用Excel迷之效果的VLOOKUP函數(shù)
• 做個分析，前期用Python處理數(shù)據(jù)，后期用Excel出圖表，現(xiàn)在直接PowerBI搞定!

具體的這里不多說了，感興趣的可以看看我的問答，里面專門有寫到。

總之，老海認為：Power BI絕非只有可視化，相信隨著版本迭代，未來足可代替Exce甚至是Python

OK，我們回過來繼續(xù)對比Excel、SQL、PowerBI與Python

之前已經(jīng)介紹了數(shù)據(jù)準備和導入，不了解的可自行翻看之前的文章。

今天涉及數(shù)據(jù)的查看與篩選，廢話不多說直接上操作演示：

查看與篩選數(shù)據(jù)

當使用Excel時：

第一步：可以先觀察一下數(shù)據(jù)情況，比如行數(shù)、列數(shù)，首行以及尾行，

可以使用shift + ctrl + 方向鍵 ↓ ，直接拉到底部查看

 

查看行數(shù)&列數(shù)

使用shift + ctrl + 方向鍵 ↑，來查看最前面的數(shù)據(jù)情況

 

查看最前面的數(shù)據(jù)

第二步：也可以選中整個列來查看特定字段的數(shù)據(jù)情況

 

特定字段

第三步：或者查看前10行數(shù)據(jù)

 

前10行

第四步：查看最大或者最小的前10行數(shù)據(jù)

 

最大前10行

第五步：查看不同數(shù)據(jù)列的空值情況

 

第六步：查看符合某個條件的數(shù)據(jù)情況

 

 

第7步：選擇“篩選”中的“高級”，可以進行多條件篩選數(shù)據(jù)，比如同時滿足天津市購買量大于2、武漢市購買量大于3

 

第8步：高級篩選也可以實現(xiàn)多條件或關(guān)系篩選數(shù)據(jù)，即滿足其中一個條件即可。

 

第9步：查看特定列名去重的數(shù)據(jù)情況，可以選擇“數(shù)據(jù)”中的“刪除重復項”來實現(xiàn)

 

 

也可以通過“數(shù)據(jù)”中“篩選”下的“高級”來完成，此處注意勾選“不重復的記錄”

 

第10步：查看去重后數(shù)據(jù)的統(tǒng)計情況，此方法類似于python的value_couts

 

當使用SQL時：

第1步：查看數(shù)據(jù)情況

 

第2步：查看前10行數(shù)據(jù)

 

第3步：查看某個條件的數(shù)據(jù)，比如查看門店城市為天津的數(shù)據(jù)

 

第4步：查看滿足多個條件中任一個的數(shù)據(jù)，比如查看天津或者武漢的數(shù)據(jù)

 

第5步：查看特定列名數(shù)據(jù)

 

第6步：查看特定列名的去重后數(shù)據(jù)的統(tǒng)計數(shù)量。比如門店城市共計多少

 

第7步：查看特定列名去重數(shù)據(jù)，查看去重后的具體城市名稱

 

第8步：查看非空值記錄與空值記錄

 

 

當使用Power BI時：

第1步：查看數(shù)據(jù)基本情況，在“主頁”下選擇“轉(zhuǎn)換數(shù)據(jù)”，進入PQ編輯器，查看數(shù)據(jù)。

 

第2步：選中某個字段，在左下角可以查看非重復值的數(shù)量

 

第3步：在PQ編輯器中，可以使用各類查看功能，比如保留最前幾行、最后幾行等等

 

第4步：查看特定的字段列數(shù)據(jù)，點擊“選擇列”來篩選特定的字段列即可

 

第5步：查看符合某個條件的數(shù)據(jù)情況，可點擊字段右側(cè)的下拉箭頭來篩選

 

 

 

第6步：查看去重后的數(shù)量統(tǒng)計情況，可以使用PQ編輯器中“轉(zhuǎn)換”下的“統(tǒng)計信息”中的“對非重復值進行計數(shù)”

 

第7步：查看不同數(shù)據(jù)值的統(tǒng)計情況，點擊字段右側(cè)箭頭，選擇“分組依據(jù)”，設置分組字段以及計算的方式，即可完成分組統(tǒng)計。

 

 

 

當使用Python時：

第1步：查看數(shù)據(jù)情況，主要看看是否存在亂碼，以及數(shù)據(jù)的整體規(guī)模是否正確

 

第2步：查看數(shù)據(jù)前10行情況，主要查看不同字段下的數(shù)據(jù)格式情況，當然還可使用.dtypes查看當前字段的數(shù)據(jù)類型是否合理。

 

 

第3步：查看特定列的數(shù)據(jù)，一般建議使用loc、iloc進行切片操作。

 

第4步：查看滿足某個條件的數(shù)據(jù)，一般使用loc，配合條件篩選

 

第5步：查看滿足多個條件中任一條件的數(shù)據(jù)，除了isin，還可以使用或與非的關(guān)系組合

 

第6步：查看是否存在空值，關(guān)于空值NULL，Nan的內(nèi)容，可翻閱老海之前的文章

 

第7步：查看特定列去重后的數(shù)據(jù)，以及統(tǒng)計個數(shù)。

 

 

OK，限于篇幅和時間，本篇內(nèi)容先到這里了。老海原本計劃3篇完成，看來需要5篇才能全部寫完。

歡迎關(guān)注后續(xù)內(nèi)容，涉及更新與刪除、分組聚合、多表關(guān)聯(lián)、多表聯(lián)合、排序與分組、存儲與導出等操作。