小白學(xué)數(shù)據(jù)分析之TwoSteps理論篇+實(shí)踐篇
昨天分享了以前學(xué)習(xí)的聚類分析算法K-Means的部分知識(shí)，其實(shí)這個(gè)主要是了解一下這個(gè)算法的原理和適用條件就行了，作為應(yīng)用而不是作為深入研究，能夠很好的將業(yè)務(wù)和算法模型緊密結(jié)合的又有幾人呢？所以一些基本知識(shí)還是很必要的，這里就是簡(jiǎn)單把看過的一些知識(shí)點(diǎn)列舉一下，梳理一下，快速了解和使用。
今天把TwoSteps的知識(shí)也梳理一下，順便做個(gè)小的演示，使用SPSS 19，后續(xù)在使用SPSS Modeler或者叫做Clementine再演示一次使用方法。首先上圖。
TwoSteps支持?jǐn)?shù)值型和分類型數(shù)據(jù)，這對(duì)于我們而言在使用時(shí)就方便很多，此外游戲數(shù)據(jù)一般來說都很大，TwoStep在這方面來說還是很具有優(yōu)勢(shì)的，數(shù)據(jù)迭代過程中的內(nèi)存消耗和聚類數(shù)目確定，TwoStep表現(xiàn)的都很好，兩步聚類避免了距離矩陣過大，導(dǎo)致算法執(zhí)行效率下降，而這也是優(yōu)勢(shì)所在。好了以上的信息看多也沒什么意義，還是看看怎么實(shí)踐吧。
最近換了工作，開始做手機(jī)網(wǎng)游的數(shù)據(jù)分析，也是想嘗試一下，面臨一個(gè)問題就是游戲的留存比較差勁，想來想去就拿這個(gè)做一個(gè)聚類分析的例子吧。
首先，這里選取的是次日留存用戶數(shù)據(jù)進(jìn)行分析，之所以選擇次日，是由游戲的特點(diǎn)決定的，再者手機(jī)游戲的周期相對(duì)短一些，所以如果考慮周，雙周就不是很好了（當(dāng)然也不是絕對(duì)的），其實(shí)3日留存也可以選擇，只是需要了解你自己的游戲具體情況再做判斷。
其次，選擇什么時(shí)間的次日留存數(shù)據(jù)分析呢？這個(gè)問題困擾了我很長時(shí)間，因?yàn)楸旧矸治鲂碌峭婕掖稳盏顷懙哪遣糠秩后w的特征（其實(shí)這樣分類的方式已經(jīng)有些破壞了聚類分析的本質(zhì)和訴求），我選取的時(shí)間是周五（為什么是周五，這里不說了，大家自己想），且從時(shí)間上，全部渠道（手機(jī)游戲渠道很多）均以開放，且離最近的開放的渠道有一段周期（數(shù)據(jù)平穩(wěn)后）。同時(shí)游戲沒有重大的更新，BUG，調(diào)整時(shí)期。
第三，既然要做聚類分析，那我們選什么數(shù)據(jù)作分析，提取特征呢？我們要做的是提取次日留存用戶的特征，因此，根據(jù)需要我們提取了一些用戶的數(shù)據(jù)點(diǎn)，如下圖所示：
其實(shí)，還有很多的數(shù)據(jù)，然而這里很多都是取不出來的（2進(jìn)制，你懂得），由于分析的是次日留存，因此用戶的游戲進(jìn)程大多數(shù)不會(huì)很長，這里也只會(huì)取一些和新登用戶關(guān)聯(lián)比較大的，比如來源，職業(yè)，好友，是否付費(fèi)，等級(jí)（最高和最低等級(jí)）。其實(shí)按照我們分析的圍堵不同還可以取其他的數(shù)據(jù)，這里就是一個(gè)演示，請(qǐng)見諒。下面就用SPSS 19演示一下怎么進(jìn)行該計(jì)算過程。
打開“菜單|分類|兩步聚類”，如下圖所示：
彈出的菜單如下：
此時(shí)，要進(jìn)行變量選擇，如果是分類變量，就選擇進(jìn)入分類變量，如果是連續(xù)變量，就選擇進(jìn)入連續(xù)變量，選擇如下：
距離變量：確定計(jì)算兩個(gè)變量之間的相似性，對(duì)數(shù)相似值系統(tǒng)使用對(duì)數(shù)似然距離計(jì)算，而歐式距離是以全體變量為連續(xù)性變量為前提的，由于我們的數(shù)據(jù)中存在分類型變量，因此這里選擇對(duì)數(shù)相似值。
聚類數(shù)量：允許指定如何確定聚類數(shù)。如果自動(dòng)確定將會(huì)使用聚類準(zhǔn)則中指定的準(zhǔn)則[BIC 或者 AIC]，自動(dòng)確定最佳的聚類數(shù)，或者設(shè)置最大值。也可以指定一個(gè)固定值，不過一般來說就自動(dòng)確定OK了。
連續(xù)變量計(jì)數(shù)：對(duì)一個(gè)變量是否進(jìn)行標(biāo)準(zhǔn)化的設(shè)置。
點(diǎn)擊選項(xiàng)，彈出如下的面板
離群值處理：這里主要是針對(duì)CF填滿后，如何對(duì)離群值的處理。IBM SPSS手冊(cè)如下所訴：
“如果選擇噪聲處理且 CF 樹填滿，則在將稀疏葉子中的個(gè)案放到“噪聲”葉子中后，樹將重新生長。如果某個(gè)葉子包含的個(gè)案數(shù)占最大葉大小的百分比小于指定的百分比，則將該葉子視為稀疏的。樹重新生長之后，如有可能，離群值將放置在 CF 樹中。否則，將放棄離群值。
如果不選擇噪聲處理且 CF 樹填滿，則它將使用較大的距離更改閾值來重新生長。最終聚類之后，不能分配到聚類的變量標(biāo)記為離群值。離群值聚類被賦予標(biāo)識(shí)號(hào)–1，并且不包含在聚類數(shù)的計(jì)數(shù)中。”
關(guān)于噪聲處理，此處默認(rèn)即可。
內(nèi)存分配：指定聚類算法應(yīng)使用的最大的內(nèi)存量。如果該過程超過了此最大值，則將使用磁盤存儲(chǔ)內(nèi)存中放不下的信息。此項(xiàng)默認(rèn)就行了。
連續(xù)變量的標(biāo)準(zhǔn)化：聚類算法處理標(biāo)準(zhǔn)化連續(xù)變量。
點(diǎn)擊輸出：彈出界面如下
圖和表：
“顯示模型相關(guān)的輸出，包括表和圖表。模型視圖中的表包括模型摘要和聚類-特征網(wǎng)格。模型視圖中的圖形輸出包括聚類質(zhì)量圖表、聚類大小、變量重要性、聚類比較網(wǎng)格和單元格信息。”有點(diǎn)用。
評(píng)估字段：“這可為未在聚類創(chuàng)建中使用的變量計(jì)算聚類數(shù)據(jù)。通過在“顯示”子對(duì)話框中選擇評(píng)估字段，可以在模型查看器中將其與輸入特征一起顯示。帶有缺失值的字段將被忽略”可以不用理。
OK，此時(shí)，點(diǎn)擊繼續(xù)，然后確定，等待計(jì)算結(jié)果出來，這時(shí)首先彈出的是查看器：
之后雙擊這個(gè)模型，就會(huì)彈出來聚類瀏覽器：
以下介紹該瀏覽器的信息來自于IBM SPSS的官方手冊(cè)，詳見：http://www.dmacn.com/viewthread.php?tid=78&extra=page%3D1
“聚類瀏覽器”包含兩個(gè)面板，主視圖位于左側(cè)，鏈接或輔助視圖位于右側(cè)。有兩個(gè)主視圖：
模型摘要（默認(rèn)視圖）
分群。
有四個(gè)鏈接/輔助視圖：
預(yù)測(cè)變量的重要性.
聚類大?。J(rèn)視圖）
單元格分布。
聚類比較。
“模型摘要”視圖顯示聚類模型的快照或摘要，包括加陰影以表示結(jié)果較差、尚可或良好的聚類結(jié)合和分離的 Silhouette 測(cè)量。該快照可讓您快速檢查質(zhì)量是否較差，如果較差，可返回建模節(jié)點(diǎn)修改聚類模型設(shè)置以生成較好的結(jié)果。
結(jié)果較差、尚可和良好是基于 Kaufman 和 Rousseeuw (1990) 關(guān)于聚類結(jié)構(gòu)解釋的研究成果來判定的。在“模型摘要”視圖中，良好的結(jié)果表示數(shù)據(jù)將 Kaufman 和 Rousseeuw 的評(píng)級(jí)反映為聚類結(jié)構(gòu)的合理跡象或強(qiáng)跡象，尚可的結(jié)果將其評(píng)級(jí)反映為弱跡象，而較差的結(jié)果將其評(píng)級(jí)反映為無明顯跡象。Silhouette 測(cè)量所有記錄的平均值，(B A) / max(A,B)，其中 A 是記錄與其聚類中心的距離，B 是記錄與其非所屬最近聚類中心的距離。Silhouette 系數(shù)為 1 表示所有個(gè)案直接位于其聚類中心上。 值為 1 表示所有個(gè)案位于某些其他聚類的聚類中心上。值為 0
表示在正常情況下個(gè)案到其自身聚類中心與到最近其他聚類中心是等距的。
摘要所包含的表格具有以下信息：
算法。所使用的聚類算法，例如“二階”。
輸入功能。字段數(shù)量，也稱為輸入或預(yù)測(cè)變量。
分群。解中聚類的數(shù)量。
原文鏈接：http://www.cnblogs.com/yuyang-DataAnalysis/archive/2012/06/14/2549662.html
【編輯推薦】
