分析大數(shù)據(jù),R語言和Linux系統(tǒng)比較有幫助,運用到的方法原理可以翻翻大學(xué)的統(tǒng)計學(xué),不需要完全理解,重在應(yīng)用。
分析簡單數(shù)據(jù),Excel就可以了。Excel本意就是智能,功能很強,容易上手。我沒有見過有人說自己精通Excel的,最多是熟悉Excel。Excel的函數(shù)可以幫助你處理大部分數(shù)據(jù)。
數(shù)據(jù)分析是指用適當?shù)慕y(tǒng)計分析方法對收集來的大量數(shù)據(jù)進行分析,提取有用信息和形成結(jié)論而對數(shù)據(jù)加以詳細研究和概括總結(jié)的過程。這一過程也是質(zhì)量管理體系的支持過程。在實用中,數(shù)據(jù)分析可幫助人們作出判斷,以便采取適當行動。
數(shù)據(jù)分析的數(shù)學(xué)基礎(chǔ)在20世紀早期就已確立,但直到計算機的出現(xiàn)才使得實際操作成為可能,并使得數(shù)據(jù)分析得以推廣。數(shù)據(jù)分析是數(shù)學(xué)與計算機科學(xué)相結(jié)合的產(chǎn)物。
“啤酒與尿布”的故事產(chǎn)生于20世紀90年代的美國沃爾瑪超市中,沃爾瑪?shù)某泄芾砣藛T分析銷售數(shù)據(jù)時發(fā)現(xiàn)了一個令人難于理解的現(xiàn)象:在某些特定的情況下,“啤酒”與“尿布”兩件看上去毫無關(guān)系的商品會經(jīng)常出現(xiàn)在同一個購物籃中,這種獨特的銷售現(xiàn)象引起了管理人員的注意,經(jīng)過后續(xù)調(diào)查發(fā)現(xiàn),這種現(xiàn)象出現(xiàn)在年輕的父親身上。
在美國有嬰兒的家庭中,一般是母親在家中照看嬰兒,年輕的父親前去超市購買尿布。父親在購買尿布的同時,往往會順便為自己購買啤酒,這樣就會出現(xiàn)啤酒與尿布這兩件看上去不相干的商品經(jīng)常會出現(xiàn)在同一個購物籃的現(xiàn)象。如果這個年輕的父親在賣場只能買到兩件商品之一,則他很有可能會放棄購物而到另一家商店, 直到可以一次同時買到啤酒與尿布為止。沃爾瑪發(fā)現(xiàn)了這一獨特的現(xiàn)象,開始在賣場嘗試將啤酒與尿布擺放在相同的區(qū)域,讓年輕的父親可以同時找到這兩件商品,并很快地完成購物;而沃爾瑪超市也可以讓這些客戶一次購買兩件商品、而不是一件,從而獲得了很好的商品銷售收入,這就是“啤酒與尿布” 故事的由來。
當然“啤酒與尿布”的故事必須具有技術(shù)方面的支持。1993年美國學(xué)者Agrawal提出通過分析購物籃中的商品集合,從而找出商品之間關(guān)聯(lián)關(guān)系的關(guān)聯(lián)算法,并根據(jù)商品之間的關(guān)系,找出客戶的購買行為。艾格拉沃從數(shù)學(xué)及計算機算法角度提 出了商品關(guān)聯(lián)關(guān)系的計算方法——Aprior算法。沃爾瑪從上個世紀 90 年代嘗試將 Aprior 算 法引入到 POS機數(shù)據(jù)分析中,并獲得了成功,于是產(chǎn)生了“啤酒與尿布”的故事。
數(shù)據(jù)分析落實到實處,一般就是圍繞用戶漏斗展開的。也就是人們常說的訪問-激活-留存-交易-推薦。
這核心的5步會有不同維度的細分。
獲客:來源、渠道、關(guān)鍵字、著陸頁、地域、設(shè)備、訪問時間、跳出率、訪問深度、停留時間、新客量等等;
激活:DAU(日活躍用戶)、MAU(月活躍用戶)
留存:日留存率、周留存率、月留存率
交易:訂單量、訂單金額、LTV
推薦:是否傳播(k>1)
需要獲取以上數(shù)據(jù),可以通過ptengine通過漏斗細分得到可視化圖表。一般來講,同比(本周和上周)、環(huán)比(本月第一周和上月第一周)、定基比(所有數(shù)據(jù)和當年第一周)即可獲得數(shù)據(jù)的變化情況。
以上,其實不用很專業(yè)也能做好數(shù)據(jù)分析,獲取數(shù)據(jù)并不難,難的是你能洞察數(shù)據(jù)背后的意義。
使用R語言的時候,如果是少量數(shù)據(jù),不妨使用c()或其他函數(shù)進行創(chuàng)建;但是對于大量數(shù)據(jù),最好還是先通過其他更方便的軟件創(chuàng)建數(shù)據(jù)文件,然后使用R讀入這個文件。
.csv是非常好的數(shù)據(jù)文件格式,跨平臺支持非常好。我在Excel或者SPSS中創(chuàng)建的數(shù)據(jù),只要存為csv格式,就可以使用幾乎任何數(shù)據(jù)處理軟件對這些數(shù)據(jù)進行處理了。使用通用格式在多人合作、不同版本兼容等常見行為中,優(yōu)勢十分明顯。另外,之所以使用不同的數(shù)據(jù)處理軟件,第一,可以取長補短。比如有些工作SPSS很復(fù)雜的,可以用R語言幾行命令搞定。第二,可以進行軟件間處理結(jié)果對照,發(fā)現(xiàn)問題。
R語言中讀取外部文件的最基本函數(shù)是read.table(),還有用來讀csv的read.csv(), .csv是非常好的數(shù)據(jù)文件格式,跨平臺支持非常好。
輸入help(read.table)命令,就看到了關(guān)于數(shù)據(jù)輸入函數(shù)的說明。
框內(nèi)的數(shù)字是行變量和列變量之間的相關(guān)系數(shù)R,相關(guān)系數(shù)R絕對值越大,顏色越深(紅正,藍負)。統(tǒng)計學(xué)中,P值越小相關(guān)性越顯著,一般來說 一個*代表顯著相關(guān)(P值為0.01,選取不同參數(shù)可能不一樣)、兩個**代表極顯著相關(guān)(P值為0.001)、三個***代表極極顯著相關(guān)(P值為0.0001). 圖中還可以看出,相關(guān)系數(shù)R的絕對值0.67(變量P50與T之間)以上的都顯著相關(guān),至少一個*。符合一般關(guān)于相關(guān)系數(shù)R值的顯著性統(tǒng)計。
處理工程數(shù)據(jù)一般有三種方法:數(shù)據(jù)程序化處理、數(shù)據(jù)文件化處理、數(shù)據(jù)庫處理。
數(shù)據(jù)程序化處理的優(yōu)點是:充分將數(shù)據(jù)與程序結(jié)合在了一起。其缺點是數(shù)據(jù)無法共享,增加了程序的長度。
數(shù)據(jù)文件化處理的優(yōu)點是:數(shù)據(jù)與程序作了初步的分離,實現(xiàn)了有條件的共享。其缺點有四點:①文件只能表示事物而不能表示事物之間的聯(lián)系;②文件較長;③數(shù)據(jù)與應(yīng)用程序之間仍有依賴關(guān)系;④安全性和保密性較差。
數(shù)據(jù)庫處理的優(yōu)點是:①數(shù)據(jù)共享,②數(shù)據(jù)集中,安全性和保密性好。③數(shù)據(jù)結(jié)構(gòu)化,既表示了事物,又表示了事物之間的聯(lián)系。
其缺點是:數(shù)據(jù)與應(yīng)用程序無關(guān)聯(lián)。
如果說數(shù)據(jù)挖掘是一門手藝,那么R語言就是工匠手里一種工具,要做出一件價值連城的藝術(shù)品需要先“利其器”,但更關(guān)鍵的是工匠能夠“集百家之長,成一家之言“自成一派的創(chuàng)造力。
正所謂”操千曲而后曉聲,觀千劍而后識器"。建議初學(xué)者先了解一些機器學(xué)習(xí)的基礎(chǔ)理論以及典型的應(yīng)用領(lǐng)域?qū)嵗?,定下自己想要研究的方向后與行業(yè)相結(jié)合,然后再學(xué)習(xí)工具的使用。
R語言經(jīng)典圖書推薦:
《R in Action-Data Analysis and Graphics with R》鏈接:R語言實戰(zhàn) (豆瓣)
這本書從實用的統(tǒng)計研究角度,每一章節(jié)結(jié)合實際的例子講解了R在創(chuàng)建數(shù)據(jù)集、繪制圖形、數(shù)據(jù)管理、以及模型構(gòu)建的使用方法,堪稱經(jīng)典。前兩部分屬于R基本功能介紹,第三部分以后才是精髓開始(包括了回歸分析、方差分析、功效分析、廣義線性模型、主成分和因子分析等統(tǒng)計方法詳細的實例分析)。
《數(shù)據(jù)之魅-基于開源工具的數(shù)據(jù)分析》鏈接:數(shù)據(jù)之魅 (豆瓣)
作者是華盛頓大學(xué)理論物理學(xué)博士。這本書是數(shù)據(jù)分析系列著作的經(jīng)典之一,包含大量的R語言模擬過程及結(jié)果展示,例舉了很多數(shù)據(jù)分析實例和代碼。吃透以后就能夠?qū)φ麄€數(shù)據(jù)挖掘的流程有一個全方位的了解。
轉(zhuǎn)載
數(shù)據(jù)分析師的工作一定要好好把握。關(guān)于數(shù)據(jù)分析師的思路和方法,小編覺得是這樣的:
首先,你要明白什么是數(shù)據(jù)分析;
第二你要知道數(shù)據(jù)分析的目的;
第三、清楚數(shù)據(jù)分析的分類以及作用:現(xiàn)狀分析、原因分析、預(yù)測分析第四,如何進行數(shù)據(jù)分析:
1.明確目的和思路
2.數(shù)據(jù)收集
3.數(shù)據(jù)處理
4.數(shù)據(jù)分析
數(shù)據(jù)處理好之后,就要進行數(shù)據(jù)分析,數(shù)據(jù)分析是用適當?shù)姆治龇椒肮ぞ?,對處理過的數(shù)據(jù)進行分析,提取有價值的信息,形成有效結(jié)論的過程。
常用的數(shù)據(jù)分析工具,掌握Excel的數(shù)據(jù)透視表,就能解決大多數(shù)的問題。需要的話,可以再有針對性的學(xué)習(xí)SPSS、SAS等。
數(shù)據(jù)挖掘是一種高級的數(shù)據(jù)分析方法,你需要掌握數(shù)據(jù)挖掘基礎(chǔ)理論,數(shù)據(jù)庫操作Phython,R語言, Java 等編程語言的使用以及高級的數(shù)據(jù)可視化技術(shù)。要側(cè)重解決四類數(shù)據(jù)分析問題:分類、聚類、關(guān)聯(lián)和預(yù)測,重點在尋找模式與規(guī)律。
5.數(shù)據(jù)展現(xiàn)
一般情況下,數(shù)據(jù)是通過表格和圖形的方式來呈現(xiàn)的。常用的數(shù)據(jù)圖表包括餅圖、柱形圖、條形圖、折線圖、氣泡圖、散點圖、雷達圖等。進一步加工整理變成我們需要的圖形,如金字塔圖、矩陣圖、漏斗圖、帕雷托圖等。
圖表制作的五個步驟:
確定要表達主題;確定哪種圖表最適合;選擇數(shù)據(jù)制作圖表;檢查是否真實;反映數(shù)據(jù)檢查是否表達觀點
6.報告撰寫
數(shù)據(jù)分析的四大誤區(qū)
1.目的不明確,為了做而作,導(dǎo)致分析效果不明確;
2.對與行業(yè)、公司業(yè)務(wù)還有其他考慮因素認知不清楚,分析結(jié)果偏離實際。
3.為了方法而方法,為了工具而工具,只要能解決問題的方法和工具就是好的方法和工具;
4.數(shù)據(jù)本身是客觀的,但被解讀出來的數(shù)據(jù)是主觀的。同樣的數(shù)據(jù)由不同的人分析很可能得出完全相反的結(jié)論,所以一定不能提前帶著觀點去分析。
每個人都有自己的工作特點和方法傾向,不過對于數(shù)據(jù)分析這種很有邏輯的工作,邏輯思路一定要處理清楚,該遵從的客觀標準還是要嚴格遵守,而且數(shù)據(jù)分析只有產(chǎn)生了價值,你做的這份工作才算真在發(fā)揮了作用。
聲明:本網(wǎng)站尊重并保護知識產(chǎn)權(quán),根據(jù)《信息網(wǎng)絡(luò)傳播權(quán)保護條例》,如果我們轉(zhuǎn)載的作品侵犯了您的權(quán)利,請在一個月內(nèi)通知我們,我們會及時刪除。
蜀ICP備2020033479號-4 Copyright ? 2016 學(xué)習(xí)鳥. 頁面生成時間:2.813秒