1. 數(shù)據采集 了解數(shù)據采集的意義在于真正了解數(shù)據的原始面貌,包括數(shù)據產生的時間、條件、格式、內容、長度、限制條件等。這會幫助數(shù)據分析師更有針對性的控制數(shù)據生產和采集過程,避免由于違反數(shù)據采集規(guī)則導致的數(shù)據問題;同時,對數(shù)據采集邏輯的認識增加了數(shù)據分析師對數(shù)據的理解程度,尤其是數(shù)據中的異常變化。 比如: Omniture中的Prop變量長度只有100個字符,在數(shù)據采集部署過程中就不能把含有大量中文描述的文字賦值給Prop變量(超過的字符會被截斷)。 在Webtrekk323之前的Pixel版本,單條信息默認最多只能發(fā)送不超過2K的數(shù)據。當頁面含有過多變量或變量長度有超出限定的情況下,在保持數(shù)據收集的需求下,通常的解決方案是采用多個sendinfo方法分條發(fā)送;而在325之后的Pixel版本,單條信息默認最多可以發(fā)送7K數(shù)據量,非常方便的解決了代碼部署中單條信息過載的問題。(Webtrekk基于請求量付費,請求量越少,費用越低)。 當用戶在離線狀態(tài)下使用APP時,數(shù)據由于無法聯(lián)網而發(fā)出,導致正常時間內的數(shù)據統(tǒng)計分析延遲。直到該設備下次聯(lián)網時,數(shù)據才能被發(fā)出并歸入當時的時間。這就產生了不同時間看相同歷史時間的數(shù)據時會發(fā)生數(shù)據有出入。 在數(shù)據采集階段,數(shù)據分析師需要更多的了解數(shù)據生產和采集過程中的異常情況,如此才能更好的追本溯源。另外,這也能很大程度上避免“垃圾數(shù)據進導致垃圾數(shù)據出”的問題。
2.數(shù)據存儲 無論數(shù)據存儲于云端還是本地,數(shù)據的存儲不只是我們看到的數(shù)據庫那么簡單。 比如: 數(shù)據存儲系統(tǒng)是MySql、Oracle、SQL Server還是其他系統(tǒng)。 數(shù)據倉庫結構及各庫表如何關聯(lián),星型、雪花型還是其他。 生產數(shù)據庫接收數(shù)據時是否有一定規(guī)則,比如只接收特定類型字段。 生產數(shù)據庫面對異常值如何處理,強制轉換、留空還是返回錯誤。 生產數(shù)據庫及數(shù)據倉庫系統(tǒng)如何存儲數(shù)據,名稱、含義、類型、長度、精度、是否可為空、是否唯一、字符編碼、約束條件規(guī)則是什么。 接觸到的數(shù)據是原始數(shù)據還是ETL后的數(shù)據,ETL規(guī)則是什么。 數(shù)據倉庫數(shù)據的更新更新機制是什么,全量更新還是增量更新。 不同數(shù)據庫和庫表之間的同步規(guī)則是什么,哪些因素會造成數(shù)據差異,如何處理差異的。 在數(shù)據存儲階段,數(shù)據分析師需要了解數(shù)據存儲內部的工作機制和流程,最核心的因素是在原始數(shù)據基礎上經過哪些加工處理,最后得到了怎樣的數(shù)據。由于數(shù)據在存儲階段是不斷動態(tài)變化和迭代更新的,其及時性、完整性、有效性、一致性、準確性很多時候由于軟硬件、內外部環(huán)境問題無法保證,這些都會導致后期數(shù)據應用問題。
3.數(shù)據提取 數(shù)據提取是將數(shù)據取出的過程,數(shù)據提取的核心環(huán)節(jié)是從哪取、何時取、如何取。 從哪取,數(shù)據來源——不同的數(shù)據源得到的數(shù)據結果未必一致。 何時取,提取時間——不同時間取出來的數(shù)據結果未必一致。 如何取,提取規(guī)則——不同提取規(guī)則下的數(shù)據結果很難一致。 在數(shù)據提取階段,數(shù)據分析師首先需要具備數(shù)據提取能力。常用的Select From語句是SQL查詢和提取的必備技能,但即使是簡單的取數(shù)工作也有不同層次。第一層是從單張數(shù)據庫中按條件提取數(shù)據的能力,where是基本的條件語句;第二層是掌握跨庫表提取數(shù)據的能力,不同的join有不同的用法;第三層是優(yōu)化SQL語句,通過優(yōu)化嵌套、篩選的邏輯層次和遍歷次數(shù)等,減少個人時間浪費和系統(tǒng)資源消耗。 其次是理解業(yè)務需求的能力,比如業(yè)務需要“銷售額”這個字段,相關字段至少有產品銷售額和產品訂單金額,其中的差別在于是否含優(yōu)惠券、運費等折扣和費用。包含該因素即是訂單金額,否則就是產品單價×數(shù)量的產品銷售額。
4.數(shù)據挖掘 數(shù)據挖掘是面對海量數(shù)據時進行數(shù)據價值提煉的關鍵,以下是算法選擇的基本原則: 沒有最好的算法,只有最適合的算法,算法選擇的原則是兼具準確性、可操作性、可理解性、可應用性。 沒有一種算法能解決所有問題,但精通一門算法可以解決很多問題。 挖掘算法最難的是算法調優(yōu),同一種算法在不同場景下的參數(shù)設定相同,實踐是獲得調優(yōu)經驗的重要途徑。 在數(shù)據挖掘階段,數(shù)據分析師要掌握數(shù)據挖掘相關能力。一是數(shù)據挖掘、統(tǒng)計學、數(shù)學基本原理和常識;二是熟練使用一門數(shù)據挖掘工具,Clementine、SAS或R都是可選項,如果是程序出身也可以選擇編程實現(xiàn);三是需要了解常用的數(shù)據挖掘算法以及每種算法的應用場景和優(yōu)劣差異點。
5.數(shù)據分析 數(shù)據分析相對于數(shù)據挖掘更多的是偏向業(yè)務應用和解讀,當數(shù)據挖掘算法得出結論后,如何解釋算法在結果、可信度、顯著程度等方面對于業(yè)務的實際意義,如何將挖掘結果反饋到業(yè)務操作過程中便于業(yè)務理解和實施是關鍵。
6.數(shù)據展現(xiàn) 數(shù)據展現(xiàn)即數(shù)據可視化的部分,數(shù)據分析師如何把數(shù)據觀點展示給業(yè)務的過程。數(shù)據展現(xiàn)除遵循各公司統(tǒng)一規(guī)范原則外,具體形式還要根據實際需求和場景而定。 基本素質要求如下: 工具。PPT、Excel、Word甚至郵件都是不錯的展現(xiàn)工具,任意一個工具用好都很強大。 形式。圖文并茂的基本原則更易于理解,生動、有趣、互動、講故事都是加分項。 原則。領導層喜歡讀圖、看趨勢、要結論,執(zhí)行層歡看數(shù)、讀文字、看過程。 場景。大型會議PPT最合適,匯報說明Word最實用,數(shù)據較多時Excel更方便。 最重要一點,數(shù)據展現(xiàn)永遠輔助于數(shù)據內容,有價值的數(shù)據報告才是關鍵。
7.數(shù)據應用 數(shù)據應用是數(shù)據具有落地價值的直接體現(xiàn),這個過程需要數(shù)據分析師具備數(shù)據溝通能力、業(yè)務推動能力和項目工作能力。 數(shù)據溝通能力。深入淺出的數(shù)據報告、言簡意賅的數(shù)據結論更利于業(yè)務理解和接受,打比方、舉例子都是非常實用的技巧。 業(yè)務推動能力。在業(yè)務理解數(shù)據的基礎上,推動業(yè)務落地實現(xiàn)數(shù)據建議。從業(yè)務最重要、最緊急、最能產生效果的環(huán)節(jié)開始是個好方法,同時要考慮到業(yè)務落地的客觀環(huán)境,即好的數(shù)據結論需要具備客觀落地條件。 項目工作能力。數(shù)據項目工作是循序漸進的過程,無論是一個數(shù)據分析項目還是數(shù)據產品項目,都需要數(shù)據分析師具備計劃、領導、組織、控制的項目工作能力。
部分文章來源與網絡,若有侵權請聯(lián)系站長刪除!