分析大型數(shù)據(jù)需要綜合運用數(shù)據(jù)處理、統(tǒng)計學、機器學習和領域知識等技術和方法。悉尼大學DATA2001就是一門關于這個的課程，這篇文章為大家簡單介紹一下大型數(shù)據(jù)分析。

一、課程概覽

本課程側重于有效探索和分析大型數(shù)據(jù)集的方法和技術。一個城市的行人事故熱點在哪里?根據(jù)用戶在旅游網(wǎng)站上發(fā)布的信息，哪些是最受歡迎的旅游地點?結合和分析來自不同來源和數(shù)據(jù)庫的數(shù)據(jù)的能力對于研究和行業(yè)的知情決策都至關重要。學生將學習如何從關系型、半結構型、時間序列型、地理空間型、圖像型和文本型等數(shù)據(jù)科學項目中常見的各種數(shù)據(jù)模型中攝取、組合和匯總數(shù)據(jù)。

除了通過使用相關 Python 庫加強編程技能外，本課程還將向學生介紹使用 SQL 進行聲明式數(shù)據(jù)處理的概念，以及在關系數(shù)據(jù)庫中分析數(shù)據(jù)。學生將獲得來自社交媒體、交通、健康和社會科學等領域的數(shù)據(jù)集，并在小型使用案例中學習基本的探索性數(shù)據(jù)分析和挖掘技術。課程還將進一步讓學生了解分析海量數(shù)據(jù)所面臨的挑戰(zhàn)，例如在多臺計算機之間分割和分配數(shù)據(jù)和計算以處理 "大數(shù)據(jù) "的想法。

二、分析數(shù)據(jù)集的 6 個步驟

1.清理數(shù)據(jù)

數(shù)據(jù)整理又稱數(shù)據(jù)清理，是指從數(shù)據(jù)集中發(fā)現(xiàn)并糾正或消除不準確或重復記錄的過程。在數(shù)據(jù)整理過程中，您將把原始數(shù)據(jù)轉換成更有用的格式，為分析做好準備。

在開始分析之前，必須先清理數(shù)據(jù)。如果您要向業(yè)務團隊展示您的研究結果，這一點尤為重要，因為業(yè)務團隊可能會將數(shù)據(jù)用于決策目的。團隊需要確信他們是根據(jù)可靠的信息源采取行動的。

2.確定正確的問題

完成清理過程后，您可能會對最終數(shù)據(jù)集產(chǎn)生很多疑問。通過分析可以挖掘出很多潛力。

確定您希望通過分析回答的最重要問題。這些問題應易于測量，并與特定業(yè)務問題密切相關。如果分析請求來自業(yè)務團隊，請他們提供明確的細節(jié)，說明他們希望了解什么、期望了解什么以及如何使用這些信息。您可以利用他們的意見來決定哪些問題在分析中優(yōu)先考慮。

3.將數(shù)據(jù)細分

將數(shù)據(jù)集細分為更小、更明確的組別通常很有幫助。對數(shù)據(jù)進行細分不僅可以使您的分析更易于管理，而且還能使分析保持在正確的軌道上。

例如，如果您想回答有關特定部門績效的問題，您就需要按部門對數(shù)據(jù)進行細分。這樣，您就能深入了解您所關注的群體，并確定每個群體之間可能存在的任何關系。

4.將數(shù)據(jù)可視化

數(shù)據(jù)分析最重要的部分之一是數(shù)據(jù)可視化，它是指創(chuàng)建數(shù)據(jù)圖形表示的過程。數(shù)據(jù)可視化將幫助您輕松識別任何趨勢或模式以及明顯的異常值。

通過創(chuàng)建引人入勝的可視化數(shù)據(jù)表示，您還能有效地向關鍵利益相關者傳達您的發(fā)現(xiàn)，他們可以迅速從可視化數(shù)據(jù)中得出結論。

您可以使用多種數(shù)據(jù)可視化工具來自動生成數(shù)據(jù)集的可視化表示，如 Microsoft Excel、Tableau 和 Google Charts。

5.使用數(shù)據(jù)回答問題

在對數(shù)據(jù)進行清理、整理、轉換和可視化之后，重新審視您在數(shù)據(jù)分析過程開始時提出的問題。解釋您的結果，并確定數(shù)據(jù)是否有助于您回答最初的問題。

如果結果沒有定論，請嘗試重新檢查分析過程中的前一個步驟。也許你的數(shù)據(jù)集太大，應該進一步細分，也許有一種不同類型的可視化更適合你的數(shù)據(jù)。

6.補充定性數(shù)據(jù)

最后，在分析即將結束時，請記住數(shù)據(jù)集只是拼圖的一部分。

將定量研究結果與定性信息結合起來至關重要，您可以使用問卷、訪談或推薦信來獲取定性信息。雖然數(shù)據(jù)集能夠告訴您發(fā)生了什么，但定性信息往往可以幫助您了解發(fā)生這種情況的原因。

海馬課堂專業(yè)課程輔導，2100+嚴選碩博學霸師資，針對學生的薄弱科目和學校教學進度，匹配背景相符的導師，根據(jù)學生情況進行1V1專屬備課，上課時間靈活安排，中英雙語詳細講解課程中的考點、 難點問題，并提供多方位的課后輔導，輔助學生掌握全部課程知識，補足短板。