數(shù)據(jù)挖掘是通過清理原始數(shù)據(jù)、發(fā)現(xiàn)模式、創(chuàng)建模型并測試這些模型來理解數(shù)據(jù)的過程。它包括統(tǒng)計學、機器學習和數(shù)據(jù)庫系統(tǒng)。數(shù)據(jù)挖掘通常包括多個數(shù)據(jù)項目，所以很容易與分析、數(shù)據(jù)治理和其他數(shù)據(jù)處理過程相混淆。如果大家在學習數(shù)據(jù)挖掘的過程中遇到難題，可以直接點擊藍字與海馬課堂的老師進行咨詢哦！

本指南將定義數(shù)據(jù)挖掘，分享其好處和挑戰(zhàn)，并回顧數(shù)據(jù)挖掘的工作原理。數(shù)據(jù)挖掘有著悠久的歷史。它在 20 世紀 60 年代到 80 年代隨著計算的發(fā)展而出現(xiàn)。在歷史上，數(shù)據(jù)挖掘是一個密集的手動編碼過程 —— 即使在今天，它仍然需要編碼能力和知識淵博的專家來清理、處理和解釋數(shù)據(jù)挖掘結(jié)果。數(shù)據(jù)專家需要統(tǒng)計知識和一些編程語言知識才能準確地完成數(shù)據(jù)挖掘技術(shù)。

一、數(shù)據(jù)挖掘不完全等同于數(shù)據(jù)分析

如前所述，數(shù)據(jù)挖掘可能會與其他數(shù)據(jù)項目相混淆。數(shù)據(jù)挖掘過程包括數(shù)據(jù)清理和探索性分析等項目，但它不僅僅是這些實踐。數(shù)據(jù)挖掘?qū)＜仪謇砗蜏蕚鋽?shù)據(jù)，創(chuàng)建模型，根據(jù)假設測試這些模型，并發(fā)布這些模型以供分析或商業(yè)智能項目使用。換句話說，分析和數(shù)據(jù)清理是數(shù)據(jù)挖掘的一部分，但它們只是整體的一部分。

二、數(shù)據(jù)挖掘的好處

當戰(zhàn)略性地部署數(shù)據(jù)挖掘以服務于業(yè)務目標、回答業(yè)務或研究問題或成為問題解決方案的一部分時，數(shù)據(jù)挖掘最為有效。數(shù)據(jù)挖掘有助于進行準確的預測、識別模式和異常值，并經(jīng)常為預測提供信息。此外，數(shù)據(jù)挖掘幫助組織識別流程中的差距和錯誤，例如供應鏈中的瓶頸或不適當?shù)臄?shù)據(jù)輸入。

三、數(shù)據(jù)挖掘的工作原理

數(shù)據(jù)挖掘的第一步幾乎總是數(shù)據(jù)收集。如今的組織每天都可以收集記錄、日志、網(wǎng)站訪問者數(shù)據(jù)、應用程序數(shù)據(jù)、銷售數(shù)據(jù)等等。收集和映射數(shù)據(jù)是理解可以對相關(guān)數(shù)據(jù)進行哪些操作和提出哪些問題的良好第一步?？缧袠I(yè)數(shù)據(jù)挖掘標準流程(CRISP-DM)是啟動數(shù)據(jù)挖掘過程的優(yōu)秀指南。這個標準是幾十年前創(chuàng)建的，對于剛剛起步的組織來說仍然是一個流行的范例。

四、CRISP-DM 的六個階段

CRISP-DM 包括一個六階段工作流程。它被設計為具有靈活性;如果需要，數(shù)據(jù)團隊可以并被鼓勵返回到前一個階段。該模型還為幫助執(zhí)行或增強其中一些任務的軟件平臺提供了機會。

1.業(yè)務理解

全面的數(shù)據(jù)挖掘項目首先確定項目目標和范圍。業(yè)務利益相關(guān)者將提出一個數(shù)據(jù)挖掘可以回答或解決的問題。

2.數(shù)據(jù)理解

一旦理解了業(yè)務問題，就該收集與問題相關(guān)的數(shù)據(jù)并了解數(shù)據(jù)集。這些數(shù)據(jù)通常來自多個來源，包括結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)。這個階段可能包括一些探索性分析以揭示一些初步模式。在這個階段結(jié)束時，數(shù)據(jù)挖掘團隊已經(jīng)選擇了用于分析和建模的數(shù)據(jù)集子集。

3.數(shù)據(jù)準備

這個階段開始進行更深入的工作。數(shù)據(jù)準備涉及準備最終數(shù)據(jù)集，其中包括回答業(yè)務問題所需的所有相關(guān)數(shù)據(jù)。利益相關(guān)者將確定要探索的維度和變量，并準備最終數(shù)據(jù)集以進行模型創(chuàng)建。

4.建模

在這個階段，你將為給定的數(shù)據(jù)選擇適當?shù)慕＜夹g(shù)。這些技術(shù)可以包括聚類、預測模型、分類、估計或它們的組合。Front Health 使用統(tǒng)計建模和預測分析來決定是否將醫(yī)療保健計劃擴展到其他人群。如果你選擇的建模技術(shù)需要選擇其他變量或準備一些不同的數(shù)據(jù)源，你可能需要返回到數(shù)據(jù)準備階段。

5.評估

在創(chuàng)建模型后，你需要測試它們并衡量它們在回答第一階段確定的問題方面的成功程度。模型可能會回答一些未考慮到的方面的問題，你可能需要編輯模型或問題。這個階段旨在讓你查看迄今為止的進展，并確保它在實現(xiàn)業(yè)務目標的正確軌道上。如果不是，在項目準備進入部署階段之前，可能需要返回到前面的步驟。

6.部署

最后，一旦模型準確可靠，就可以在現(xiàn)實世界中部署它了。部署可以在組織內(nèi)部進行，可以與客戶共享，或者可以用于為利益相關(guān)者生成報告以證明其可靠性。當最后一行代碼完成時，工作并沒有結(jié)束;部署需要仔細考慮、推出計劃以及確保正確的人得到適當通知的方法。數(shù)據(jù)挖掘團隊負責讓受眾理解項目。

海馬課堂，4000+嚴選碩博學霸師資，針對學生的薄弱科目和學校教學進度，匹配背景相符的導師，根據(jù)學生情況進行1V1專屬備課，上課時間靈活安排，中英雙語詳細講解課程中的考點、 難點問題，并提供多方位的課后輔導，輔助學生掌握全部課程知識，補足短板。
海馬課堂服務煥新，六大模塊強勢護航！包括定制規(guī)劃報告、心靈輔導、免費公益課、提分規(guī)劃及單項與組合課業(yè)輔導。學習教練助力 GPA 提升與職業(yè)發(fā)展，緩解壓力焦慮，清理負面情緒，提升自信，滿足不同學習需求。