數(shù)據(jù)工程是設(shè)計(jì)和構(gòu)建系統(tǒng)的過程，讓人們能夠收集和分析來自多種來源和格式的原始數(shù)據(jù)。這些系統(tǒng)使人們能夠找到數(shù)據(jù)的實(shí)際應(yīng)用，從而使企業(yè)得以蓬勃發(fā)展。這篇文章為大家?guī)砻绹?strong>數(shù)據(jù)工程專業(yè)課堂學(xué)習(xí)指南。

一、數(shù)據(jù)工程為何重要?

各種規(guī)模的公司都有大量不同的數(shù)據(jù)需要梳理，以回答關(guān)鍵的業(yè)務(wù)問題。數(shù)據(jù)工程旨在支持這一過程，使數(shù)據(jù)消費(fèi)者(如分析師、數(shù)據(jù)科學(xué)家和高管)能夠可靠、快速和安全地檢查所有可用數(shù)據(jù)。

數(shù)據(jù)分析具有挑戰(zhàn)性，因?yàn)閿?shù)據(jù)由不同的技術(shù)管理，并存儲(chǔ)在不同的結(jié)構(gòu)中。然而，用于分析的工具卻假定數(shù)據(jù)由相同的技術(shù)管理并存儲(chǔ)在相同的結(jié)構(gòu)中。這種裂痕會(huì)讓任何試圖回答業(yè)務(wù)績效問題的人頭疼不已。

例如，考慮一個(gè)品牌收集的有關(guān)其客戶的所有數(shù)據(jù)：

一個(gè)系統(tǒng)包含賬單和發(fā)貨信息

另一個(gè)系統(tǒng)保存訂單歷史記錄

其他系統(tǒng)存儲(chǔ)客戶支持、行為信息和第三方數(shù)據(jù)

這些數(shù)據(jù)結(jié)合在一起，提供了一個(gè)全面的客戶視圖。然而，這些不同的數(shù)據(jù)集都是獨(dú)立的，這就很難回答某些問題，比如哪類訂單導(dǎo)致的客戶支持成本最高。

數(shù)據(jù)工程將這些數(shù)據(jù)集統(tǒng)一起來，讓您快速高效地找到問題的答案。

二、數(shù)據(jù)工程師做什么?

數(shù)據(jù)工程是一種需求量越來越大的技能。數(shù)據(jù)工程師負(fù)責(zé)設(shè)計(jì)統(tǒng)一數(shù)據(jù)的系統(tǒng)，并幫助您瀏覽數(shù)據(jù)。數(shù)據(jù)工程師執(zhí)行許多不同的任務(wù)，包括

獲取：查找業(yè)務(wù)中所有不同的數(shù)據(jù)集

清理：查找和清理數(shù)據(jù)中的任何錯(cuò)誤

轉(zhuǎn)換：為所有數(shù)據(jù)提供通用格式

消除歧義：解釋可能有多種解釋方式的數(shù)據(jù)

重復(fù)數(shù)據(jù)刪除刪除重復(fù)的數(shù)據(jù)副本

完成上述工作后，數(shù)據(jù)可存儲(chǔ)在中央存儲(chǔ)庫中，如數(shù)據(jù)湖或數(shù)據(jù)湖房。數(shù)據(jù)工程師還可以將數(shù)據(jù)子集復(fù)制并移動(dòng)到數(shù)據(jù)倉庫中。

三、為什么需要通過數(shù)據(jù)工程處理數(shù)據(jù)?

數(shù)據(jù)工程師在設(shè)計(jì)、運(yùn)行和支持為現(xiàn)代數(shù)據(jù)分析提供動(dòng)力的日益復(fù)雜的環(huán)境方面發(fā)揮著至關(guān)重要的作用。一直以來，數(shù)據(jù)工程師都在精心設(shè)計(jì)數(shù)據(jù)倉庫模式，其表結(jié)構(gòu)和索引旨在快速處理查詢，以確保足夠的性能。隨著數(shù)據(jù)湖的興起，數(shù)據(jù)工程師需要管理更多的數(shù)據(jù)，并將其交付給下游數(shù)據(jù)消費(fèi)者進(jìn)行分析。存儲(chǔ)在數(shù)據(jù)湖中的數(shù)據(jù)可能是非結(jié)構(gòu)化和未格式化的--在業(yè)務(wù)從中獲取價(jià)值之前，數(shù)據(jù)工程師需要關(guān)注這些數(shù)據(jù)。

幸運(yùn)的是，一旦通過數(shù)據(jù)工程對(duì)數(shù)據(jù)集進(jìn)行了全面清理和格式化，數(shù)據(jù)集就能更容易、更快速地讀取和理解。由于企業(yè)在不斷地創(chuàng)建數(shù)據(jù)，因此找到能夠自動(dòng)完成其中一些流程的軟件非常重要。

正確的軟件堆棧可以從數(shù)據(jù)中提取大量信息和價(jià)值，為數(shù)據(jù)創(chuàng)建端到端的旅程，即 "數(shù)據(jù)管道"。當(dāng)信息通過管道時(shí)，可能會(huì)經(jīng)過多次轉(zhuǎn)換、豐富和匯總。

四、數(shù)據(jù)工程工具和技能

數(shù)據(jù)工程師使用許多不同的工具來處理數(shù)據(jù)。他們使用一套專業(yè)技能來創(chuàng)建端到端數(shù)據(jù)管道，將數(shù)據(jù)從源系統(tǒng)傳送到目標(biāo)目的地。

數(shù)據(jù)工程師使用各種工具和技術(shù)，包括

ETL 工具：ETL(提取、轉(zhuǎn)換、加載)工具在系統(tǒng)間移動(dòng)數(shù)據(jù)。它們?cè)L問數(shù)據(jù)，然后應(yīng)用規(guī)則，通過各種步驟 "轉(zhuǎn)換 "數(shù)據(jù)，使其更適合分析。

SQL：結(jié)構(gòu)化查詢語言(SQL)是查詢關(guān)系數(shù)據(jù)庫的標(biāo)準(zhǔn)語言。

PythonPython 是一種通用編程語言。數(shù)據(jù)工程師可以選擇使用 Python 來完成 ETL 任務(wù)。

云數(shù)據(jù)存儲(chǔ)：包括 Amazon S3、Azure Data Lake Storage (ADLS)、Google Cloud Storage 等。

查詢引擎：引擎針對(duì)數(shù)據(jù)運(yùn)行查詢以返回答案。數(shù)據(jù)工程師可以使用 Dremio Sonar、Spark、Flink 等引擎。

海馬課堂專業(yè)課程輔導(dǎo)，2100+嚴(yán)選碩博學(xué)霸師資，針對(duì)學(xué)生的薄弱科目和學(xué)校教學(xué)進(jìn)度，匹配背景相符的導(dǎo)師，根據(jù)學(xué)生情況進(jìn)行1V1專屬備課，上課時(shí)間靈活安排，中英雙語詳細(xì)講解課程中的考點(diǎn)、 難點(diǎn)問題，并提供多方位的課后輔導(dǎo)，輔助學(xué)生掌握全部課程知識(shí)，補(bǔ)足短板。