自然語(yǔ)言處理(NLP)是指計(jì)算機(jī)程序理解人類口語(yǔ)和書(shū)面語(yǔ)言(即自然語(yǔ)言)的能力。它是人工智能(AI)的一個(gè)組成部分。NLP 已有 50 多年的歷史，源于語(yǔ)言學(xué)領(lǐng)域。它在醫(yī)學(xué)研究、搜索引擎和商業(yè)智能等多個(gè)領(lǐng)域都有廣泛的實(shí)際應(yīng)用。

一、關(guān)于COMP5046

本單元介紹計(jì)算語(yǔ)言學(xué)以及用于自動(dòng)處理自然語(yǔ)言(如英語(yǔ)或中文)的統(tǒng)計(jì)技術(shù)和算法。它將回顧理解統(tǒng)計(jì)自然語(yǔ)言處理(NLP)所需的核心統(tǒng)計(jì)和信息理論以及基礎(chǔ)語(yǔ)言學(xué)。統(tǒng)計(jì)自然語(yǔ)言處理應(yīng)用廣泛，包括信息檢索和提取、問(wèn)題解答、機(jī)器翻譯、文檔分類和聚類。

本單元將探討自然語(yǔ)言對(duì)計(jì)算建模的關(guān)鍵挑戰(zhàn)，以及關(guān)鍵 NLP 子任務(wù)的最新方法，包括標(biāo)記化、形態(tài)分析、詞義表示、語(yǔ)音部分標(biāo)記、命名實(shí)體識(shí)別和其他信息提取、文本分類、短語(yǔ)結(jié)構(gòu)解析和依賴解析。您將在實(shí)驗(yàn)和作業(yè)中完成其中的許多子任務(wù)。本單元還將研究注釋過(guò)程，該過(guò)程是為統(tǒng)計(jì) NLP 系統(tǒng)創(chuàng)建訓(xùn)練數(shù)據(jù)的核心。作為完成實(shí)際 NLP 任務(wù)的一部分，您將對(duì)數(shù)據(jù)進(jìn)行注釋。

二、自然語(yǔ)言處理是如何工作的?

自然語(yǔ)言處理能讓計(jì)算機(jī)像人類一樣理解自然語(yǔ)言。無(wú)論是口頭語(yǔ)言還是書(shū)面語(yǔ)言，自然語(yǔ)言處理都是利用人工智能接收現(xiàn)實(shí)世界的輸入信息，對(duì)其進(jìn)行處理，并以計(jì)算機(jī)能夠理解的方式加以理解。就像人類有不同的傳感器，比如耳朵可以聽(tīng)，眼睛可以看，計(jì)算機(jī)也有程序可以閱讀，麥克風(fēng)可以收集音頻。就像人類有大腦來(lái)處理輸入信息一樣，計(jì)算機(jī)也有程序來(lái)處理各自的輸入信息。在處理過(guò)程中，輸入會(huì)被轉(zhuǎn)換成計(jì)算機(jī)能夠理解的代碼。

自然語(yǔ)言處理主要分為兩個(gè)階段：數(shù)據(jù)預(yù)處理和算法開(kāi)發(fā)。

數(shù)據(jù)預(yù)處理包括準(zhǔn)備和 "清理 "文本數(shù)據(jù)，以便機(jī)器能夠?qū)ζ溥M(jìn)行分析。預(yù)處理將數(shù)據(jù)轉(zhuǎn)換成可操作的形式，并突出文本中的特征，以便算法能夠使用。有幾種方法可以做到這一點(diǎn)，包括：

標(biāo)記化。這是將文本分解成更小的單位來(lái)處理。

刪除停滯詞。這是從文本中刪除常用詞，從而保留能提供最多文本信息的獨(dú)特詞。

詞母化和詞干化。這是將單詞還原為詞根形式進(jìn)行處理。

語(yǔ)音部分標(biāo)記。這是指根據(jù)詞的語(yǔ)篇(如名詞、動(dòng)詞和形容詞)對(duì)詞進(jìn)行標(biāo)記。

三、自然語(yǔ)言處理為何重要?

企業(yè)需要使用大量非結(jié)構(gòu)化的文本數(shù)據(jù)，因此需要一種高效處理這些數(shù)據(jù)的方法。在線創(chuàng)建并存儲(chǔ)在數(shù)據(jù)庫(kù)中的大量信息都是人類的自然語(yǔ)言，而直到最近，企業(yè)還無(wú)法有效地分析這些數(shù)據(jù)。這就是自然語(yǔ)言處理的用武之地。

從以下兩句話中可以看出自然語(yǔ)言處理的優(yōu)勢(shì)："云計(jì)算保險(xiǎn)應(yīng)成為每份服務(wù)水平協(xié)議的一部分"，以及 "良好的服務(wù)水平協(xié)議可確保一夜好眠--即使是在云中"。如果用戶依靠自然語(yǔ)言處理進(jìn)行搜索，程序會(huì)識(shí)別出云計(jì)算是一個(gè)實(shí)體，云是云計(jì)算的縮寫(xiě)形式，SLA 是服務(wù)級(jí)別協(xié)議的行業(yè)縮寫(xiě)。

這些都是人類語(yǔ)言中經(jīng)常出現(xiàn)的模糊元素，而機(jī)器學(xué)習(xí)算法歷來(lái)不擅長(zhǎng)解釋這些模糊元素?，F(xiàn)在，隨著深度學(xué)習(xí)和機(jī)器學(xué)習(xí)方法的改進(jìn)，算法可以有效地解釋它們。這些改進(jìn)拓展了可分析數(shù)據(jù)的廣度和深度。

海馬課堂專業(yè)課程輔導(dǎo)做出以下新改變啦：
?試聽(tīng)課全面升級(jí)，不滿意退50%，
?課程輔導(dǎo)產(chǎn)品升級(jí)，贈(zèng)送考前保障呦
?輔導(dǎo)不滿意可以隨心退！
海馬課堂，3500+嚴(yán)選碩博學(xué)霸師資，針對(duì)學(xué)生的薄弱科目和學(xué)校教學(xué)進(jìn)度，匹配背景相符的導(dǎo)師，根據(jù)學(xué)生情況進(jìn)行1V1專屬備課，上課時(shí)間靈活安排，中英雙語(yǔ)詳細(xì)講解課程中的考點(diǎn)、 難點(diǎn)問(wèn)題，并提供多方位的課后輔導(dǎo)，輔助學(xué)生掌握全部課程知識(shí)，補(bǔ)足短板。