Python文本數(shù)據(jù)分析：文本相似度

　　今天的Python培訓(xùn)，我們講解一下什么是文本相似度。在自然語言處理中，經(jīng)常會涉及度量兩個文本的相似性問題，在諸如信息檢索、數(shù)據(jù)挖掘、機(jī)器翻譯、文檔復(fù)制檢測等領(lǐng)域中，如何度量句子或短語之間的相似度顯得尤為重要。

　　文本相似度的衡量計算主要包括如下三種方法：

　　(1)基于關(guān)鍵字匹配的傳統(tǒng)方法，比如N-gram相似度。

　　(2)將文本映射到向量空間，再利用余弦相似度等方法進(jìn)行計算。

　　(3)基于深度學(xué)習(xí)的方法，比如卷積神經(jīng)網(wǎng)絡(luò)的ConvNet、用戶點(diǎn)擊數(shù)據(jù)的深度學(xué)習(xí)語義匹配模型DSSM等。

　　隨著深度學(xué)習(xí)的發(fā)展，文本相似度的方法已經(jīng)逐漸不再是基于關(guān)鍵詞匹配的傳統(tǒng)方法，而是轉(zhuǎn)向了深度學(xué)習(xí)，目前結(jié)合向量的深度學(xué)習(xí)使用較多，因此，這里我們采用第二種方式來計算文本的相似度，一般的實(shí)現(xiàn)步驟如下。

　　(1)通過特征提取的模型或手動實(shí)現(xiàn)，找出這兩篇文章的關(guān)鍵詞。

　　(2)從每篇文章中取出若干個關(guān)鍵詞(比如10個)，把這些關(guān)鍵詞合并成一個集合，然后計算每篇文章中各個詞對于這個集合中的關(guān)鍵詞詞頻。為了避免文章長度的差異，可以使用相對詞頻。

　　(3)生成兩篇文章中各自的詞頻向量。

　　(4)計算兩個向量的余弦相似度，值越大則表示越相似。

　　我們都知道，文本是一種高維的語義空間，要想計算兩個文本的相似度，可以先將它們轉(zhuǎn)化為向量，站在數(shù)學(xué)角度上去量化其相似性，這樣就比較簡單了。那么，如何把文本轉(zhuǎn)化成向量呢?一般，我們會使用詞頻(某一給定詞語在文檔中出現(xiàn)的次數(shù))來表示文本特征，若某個詞在這些文本中出現(xiàn)的次數(shù)最多，則表示這個單詞比較具有代表性。