文本相似度算法

因為輿情監測這邊涉及到一些文本相似度的判斷，實作把一類新聞的分類到同一個主新聞下。有點類似baidu相似新聞的搞法。所有抽時間看了些簡單的文本相似度算法。

下面是之前看的萊文斯坦距離算法。大家可以bing一下理論，這裡直接上code。

def levenshtein_distance(first, second):

    if len(first) == 0 or len(second) == 0:
        return len(first) + len(second)
    first_length = len(first) + 1
    second_length = len(second) + 1
    distance_matrix = [list(range(second_length)) for i in list(range(first_length))] # 初始化矩陣
    for i in range(1, first_length):
        for j in range(1, second_length):
            deletion = distance_matrix[i-1][j] + 1
            insertion = distance_matrix[i][j-1] + 1
            substitution = distance_matrix[i-1][j-1]
            if first[i-1] != second[j-1]:
                substitution += 1
            distance_matrix[i][j] = min(insertion, deletion, substitution)
    return distance_matrix[first_length-1][second_length-1]


if __name__ == '__main__':
    print(levenshtein_distance(u"我們不要垃圾消息", u"A垃圾資訊我們不要")) # 運作結果為：2
           

import Levenshtein  

a =r"C:/Users/Administrator/Desktop/a.txt"

b =r'C:/Users/Administrator/Desktop/b.txt'

aa = ""
bb = ""
with open(a,'r') as f:
    aa = f.read()

with open (b, 'r') as f1:
    bb = f1.read()

print(Levenshtein.distance(a,b))
print(Levenshtein.hamming(a,b))


print(Levenshtein.ratio(aa,bb))
           

下面的截圖是從網上抄襲過來的。我覺得對于說明這個算法很好。