scipy 计算向量的余弦相似度

使用scipy 计算预选值

from scipy.spatial import distance

print(1-distance.cosine([1,0],[0,1]))
           

具体 应用：使用bert 计算 相似度

import keras_bert
from scipy.spatial import distance
# bert 模型地址自己设定
model = 'chinese_L-12_H-768_A-12'

texts_1 = '爽肤水、柔肤水、洁肤水、精华水、紧肤水、化妆水、精萃液、凝露水、化妆液、保湿水、轻盈露、vc水、珍珠水、纯露、调理液、芦荟水、光感水、美肌水、焕白水、精华露、活能水、收敛水、滋养液、平衡水、湿敷水、养肤液、补水液'.split('、')

texts_2 = '防晒霜、防晒乳、防晒喷雾、防晒露、防晒啫喱'.split('、')
# 批量预测 bert 向量 ，其中poolings 有三种方式POOL_NSP = 'POOL_NSP'
# POOL_MAX = 'POOL_MAX'
# POOL_AVE = 'POOL_AVE'
vec_1 =  keras_bert.extract_embeddings(model,texts_1,poolings=keras_bert.POOL_AVE)

vec_2 = keras_bert.extract_embeddings(model,texts_2,poolings=keras_bert.POOL_AVE)

for i in range(len(vec_1)):
    for j in range(i+1,len(vec_1)):
        cos = 1 - distance.cosine(vec_1[i],vec_1[j])
        print("{}和{}相似度{}".format(texts_1[i],texts_1[j],cos))
    break


for i in range(len(vec_1)):
    for j in range(0,len(vec_2)):
        cos = 1 - distance.cosine(vec_1[i],vec_2[j])
        print("{}和{}相似度{}".format(texts_1[i],texts_2[j],cos))
    break

for i in range(len(vec_2)):
    for j in range(i+1,len(vec_2)):
        cos = 1 - distance.cosine(vec_2[i],vec_2[j])
        print("{}和{}相似度{}".format(texts_2[i],texts_2[j],cos))
    break

vec_3 = keras_bert.extract_embeddings(model,['刮胡刀','剃须刀'],poolings=keras_bert.POOL_AVE)
cos = 1 - distance.cosine(vec_3[0],vec_3[1])
print("{}和{}相似度{}".format('刮胡刀','剃须刀',cos))