簡單的問答已經(jīng)實現(xiàn)了,那么問題也跟著出現(xiàn)了,我不能確定問題一定是"你叫什么名字",也有可能是"你是誰","你叫啥"之類的,這就引出了人工智能中的另一項技術(shù):

自然語言處理(NLP) : 大概意思就是 讓計算機明白一句話要表達(dá)的意思,NLP就相當(dāng)于計算機在思考你說的話,讓計算機知道"你是誰","你叫啥","你叫什么名字"是一個意思

這就要做 : 語義相似度

接下來我們用Python大法來實現(xiàn)一個簡單的自然語言處理

現(xiàn)在又要用到Python強大的三方庫了

第一個是將中文字符串進行分詞的庫叫 jieba

pip install jieba

我們通常把這個庫叫做 結(jié)巴分詞 確實是結(jié)巴分詞,而且這個詞庫是 made in china , 基本用一下這個結(jié)巴分詞:

import jieba

key_word = "你叫什么名字" # 定義一句話,基于這句話進行分詞

cut_word = jieba.cut(key_word) # 使用結(jié)巴分詞中的cut方法對"你叫什么名字" 進行分詞

print(cut_word) # 不懂生成器的話,就忽略這里

cut_word_list = list(cut_word) # 如果不明白生成器的話,這里要記得把生成器對象做成列表

print(cut_word_list) # ['你', '叫', '什么', '名字']

測試代碼就很明顯了,它很清晰的把咱們的中文字符串轉(zhuǎn)為列表存儲起來了

第二個是一個語言訓(xùn)練庫叫 gensim

pip install gensim

這個訓(xùn)練庫很厲害, 里面封裝很多機器學(xué)習(xí)的算法, 是目前人工智能的主流應(yīng)用庫,這個不是很好理解, 需要一定的Python數(shù)據(jù)處理的功底

import jieba

import gensim

from gensim import corpora

from gensim import models

from gensim import similarities

l1 = ["你的名字是什么", "你今年幾歲了", "你有多高你胸多大", "你胸多大"]

a = "你今年多大了"

all_doc_list = []

for doc in l1:

doc_list = [word for word in jieba.cut(doc)]

all_doc_list.append(doc_list)

print(all_doc_list)

doc_test_list = [word for word in jieba.cut(a)]

# 制作語料庫

dictionary = corpora.Dictionary(all_doc_list) # 制作詞袋

# 詞袋的理解

# 詞袋就是將很多很多的詞,進行排列形成一個 詞(key) 與一個 標(biāo)志位(value) 的字典

# 例如: {'什么': 0, '你': 1, '名字': 2, '是': 3, '的': 4, '了': 5, '今年': 6, '幾歲': 7, '多': 8, '有': 9, '胸多大': 10, '高': 11}

# 至于它是做什么用的,帶著問題往下看

print("token2id", dictionary.token2id)

print("dictionary", dictionary, type(dictionary))

corpus = [dictionary.doc2bow(doc) for doc in all_doc_list]

# 語料庫:

# 這里是將all_doc_list 中的每一個列表中的詞語 與 dictionary 中的Key進行匹配

# 得到一個匹配后的結(jié)果,例如['你', '今年', '幾歲', '了']

# 就可以得到 [(1, 1), (5, 1), (6, 1), (7, 1)]

# 1代表的的是 你 1代表出現(xiàn)一次, 5代表的是 了 1代表出現(xiàn)了一次, 以此類推 6 = 今年 , 7 = 幾歲

print("corpus", corpus, type(corpus))

# 將需要尋找相似度的分詞列表 做成 語料庫 doc_test_vec

doc_test_vec = dictionary.doc2bow(doc_test_list)

print("doc_test_vec", doc_test_vec, type(doc_test_vec))

# 將corpus語料庫(初識語料庫) 使用Lsi模型進行訓(xùn)練

lsi = models.LsiModel(corpus)

# 這里的只是需要學(xué)習(xí)Lsi模型來了解的,這里不做闡述

print("lsi", lsi, type(lsi))

# 語料庫corpus的訓(xùn)練結(jié)果

print("lsi[corpus]", lsi[corpus])

# 獲得語料庫doc_test_vec 在 語料庫corpus的訓(xùn)練結(jié)果 中的 向量表示

print("lsi[doc_test_vec]", lsi[doc_test_vec])

# 文本相似度

# 稀疏矩陣相似度 將 主 語料庫corpus的訓(xùn)練結(jié)果 作為初始值

index = similarities.SparseMatrixSimilarity(lsi[corpus], num_features=len(dictionary.keys()))

print("index", index, type(index))

# 將 語料庫doc_test_vec 在 語料庫corpus的訓(xùn)練結(jié)果 中的 向量表示 與 語料庫corpus的 向量表示 做矩陣相似度計算

sim = index[lsi[doc_test_vec]]

print("sim", sim, type(sim))

# 對下標(biāo)和相似度結(jié)果進行一個排序,拿出相似度最高的結(jié)果

# cc = sorted(enumerate(sim), key=lambda item: item[1],reverse=True)

cc = sorted(enumerate(sim), key=lambda item: -item[1])

print(cc)

text = l1[cc[0][0]]

print(a,text)

前方高能

3，jieba gensim 最好別分家之最簡單的相似度實現(xiàn)

簡單的問答已經(jīng)實現(xiàn)了,那么問題也跟著出現(xiàn)了,我不能確定問題一定是"你叫什么名字",也有可能是"你是誰","你叫啥"之類的,這就引出了人工智能 ...

jieba gensim 最好別分家之最簡單的相似度實現(xiàn)

簡單的問答已經(jīng)實現(xiàn)了,那么問題也跟著出現(xiàn)了,我不能確定問題一定是"你叫什么名字",也有可能是"你是誰","你叫啥"之類的,這就引出了人工智能 ...

Python人工智能之路 - 第三篇 : PyAudio 實現(xiàn)錄音 自動化交互實現(xiàn)問答

Python 很強大其原因就是因為它龐大的三方庫 , 資源是非常的豐富 , 當(dāng)然也不會缺少關(guān)于音頻的庫 關(guān)于音頻, PyAudio 這個庫, 可以實現(xiàn)開啟麥克風(fēng)錄音, 可以播放音頻文件等等,此刻我們不 ...

python學(xué)習(xí)之路網(wǎng)絡(luò)編程篇(第四篇)

python學(xué)習(xí)之路網(wǎng)絡(luò)編程篇(第四篇) 內(nèi)容待補充

(轉(zhuǎn))Python成長之路【第九篇】：Python基礎(chǔ)之面向?qū)ο?/p>

一.三大編程范式 正本清源一:有人說,函數(shù)式編程就是用函數(shù)編程-->錯誤1 編程范式即編程的方法論,標(biāo)識一種編程風(fēng)格 大家學(xué)習(xí)了基本的Python語法后,大家就可以寫Python代碼了,然后每個 ...

Python學(xué)習(xí)之路【第一篇】-Python簡介和基礎(chǔ)入門

1.Python簡介 1.1 Python是什么 相信混跡IT界的很多朋友都知道,Python是近年來最火的一個熱點,沒有之一.從性質(zhì)上來講它和我們熟知的C.java.php等沒有什么本質(zhì)的區(qū)別,也是 ...

Python開發(fā)之路：目錄篇

第一部分:Python基礎(chǔ)知識 本篇主要python基礎(chǔ)知識的積累和學(xué)習(xí),其中包括python的介紹.基本數(shù)據(jù)類型.函數(shù).模塊及面向?qū)ο蟮? ?第一篇:Python簡介 ?第二篇:Python基本知識 ...

Python人工智能之路 - 第二篇 : 算法實在太難了有現(xiàn)成的直接用吧

本節(jié)內(nèi)容 預(yù)備資料: 1.FFmpeg: 鏈接:https://pan.baidu.com/s/1jonSAa_TG2XuaJEy3iTmHg 密碼:w6hk 2.baidu-aip: pip ins ...

Python人工智能之路 - 第一篇 : 你得會點兒Python基礎(chǔ)

Python 號稱是最接近人工智能的語言,因為它的動態(tài)便捷性和靈活的三方擴展,成就了它在人工智能領(lǐng)域的豐碑 走進Python,靠近人工智能 一.編程語言Python的基礎(chǔ) 之 "淺入淺出&q ...

隨機推薦

JavaScript：this是什么？

JavaScript:this是什么?定義:this是包含它的函數(shù)作為方法被調(diào)用時所屬的對象.說明:這句話有點咬嘴,但一個多余的字也沒有,定義非常準(zhǔn)確,我們可以分3部分來理解它! 1.包含它的函數(shù).2 ...

HDU 3488--Tour(KM or 費用流)

因為每個點只能經(jīng)過一次 所以考慮拆點 這題有坑,有重邊.. KM算法 把一個點拆成入點和出點 入點在X部,出點在Y步. 如果u,v之間有路徑,就在X部的u點連接Y部的v點 求完美匹配. 當(dāng)完美匹配的時 ...

Grails默認(rèn)首頁的修改

有些人使用IDEA開發(fā)Grails,開發(fā)階段使用Grails自帶的默認(rèn)首頁可以方便我們開發(fā),但是開發(fā)結(jié)束后想要修改默認(rèn)的首頁,如何修改呢? 1.打開grails-app 文件下conf下的UrlMap ...

Ajax無刷新提交表單和顯示

ajax無刷新表單提交: ? 養(yǎng)",但是并沒有對這部分進行詳細(xì)分析.近日,風(fēng)投公司C ...

關(guān)于 LindedList 我想說

LinkedList?的一些認(rèn)識: 繼承于AbstractSequentialList的雙向鏈表,可以被當(dāng)作堆棧.隊列或雙端隊列進行操作 有序,非線程安全的雙向鏈表,默認(rèn)使用尾部插入法 適用于頻繁新增 ...

linux下各文件夾的結(jié)構(gòu)說明及用途介紹

linux下各文件夾的結(jié)構(gòu)說明及用途介紹: /bin:二進制可執(zhí)行命令.?? /dev:設(shè)備特殊文件.?? /etc:系統(tǒng)管理和配置文件.?? /etc/rc.d:啟動的配 置文件和腳本.?? /ho ...

BZOJ.3307.雨天的尾巴(dsu on tree/線段樹合并)

BZOJ 洛谷 \(dsu\ on\ tree\).(線段樹合并的做法也挺顯然不寫了) 如果沒寫過\(dsu\)可以看這里. 對修改操作做一下差分放到對應(yīng)點上,就成了求每個點子樹內(nèi)出現(xiàn)次數(shù)最多的顏色, ...

讓Source Insight完美支持中文注釋

如何讓source insight支持中文注釋,解決回車刪除,移動光標(biāo)出現(xiàn)亂碼的問題?下面是解決方案: ? ? -------Source Insight3 中文操作(左右鍵.刪除和后退鍵)支持宏-- ...

springboot 集成 redis

導(dǎo)入maven依賴 org.springframework.bo ...

總結(jié)

以上是生活随笔為你收集整理的最简单人工智能python_Python人工智能之路 - 第四篇 : jieba gensim 最好别分家之最简单的相似度实现...的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。