自己動手寫NBA自動問答系統(tǒng)——數(shù)據(jù)存儲
公司舊電腦到期，換了一臺電腦的原因之前爬取的數(shù)據(jù)全部忘了備份，全部弄丟了。所以這個項目好久沒開工了。
本文需要進一步研究知識圖譜的數(shù)據(jù)存儲。由于知識圖譜的圖結構特點，使用傳統(tǒng)的關系型數(shù)據(jù)庫存儲大量的關系表，在做查詢的時候需要大量的表連接，速度非常慢，所以往往知識圖譜采用的是圖數(shù)據(jù)庫。
一、圖數(shù)據(jù)庫和關系型數(shù)據(jù)庫的差別
還是以NBA里的數(shù)據(jù)為例，為了表示球員和球隊的效力關系，關系型數(shù)據(jù)庫需要增加一張球員和球隊關系表來存儲這個關系。如下圖：
而圖數(shù)據(jù)庫通過引入“效力于”關系邊的概念來加以解決。不需要建表，關系邊上可以存儲屬性，比如效力時間這一字段。
工作中我們團隊的知識圖譜是存儲在阿里自研的圖數(shù)據(jù)庫上，鑒于數(shù)據(jù)安全問題，在這個項目里我采用了比較流行的neo4j圖數(shù)據(jù)庫。
二、Neo4J的使用
neo4j的使用，主要參考了官方文檔https://neo4j.com/docs/developer-manual/current/drivers/client-applications/。Neo4J設計了一種叫做Cypher的查詢語言，語法非常奇怪。官方提供的一個二跳的查詢例子，查詢John的朋友的朋友：
Query:
- MATCH(john{name:'John'})-[:friend]->()-[:friend]->(fof)RETURNjohn.name,fof.name
Result:
- +----------------------+
- | john.name | fof.name |
- +----------------------+
- | "John" | "Maria" |
- | "John" | "Steve" |
- +----------------------+
- 2 rows
我嘗試創(chuàng)建了一個NBA的DB，用create語句創(chuàng)建了NBA火箭隊、保羅和哈登三個實體。創(chuàng)建語句如下
創(chuàng)建了2個球員實體，包括了身高/體重/生日/合同情況，創(chuàng)建了一個球隊實體，包括了球館、城市等信息，創(chuàng)建了兩條球員和球隊的關系邊，每條邊上定義球員在該球隊效力時間。可視化結果如下圖：
OK，至此一個小的知識圖譜就在圖數(shù)據(jù)庫里被創(chuàng)建完畢了，后續(xù)要做的是把大規(guī)模數(shù)據(jù)導入圖數(shù)據(jù)庫
