【51CTO.com原創(chuàng)稿件】2018年11月30日-12月1日，由51CTO主辦的WOT2018全球人工智能技術(shù)峰會(huì)在北京粵財(cái)JW萬(wàn)豪酒店召開(kāi)。本屆峰會(huì)從人工智能技術(shù)賦能行業(yè)升級(jí)的角度出發(fā)，緊跟技術(shù)潮流，緊抓時(shí)事熱點(diǎn)，覆蓋人工智能平臺(tái)工具、算法模型、語(yǔ)音視覺(jué)等技術(shù)主題內(nèi)容，帶來(lái)了一場(chǎng)AI前沿理論與尖端技術(shù)激烈碰撞的知識(shí)盛宴!

本屆WOT峰會(huì)的《業(yè)務(wù)實(shí)踐》分論壇上，來(lái)自蘑菇街的圖像搜索技術(shù)負(fù)責(zé)人宋宏亮，貝殼找房租賃平臺(tái)的數(shù)據(jù)策略負(fù)責(zé)人嚴(yán)言，金山辦公的AI領(lǐng)域?qū)＜?、高?jí)工程師黃鴻波，分別從各自行業(yè)業(yè)務(wù)場(chǎng)景出發(fā)，分享了人工智能的業(yè)務(wù)實(shí)踐案例，與到場(chǎng)的聽(tīng)眾一起探索人工智能在不同行業(yè)中的業(yè)務(wù)應(yīng)用。

視覺(jué)搜索技術(shù)系統(tǒng)與業(yè)務(wù)應(yīng)用

隨著移動(dòng)應(yīng)用和內(nèi)容業(yè)務(wù)的發(fā)展，視覺(jué)搜索技術(shù)日益成為用戶增長(zhǎng)和應(yīng)用體驗(yàn)提升的關(guān)鍵因素。蘑菇街圖像搜索技術(shù)負(fù)責(zé)人宋宏亮在《視覺(jué)搜索技術(shù)系統(tǒng)與業(yè)務(wù)應(yīng)用》的演講中，首先分析了圖像檢索的兩種方式，然后結(jié)合蘑菇街的海量圖片/商品數(shù)據(jù)和互聯(lián)網(wǎng)業(yè)務(wù)場(chǎng)景，介紹了蘑菇街在視覺(jué)搜索方向上的技術(shù)探索和業(yè)務(wù)實(shí)踐演進(jìn)歷程，并通過(guò)具體的業(yè)務(wù)案例，解讀了視覺(jué)搜索技術(shù)的落地應(yīng)用之路。

蘑菇街的圖像搜索技術(shù)負(fù)責(zé)人宋宏亮

據(jù)宋宏亮介紹，圖像檢索是計(jì)算機(jī)視覺(jué)方向出現(xiàn)較早并廣泛研究的領(lǐng)域，按照描述圖像內(nèi)容方式的不同可以分為兩類(lèi)，一類(lèi)是基于文本的圖像檢索，另一類(lèi)是基于內(nèi)容的圖像檢索。隨著圖像數(shù)據(jù)快速增長(zhǎng)，基于文本的圖像檢索方法的問(wèn)題日益凸現(xiàn)，后來(lái)業(yè)界達(dá)成共識(shí)，認(rèn)為索引圖像信息的最有效方式應(yīng)該是基于圖像內(nèi)容自身的。

基于內(nèi)容的圖像檢索技術(shù)將圖像內(nèi)容的表達(dá)和相似性度量交給計(jì)算機(jī)進(jìn)行自動(dòng)的處理，克服了采用文本進(jìn)行圖像檢索所面臨的缺陷，并且充分發(fā)揮了計(jì)算機(jī)擅于計(jì)算的優(yōu)勢(shì)，大大提高了檢索的效率，從而為海量圖像庫(kù)的檢索開(kāi)啟了新的大門(mén)。當(dāng)然，這種方式也存在缺點(diǎn)，主要表現(xiàn)為特征描述與高層語(yǔ)義之間存在著難以填補(bǔ)的語(yǔ)義鴻溝，并且這種語(yǔ)義鴻溝是不可消除的。

目前，基于內(nèi)容的圖像檢索技術(shù)已經(jīng)深入到了許許多多的領(lǐng)域，為人們的生活生產(chǎn)提供了極大的便利?；趦?nèi)容的圖像檢索技術(shù)在電子商務(wù)、版權(quán)保護(hù)、醫(yī)療診斷、公共安全、街景地圖等工業(yè)領(lǐng)域具有廣闊的應(yīng)用前景。其中，在電子商務(wù)方面，谷歌的Goggles、 阿里巴巴的拍立淘等閃拍購(gòu)物應(yīng)用，允許用戶抓拍上傳至服務(wù)器端，在服務(wù)器端運(yùn)行圖片檢索應(yīng)用從而為用戶找到相同或相似的衣服并提供購(gòu)買(mǎi)店鋪的鏈接。

典型的基于內(nèi)容的圖像檢索基本框架

電商場(chǎng)景的數(shù)據(jù)來(lái)源主要包含賣(mài)家和用戶兩個(gè)部分。其中，賣(mài)家分為普通商家和直播主播，普通賣(mài)家上傳商品圖，包括商品主圖、附圖、SKU圖和詳情圖等，主播生產(chǎn)直播內(nèi)容，也包含了商品的截圖和視頻。而用戶分為普通用戶和達(dá)人用戶，普通用戶對(duì)應(yīng)的內(nèi)容是UGC、買(mǎi)家秀等，達(dá)人用戶則是PGC內(nèi)容?；谝陨蠑?shù)據(jù)源，就可以構(gòu)建后臺(tái)的圖像數(shù)據(jù)庫(kù)，對(duì)圖像數(shù)據(jù)處理，包括款式屬性識(shí)別、OCR文字識(shí)別、圖像特征檢索等。

宋宏亮表示，電商中的圖像數(shù)據(jù)集具有三個(gè)主要特征：圖像數(shù)據(jù)量大、特征維度高以及要求響應(yīng)時(shí)間短。對(duì)于一般圖像檢索，在檢索相同的物體或目標(biāo)時(shí)，易受拍攝環(huán)境的影響，比如光照變化、尺度變化、視角變化、遮擋以及背景的雜亂等都會(huì)對(duì)檢索結(jié)果造成較大的影響;對(duì)于非剛性的物體，在進(jìn)行檢索時(shí)，物體的形變也會(huì)對(duì)檢索結(jié)果造成很大的影響。

而電商場(chǎng)景下的視覺(jué)檢索還有很多其他的難題。比如：電商平臺(tái)上每天都有頻繁的商品上架和下架，對(duì)整體的索引構(gòu)建造成很大挑戰(zhàn);數(shù)據(jù)規(guī)模是把雙刃劍，雖然有足夠的數(shù)據(jù)可以進(jìn)行模型訓(xùn)練，但是龐大的數(shù)據(jù)給搜索帶來(lái)了壓力;因商家上傳低質(zhì)量的買(mǎi)家需求圖片或者放錯(cuò)類(lèi)目等原因，導(dǎo)致數(shù)據(jù)的質(zhì)量不能得到保障。

面對(duì)以上挑戰(zhàn)，蘑菇街視覺(jué)搜索技術(shù)團(tuán)隊(duì)進(jìn)行了很多技術(shù)研發(fā)，最終構(gòu)建了如下圖所示的視覺(jué)搜索技術(shù)架構(gòu)。從圖中我們可以看到，接收到用戶搜索查詢(xún)，先進(jìn)行類(lèi)目預(yù)測(cè)，再進(jìn)行目標(biāo)檢測(cè)，檢測(cè)出所需要的內(nèi)容;接下來(lái)，通過(guò)特征提取器，提取圖像的特征的表達(dá);然后，基于ANN檢索得到一些充分的檢索結(jié)果;最后，通過(guò)ReRank的方式得到最終結(jié)果。

蘑菇街視覺(jué)搜索技術(shù)架構(gòu)

緊接著，宋宏亮為大家解讀了其中的一些重點(diǎn)技術(shù)。

類(lèi)目預(yù)測(cè)：主要針對(duì)圖像質(zhì)量評(píng)估、同圖過(guò)濾、類(lèi)目分類(lèi)三個(gè)方向展開(kāi)。

圖像質(zhì)量評(píng)估：需要基于不同的類(lèi)別進(jìn)行分析，例如，較多自然景色和人肖像不同。有12個(gè)評(píng)價(jià)標(biāo)準(zhǔn)：BalancingElement，ColorHarmony，Content，DoF，Light，MotionBlur，Object，Repetition，RuleOfThirds，Symmetry，VividColor，Score。

同圖過(guò)濾：采用phash(全稱(chēng)是感知哈希算法，Perceptual hash algorithm)，使用該方法可以對(duì)每個(gè)圖片生成一個(gè)哈希值，任意兩個(gè)圖分別轉(zhuǎn)為二進(jìn)制表示，然后計(jì)算他們的hamming distance，兩張圖片的距離越相近, 說(shuō)明兩張圖片就越相似。

類(lèi)目分類(lèi)：建立類(lèi)目樹(shù)，分為了十個(gè)大類(lèi)和504個(gè)四級(jí)類(lèi)目，縮小檢索數(shù)據(jù)量，提升檢索精度。

圖像特征學(xué)習(xí)：作為遷移學(xué)習(xí)的一種，finetune能夠?qū)eneral的特征轉(zhuǎn)變?yōu)閟pecial的特征，從而使得轉(zhuǎn)移后的特征能夠更好的適應(yīng)目標(biāo)任務(wù)，而圖像檢索最根本的問(wèn)題，仍在于如何在目標(biāo)任務(wù)上獲得更好的特征表達(dá)(共性與可區(qū)分性)。一種很自然的方式便是在特定的檢索任務(wù)上，我們對(duì)imageNet學(xué)得的general的特征通過(guò)finetune的方式，使得表達(dá)的特征能夠更好的適應(yīng)我們的檢索任務(wù)。通過(guò)基本的classification loss的finetune的方式，能夠較大幅度的提高檢索的mAP。

那么在具體的業(yè)務(wù)中，視覺(jué)搜索技術(shù)是怎么應(yīng)用的呢?這里我們舉個(gè)例子，在電商基礎(chǔ)業(yè)務(wù)中，需要對(duì)商家上傳的商品圖片進(jìn)行同款審核，并對(duì)審核后的結(jié)果做在線巡查，基于視覺(jué)搜索技術(shù)上線了同款識(shí)別系統(tǒng)進(jìn)行同款商品判斷，系統(tǒng)識(shí)別準(zhǔn)確率為99.06%，漏檢率為3%。

貝殼租房的真房源模型與信用體系建設(shè)

當(dāng)前，在房屋租賃領(lǐng)域，仍存在著諸如房源信息不真實(shí)，信任體系缺失，以及信息匹配效率偏低等痛點(diǎn)。貝殼找房租賃平臺(tái)數(shù)據(jù)策略部負(fù)責(zé)人嚴(yán)言從貝殼租房自身的實(shí)踐經(jīng)驗(yàn)出發(fā)，介紹了貝殼租房通過(guò)大數(shù)據(jù)與機(jī)器學(xué)習(xí)的方法管控房源真實(shí)性，同時(shí)建立完善的租賃信用體系，不斷提升商家提供的服務(wù)品質(zhì)，提高行業(yè)信息匹配效率。

貝殼找房租賃平臺(tái)數(shù)據(jù)策略部負(fù)責(zé)人嚴(yán)言

針對(duì)上圖中所示的諸多市場(chǎng)痛點(diǎn)，貝殼找房是怎樣解決的呢?貝殼找房的真房源模型設(shè)計(jì)和解決方案是怎樣的呢?

嚴(yán)言表示，首先我們要清楚真實(shí)房源的標(biāo)準(zhǔn)是什么。根據(jù)目前的非真實(shí)房源情況，貝殼找房定義了四個(gè)標(biāo)準(zhǔn)：第一，真實(shí)存在。房子要真實(shí)存在，不能是出租根本不存在的一套房子;第二，真實(shí)在租。房子需要是真實(shí)在租狀態(tài)，不是剛剛租出去了，而要去看別的房源;第三，真實(shí)感知。提供的信息需要與房屋真實(shí)情況一樣，比如圖片與出租房屋一致。第四，真實(shí)價(jià)格。

其次，要清楚在住的領(lǐng)域與租賃領(lǐng)域正在面臨的問(wèn)題有什么不一樣。具體差別，我們可以從下圖中了解：

基于以上考慮，貝殼找房技術(shù)團(tuán)體設(shè)計(jì)了如下圖所示的房源品質(zhì)控制整體框架：

框架圖中左邊是數(shù)據(jù)源、平臺(tái)對(duì)接、數(shù)據(jù)流轉(zhuǎn)、基于品控的產(chǎn)品或服務(wù)四部分內(nèi)容，右邊是品控系統(tǒng)，主要包括真房源模型與信用體系的建設(shè)。在真房源模型中，真房源的統(tǒng)計(jì)方法主要是抽樣統(tǒng)計(jì)，延遲統(tǒng)計(jì)(記錄每天鏡像)，樂(lè)觀性統(tǒng)計(jì)(只查驗(yàn)全部疑似問(wèn)題房源)。

在上面圖中我們可以看到，之前提到的四真標(biāo)準(zhǔn)。對(duì)此，嚴(yán)言表示，針對(duì)每一個(gè)真的標(biāo)準(zhǔn)，都需要建立獨(dú)立的模型。以“真實(shí)在租”這個(gè)標(biāo)準(zhǔn)為例，需要用房態(tài)模型去判斷房子的當(dāng)前狀態(tài)，比如通過(guò)語(yǔ)音識(shí)別，用戶與經(jīng)紀(jì)人在聯(lián)系的過(guò)程中，經(jīng)紀(jì)人有沒(méi)有出現(xiàn)違禁。最終針對(duì)四個(gè)標(biāo)準(zhǔn)點(diǎn)下所有的模型，綜合出一個(gè)真實(shí)度排序，從而實(shí)現(xiàn)真房源的門(mén)限和問(wèn)題房源門(mén)限能夠不斷地接近和同時(shí)下降。

也就是說(shuō)，在高于N1這個(gè)門(mén)限，可以認(rèn)為不需要人工接入，系統(tǒng)判定95%以上的置信度，就是一個(gè)真房源，省去人工介入。如果判定在N3以下，系統(tǒng)判定置信度95%是一個(gè)問(wèn)題房源，也不需要人工介入。但是，不可能完全拋棄人工，有些內(nèi)容是系統(tǒng)無(wú)法界定的，就被稱(chēng)為疑似房源，需要線上和線下的綜合判斷。

首先，需要讓N1和N3盡量接近，實(shí)現(xiàn)疑似房源量總量下降。其次，讓N1和N3盡量接近之后，再讓其下降，讓真房源的比例越來(lái)越高，最終實(shí)現(xiàn)優(yōu)化。從量化上來(lái)看，希望達(dá)到三個(gè)目的：固定與量化優(yōu)秀服務(wù)者的行業(yè)經(jīng)驗(yàn)，兼顧真房源門(mén)限與問(wèn)題房源門(mén)限，降低線下審核人力，提高作業(yè)效率。

最后談及加盟平臺(tái)下的信用體系建設(shè)，嚴(yán)言認(rèn)為，疏導(dǎo)才是治本。怎樣疏導(dǎo)呢?就是讓為真房源做貢獻(xiàn)的商家獲得利益。完善的信用體系是保證租賃市場(chǎng)良好運(yùn)轉(zhuǎn)的基石;通過(guò)商家信用分，服務(wù)者信用檔案以及租客信用分的建設(shè)，正向引導(dǎo)，賦能行業(yè);有了商家信用分，就可以區(qū)分出信用良好的商家，在商機(jī)和運(yùn)營(yíng)活動(dòng)上給予激勵(lì)，樹(shù)立標(biāo)桿作用。

知識(shí)圖譜在企業(yè)中的落地

金山辦公AI領(lǐng)域?qū)＜?、高?jí)工程師黃鴻波在分享中指出，在面向?qū)ο蟮臅r(shí)代里，我們常說(shuō)萬(wàn)物皆對(duì)象，之前我們只是來(lái)分析對(duì)象的個(gè)體，隨著互聯(lián)網(wǎng)和社交網(wǎng)絡(luò)的發(fā)展，對(duì)象與對(duì)象之間的聯(lián)系變得越來(lái)越緊密，我們把一個(gè)對(duì)象稱(chēng)之為一個(gè)實(shí)體，我們現(xiàn)在對(duì)于實(shí)體之間關(guān)系的分析變得尤為重要，我們可以使用知識(shí)圖譜相關(guān)技術(shù)，來(lái)挖掘?qū)嶓w之間的關(guān)系，從而找到其中的商業(yè)價(jià)值，打造自己的知識(shí)圖譜應(yīng)用。

金山辦公AI領(lǐng)域?qū)＜摇⒏呒?jí)工程師黃鴻波

黃鴻波認(rèn)為，數(shù)據(jù)量的龐大，非結(jié)構(gòu)化的保存以及歷史數(shù)據(jù)的積累，導(dǎo)致我們的信息知識(shí)體或者各種各樣的實(shí)體越來(lái)越膨脹，我們需要將各種各樣的知識(shí)連接起來(lái)，形成知識(shí)圖譜。

知識(shí)圖譜一般用在哪里?黃鴻波介紹說(shuō)，以金山辦公為例，做知識(shí)圖譜主要是用來(lái)找人與人之間的關(guān)系，用戶與用戶之間的關(guān)系，這是很多公司中比較常用的一種應(yīng)用。另外，還有實(shí)體與實(shí)體之間的關(guān)系，比如知識(shí)與知識(shí)之間的關(guān)系，企業(yè)與企業(yè)之間的關(guān)系。

黃鴻波認(rèn)為，可以把實(shí)體理解為以前面向?qū)ο笾械膶?duì)象。任何一個(gè)事物都可以是一個(gè)對(duì)象，放在知識(shí)圖譜里，可以說(shuō)任何一個(gè)對(duì)象都可以成為一個(gè)實(shí)體，這就是知識(shí)圖譜的一個(gè)核心概念。

知識(shí)圖譜在農(nóng)業(yè)中的應(yīng)用

以知識(shí)圖譜在農(nóng)業(yè)中的應(yīng)用為例，氮素缺乏會(huì)導(dǎo)致哪些病癥，氮素過(guò)量會(huì)有哪些病癥，對(duì)這些病癥應(yīng)該作何處理，有什么防治方法。在研究知識(shí)圖譜的時(shí)候就是尋找關(guān)系，從而建立各個(gè)實(shí)體之間的關(guān)系。

提到知識(shí)圖譜中的圖數(shù)據(jù)庫(kù)選型。黃鴻波表示，在做知識(shí)圖譜或者知識(shí)圖譜的選型中，最常見(jiàn)的問(wèn)題就是圖數(shù)據(jù)庫(kù)的選擇問(wèn)題。任何一家公司做知識(shí)圖譜的目的都是落地。Neo4j和Cayley是知識(shí)圖譜中比較常用的兩個(gè)圖數(shù)據(jù)庫(kù)，最終金山辦公技術(shù)團(tuán)隊(duì)選擇了Cayley。

為什么選擇Cayley?首先考慮數(shù)據(jù)體量問(wèn)題，所選用的數(shù)據(jù)庫(kù)是否能夠支持大體量的數(shù)據(jù)。Neo4j的缺點(diǎn)：一是不開(kāi)源，開(kāi)源版沒(méi)有核心內(nèi)容，一旦出現(xiàn)問(wèn)題后期難以處理;二是不支持分布式，無(wú)法做分布式存儲(chǔ)、集群。此外，黃鴻波強(qiáng)調(diào)，在選擇圖數(shù)據(jù)庫(kù)的時(shí)候，除了分析圖數(shù)據(jù)庫(kù)的體量是否能夠滿足自身的數(shù)據(jù)庫(kù)，還要看是否能夠支持單機(jī)的運(yùn)算速度以及性能，考慮實(shí)際的應(yīng)用場(chǎng)景需求。

最后，黃鴻波表示，知識(shí)圖譜的落地主要有六個(gè)方面：知識(shí)的建模、知識(shí)的獲取、知識(shí)的融合、知識(shí)的存儲(chǔ)、知識(shí)的計(jì)算、知識(shí)的應(yīng)用。

以上內(nèi)容是51CTO記者根據(jù)WOT2018全球人工智能技術(shù)峰會(huì)的《業(yè)務(wù)實(shí)踐》分論壇演講內(nèi)容整理，更多關(guān)于WOT的內(nèi)容請(qǐng)關(guān)注51cto.com。

【51CTO原創(chuàng)稿件，合作站點(diǎn)轉(zhuǎn)載請(qǐng)注明原文作者和出處為51CTO.com】