[[392205]]

本文轉(zhuǎn)載自微信公眾號(hào)「Python中文社區(qū)」，作者楊炳。轉(zhuǎn)載本文請(qǐng)聯(lián)系Python中文社區(qū)公眾號(hào)。  

數(shù)據(jù)采集就怕遇到圖片，只能看不能復(fù)制怎么辦。手動(dòng)將文字提取出來(lái)，要耗費(fèi)很大的工作量。例如下圖，某樓盤的一房一價(jià)表，怎么樣發(fā)現(xiàn)單價(jià)低位的房子?光憑肉眼很難發(fā)現(xiàn)吧，能否讓計(jì)算機(jī)進(jìn)行文字的識(shí)別，然后再對(duì)這些數(shù)值型信息進(jìn)行數(shù)據(jù)分析。

首先把圖片中的單價(jià)提取出來(lái)，

進(jìn)而生成圖像：

用python就可以實(shí)現(xiàn)，采用現(xiàn)在流行的OCR圖像識(shí)別。主要思路是使用機(jī)器學(xué)習(xí)模式，通過已有圖片手動(dòng)訓(xùn)練出一個(gè)圖像識(shí)別模型，具體步驟如下：

一、將圖片預(yù)處理，更方便計(jì)算機(jī)識(shí)別

(一)把圖像灰化

使用open-cv庫(kù)對(duì)圖片進(jìn)行處理。

使用灰化后的圖片，如下圖，排除干擾信息，能讓識(shí)別更加穩(wěn)定。

(二)把圖片分割

將圖片分割成小方塊，一是提高識(shí)別精度，二是方便將數(shù)據(jù)儲(chǔ)存為表格形式。可以設(shè)定好參數(shù)，根據(jù)坐標(biāo)系把圖片裁剪成一個(gè)個(gè)小方塊，如下圖，儲(chǔ)存為jpg格式。

二、建立圖像識(shí)別模型

(一)將分割好的小方塊圖片合并成tiff文件

下載jTessBoxEditor，打開jTessBoxEditor.jar，使用tools下的merge tiff工具，將圖片合并成tiff文件。

(二)使用已有模型對(duì)tiff文件進(jìn)行初識(shí)別

下載并安裝tesseract，并配置好環(huán)境變量，將Tesseract-OCR和tessdata的路徑加入到環(huán)境變量下的path下面。Tesseract自帶圖像識(shí)別的模型，例如中文簡(jiǎn)體漢字識(shí)別模型chi_sim.traineddata，英文識(shí)別模型eng.traineddata，這些模型可以網(wǎng)上下載，放到tessdata里面即可使用。

然后進(jìn)入tiff所在文件夾。在命令窗口，輸入：tesseract ***.tif *** -l +++ -psm 7 batch.nochop makebox，按回車生成box文件。其中***為tif的文件名，+++為要生成的traindata的文件名。

(三)使用jTessBoxEditor對(duì)tiff和box文件進(jìn)行調(diào)整

打開jTessBoxEditor.jar，在box editor中的open按鈕，打開要編輯的tif文件。編輯之后保存，生成box文件。保存在同一個(gè)文件夾里。

(四)使用tiff和box文件生成模型

在tiff和box的文件中，在命令窗口輸入以下代碼，最終生成模型(traindata文件)

上述腳本也可以寫在bat文件中，運(yùn)行腳本來(lái)生成traindata，最終僅需要將traindata復(fù)制到tessdata里面，即可使用該模型。

三、應(yīng)用圖像識(shí)別模型

安裝完，訓(xùn)練完模型之后，就要在python中使用模型了。安裝pytesseract，找到pytesseract.py文件，打開編輯，將其中的“tesseract_cmd = 'tesseract'”，改成tesseract的安裝路徑(如C:\Program Files\Tesseract-OCR\\tesseract)。

因?yàn)槟Ｐ褪遣捎没一蟮膱D片訓(xùn)練的，所以在識(shí)別時(shí)也要使用灰化。

四、優(yōu)化圖像識(shí)別模型

在使用中，如果有錯(cuò)誤，可以存下來(lái)，加入訓(xùn)練庫(kù)，優(yōu)化圖像識(shí)別模型。在一般是識(shí)別錯(cuò)誤的圖片，積攢一陣子后。累積做成tif文件。注意：同類錯(cuò)誤選擇幾個(gè)記號(hào)了，訓(xùn)練庫(kù)盡量小而精。

作者：楊炳，心理學(xué)者在銀行寫代碼。