本文經(jīng)AI新媒體量子位（公眾號ID:QbitAI）授權(quán)轉(zhuǎn)載，轉(zhuǎn)載請聯(lián)系出處。

我，一個(gè)科技小編，最近在跟國外大佬的郵件交流中，感到飄過六級后的自己英語寫作水平那真是日漸捉急。

從句怎么用？時(shí)態(tài)對不對？看著對面主編犀利的目光，那一瞬間，真想問問自己為什么不good good study, day day up。

于是，我決定了，我要好好學(xué)習(xí)英語寫作！

想要提升水平，不自己動(dòng)筆寫總是差那么點(diǎn)意思。

那么，問題來了：寫的好不好，誰來幫我批改呢？

其實(shí)，打從小學(xué)開始學(xué)英語，小學(xué)、中學(xué)、四六級、雅思托福……英語作文怎么提高從來都是一個(gè)難題。

尤其是各類考試，有嚴(yán)格的評分標(biāo)準(zhǔn)，可身邊哪能時(shí)時(shí)有經(jīng)驗(yàn)豐富的閱卷老師幫忙有針對性地修改提高呢？

聽聞我的煩惱，一位網(wǎng)易有道的胖友向我招了招手：你看我手機(jī)里這個(gè)紅色的App，里面最新上線了一只AI，能幫你批改英文小作文喲。

對啊，如果AI真的能準(zhǔn)確評分，甚至給出修改意見，那像我一樣的同學(xué)們不就能隨時(shí)隨地把英語作文練到飛起了嗎？

略一調(diào)研，我發(fā)現(xiàn)，現(xiàn)在有AI批改英語作文功能的產(chǎn)品還真不少：網(wǎng)易有道詞典、微軟愛寫作（小英）、批改網(wǎng)、Grammarly……

想到現(xiàn)在宅在家里的大朋友、小朋友可能也有同樣的困擾，我決定親自測試一下這些AI們到底靠譜不靠譜。

AI批作文，到底哪家強(qiáng)？

初篩一番，我挑選出了幾個(gè)免費(fèi)、容易上手使用的選手參與測評，分別是：網(wǎng)易有道詞典AI作文批改，微軟愛寫作，以及Grammarly免費(fèi)版。

那么，話不多說，讓我們直接進(jìn)入比賽。

Round 1：手寫識別

像小學(xué)中學(xué)英語考試、四六級以及考研英語、雅思托?？荚?，實(shí)際應(yīng)試時(shí)都需要在紙面上進(jìn)行寫作，因此在練習(xí)時(shí)，同學(xué)們也往往會(huì)選擇手寫。

寫完一遍，再打一遍字，未免有些麻煩，如果拍張照，AI就能自己識別我到底寫了什么，那就方便多了。

有道AI作文批改和微軟愛寫作均支持圖片識別功能。而Grammarly……由于沒有這一功能，這位選手選擇暫時(shí)退場。

我使出洪荒之力，用非標(biāo)準(zhǔn)應(yīng)試字體謄寫了一篇作文，測試兩位選手。

先來看有道AI作文批改的表現(xiàn)：

識別得相當(dāng)準(zhǔn)確，有涂改的地方也沒有出現(xiàn)誤識別的情況，為數(shù)不多的幾個(gè)需要手動(dòng)修改的地方，基本上都是手寫時(shí)字母和字母之間空格太大，因此識別時(shí)成了兩個(gè)單詞。

再來看一下微軟小英的結(jié)果：

由于我沒寫標(biāo)題，小英強(qiáng)制把第一段都識別成了標(biāo)題。忽略掉這一點(diǎn)的話，識別準(zhǔn)確率也很高。但對于標(biāo)點(diǎn)符號的識別不及有道AI作文批改敏感（上圖紅色標(biāo)注處）。

還有個(gè)小問題：如果你把兩個(gè)詞寫得比較開，小英會(huì)識別出多余的空格，檢查得不仔細(xì)的話，會(huì)影響下一步評分的準(zhǔn)確性。

另外，相比于只有網(wǎng)頁版的微軟愛寫作，手機(jī)端的有道詞典可以直接拍照識別，無需再倒一手把照片傳到電腦上，還是要方便一些。

Round 2：糾錯(cuò)能力

如果說OCR只是影響用戶使用方便與否的細(xì)節(jié)，那AI批改作文的重點(diǎn)，當(dāng)然在于能不能準(zhǔn)確抓住作文中的bug。

有道AI作文批改、微軟小英和Grammarly都有識別文中語法錯(cuò)誤并給出修改意見的功能。

這一輪，我們用一些單句來測試一下誰的Debug能力更強(qiáng)。

例句一：When the girl will leave, she fount an old begger in the tree and looked at angry and cold.

有時(shí)態(tài)錯(cuò)誤，也有拼寫錯(cuò)誤。

有道揪出了4處錯(cuò)誤：

具體的判斷是：①疑似用詞不當(dāng)，建議將「will leave」修正為「left」；②疑似動(dòng)詞時(shí)態(tài)錯(cuò)誤，建議將「fount」修正為「found」；③疑似名詞誤用，建議將「begger」修正為「beggar」；④疑似介詞「at」冗余，建議刪除。

把問題拋給微軟小英，它也同樣找出了這4處錯(cuò)誤，并給出了一個(gè)單詞替換建議。

具體判斷是：①錯(cuò)誤動(dòng)詞時(shí)態(tài)，將「will leave」改為「left」；②動(dòng)詞用法錯(cuò)誤，將「fount」改為「found」；③單詞拼寫錯(cuò)誤，將「begger」改為「beggar」；④冗余，刪除「at」；⑤建議將「cold」換成「bitter」、「hard」、「mean」。

最后看一下Grammarly的判斷。

Grammarly免費(fèi)版指出了一處單詞拼寫錯(cuò)誤，并建議我升級付費(fèi)版。

同樣，在「But this stress didn’t stop me from thinking to attend the biggist activity in our school」這個(gè)句子中，有道和小英都指出了3處錯(cuò)誤：

介詞「to」改「about」；動(dòng)詞「attend」改「attending」；「biggist」拼寫錯(cuò)誤，改為「biggest」。

而Grammarly免費(fèi)版還是僅僅指出了「biggist」這個(gè)拼寫錯(cuò)誤。

看來，就免費(fèi)體驗(yàn)來說，Grammarly的語法修改偏于簡單了。

最后，給有道AI作文批改和微軟小英出一個(gè)加試題。

例句二：On a cold morning, while I was watching a girl buy bread and milk in the fiont for me.

對于AI而言，這個(gè)句子的識別難點(diǎn)在于，同一個(gè)對象涉及了多個(gè)錯(cuò)誤，「fiont」這個(gè)拼寫錯(cuò)誤后面，緊跟著「for」這個(gè)介詞使用錯(cuò)誤。

面對這一題，有道成功把「in the front of」這個(gè)整體識別了出來，既指出了拼寫錯(cuò)誤，也發(fā)現(xiàn)詞組中介詞的錯(cuò)誤。

而微軟小英的改法令人有些看不懂，難道是感應(yīng)到了句子里主人公的內(nèi)心戲？

這輪比拼結(jié)束，小小總結(jié)一下。

同樣是免費(fèi)，Grammarly免費(fèi)版相比于兩位中文世界的選手，差距有點(diǎn)大。

不過，Grammarly有插件版本，直接寫郵件的時(shí)候，能夠邊寫邊糾錯(cuò)。

但如果是想要在AI的幫助下提升英語寫作能力，Grammarly免費(fèi)版恐怕不是上佳選擇。

而有道AI作文批改和微軟小英，都更符合國內(nèi)的英語學(xué)習(xí)路徑，總體表現(xiàn)都還不錯(cuò)。不過，在錯(cuò)誤復(fù)雜度提高的時(shí)候，有道的表現(xiàn)略勝一籌。

Round 3：評分準(zhǔn)確度

另一個(gè)重點(diǎn)，是評分的準(zhǔn)確度。

畢竟，考試都有嚴(yán)格的評分標(biāo)準(zhǔn)，能否依據(jù)標(biāo)準(zhǔn)給出準(zhǔn)確的打分，對于廣大有應(yīng)試需求的同學(xué)們而言還是非常重要的參考指標(biāo)。

有道AI作文批改和微軟愛寫作，都支持多學(xué)段英語作文批改，涵蓋小學(xué)、初中、高中、四六級、雅思托福和考研英語。

至于Grammarly，作為一款“舶來”應(yīng)用，并不是很適合我考試大國的風(fēng)格，沒有推出打分功能，亦無法區(qū)分學(xué)段和考試類型。

不過，使用Grammarly，也可以針對自己的情況進(jìn)行一些個(gè)性化設(shè)置，包括Audience（受眾）、Formality（正式程度）、Domain（領(lǐng)域）。

問題還是，免費(fèi)版選擇有限。

我在網(wǎng)上找了一篇 7.5 分的雅思范文，人類老師對這篇作文的評價(jià)是：詞匯豐富、語法點(diǎn)豐富，并且論證全面。

那么AI會(huì)如何評價(jià)這篇作文呢？

還是先來看看有道AI作文批改的答卷。

有道給這篇作文打了8分，并且就詞匯、結(jié)構(gòu)、語法和內(nèi)容都給出了評級。

點(diǎn)擊查看點(diǎn)評，還能看到AI閱卷官從詞、句、篇章著手，對作文的總體評價(jià)，一些更高級詞匯的推薦，以及好詞的鞏固。

……詞匯量較為豐富……文章較為流暢……詞匯基礎(chǔ)扎實(shí)。

這樣的評語，與人類老師的判斷基本一致。

同樣一篇文章，我們來看看微軟小英怎么說。

同樣給出了8分，比較特別的是，小英會(huì)統(tǒng)計(jì)作文中所使用的考綱詞匯、邏輯連詞和從句數(shù)量。

與有道給出的總體評價(jià)報(bào)告不同，小英給出的是文章結(jié)構(gòu)、句間關(guān)系、切題程度、展開程度4個(gè)評價(jià)指標(biāo)。

需要注意的是，如果想?yún)⒖嘉恼聝?nèi)容中切題程度這個(gè)指標(biāo)，必須填寫文章標(biāo)題。而展開程度這個(gè)指標(biāo)，我反復(fù)試了多篇作文，從高考范文到雅思范文，都是穩(wěn)定一星……

這輪比拼結(jié)束，同樣做個(gè)小結(jié)。

總體而言，有道和小英的評分結(jié)果都根據(jù)考試類型的不同，與考試評分標(biāo)準(zhǔn)對齊，具有參考價(jià)值。

在細(xì)節(jié)上，有道會(huì)根據(jù)字?jǐn)?shù)、詞匯使用情況、語句邏輯及銜接等方面給出綜合評價(jià)，微軟小英則是分點(diǎn)給出建議，主要集中在文章結(jié)構(gòu)和句間關(guān)系兩個(gè)方面。

不過，在測試中微軟小英出現(xiàn)了一些小bug。

比如六級作文的滿分是15分，但在得分界面其最高分卻是25分。

背后技術(shù)

看來有道詞典批改作文的AI，確實(shí)有兩把刷子。

出于科技小編的好奇心，我向文章開頭給我推薦軟件的胖友打聽了一下，在這背后究竟是怎樣的技術(shù)。

以有道為例，其英語作文批改分為三個(gè)核心模塊：評分模塊 + 評語模塊 + 糾錯(cuò)模塊。

評分模塊負(fù)責(zé)提供總分，及詞匯、語法、結(jié)構(gòu)得分，采用的是傳統(tǒng)方法 + 深度學(xué)習(xí)方法。

評語模塊提供全文評語、詞匯推薦、范文推薦。

糾錯(cuò)模塊提供14個(gè)類別的語法錯(cuò)誤識別及修正，包括淺層的拼寫錯(cuò)誤、深層的語法錯(cuò)誤等。

其中，拼寫糾錯(cuò)運(yùn)用的是基于BERT的NER實(shí)體識別技術(shù)。

語法糾錯(cuò)，則被定義為序列到序列的生成問題。核心基于Transformer架構(gòu)。

核心模型所做的事，其實(shí)類似于翻譯：將語法錯(cuò)誤的句子翻譯成語法正確的句子。

此外，在語法糾錯(cuò)中，還采用了遷移學(xué)習(xí)和對抗學(xué)習(xí)。用真實(shí)語料和基于真實(shí)用戶錯(cuò)誤分布生成的海量偽語料，不斷提升模型能力。

以上是網(wǎng)易有道詞典的質(zhì)量評估結(jié)果。P值為精確率（Precision），R值為召回率（Recall），F(xiàn)0.5為P值與R值的調(diào)和平均，其值越高，通常表示算法性能越好。

可以看到，有道AI作文批改的測試結(jié)果已達(dá)行業(yè)領(lǐng)先水平。

好啦，看罷這一篇試用報(bào)告，不知道正備考四六級、雅思托福、考研英語的你愿意pick AI為你免費(fèi)批改作文嗎？