假如讓AI來批改英語作文……
圖片來源@視覺中國
在英語學習“聽說讀寫”四個環(huán)節(jié)中,中國學習者往往擅長“聽”和“讀”, “說”和“寫”卻是典型的薄弱環(huán)節(jié)。
對于提升“說”的能力,我們有很多選擇,無論是口語學習的APP,還是真人授課服務,供給端競爭非常激烈。
但對于寫作的環(huán)節(jié),我們卻很少有機會得到訓練。書面交流不僅更要比口語更遵守語法規(guī)則,還對一個人的詞句篇章、構思邏輯等有更高的要求。同時,寫作環(huán)節(jié)的反饋,會耗費更多的精力和時間。
為了解決英語學習者在寫作上的難點和痛點,近期,網易有道詞典上線了以人工智能驅動的批改英文作文的功能——AI作文批改。據說,這位“AI老師”的專業(yè)程度,堪比四六級和高考閱卷老師。
有道 AI 作文批改功能體驗
打開網易有道詞典APP,“作文批改”功能已經在首頁顯示,一目了然。點擊之后,我們可以選擇可以批改的類型,范圍從K12到大學四六級,以及托福雅思等出國考試,非常全面。
有道AI作文批改上,有拍照批改模式和手動輸入模式兩種。鑒于目前大多數考試寫作的場景是基于手寫,我們選擇了主打手寫識別的拍照模式。
為了更沉浸式地感受AI老師,首先,我假裝自己是一名高三學生,寫(抄)了一篇150詞左右詞匯的英文作文。作文的大意是,李明向好友詹姆斯(James)寫了一封信,解釋為什么不能陪他在暑期休假以及相關事情。
AI系統(tǒng)將圖片識別之后,首先會提示你,點擊屏幕可以編輯作文,還會告知你提交前可以再檢查一遍。此處估計是擔心人工智能對于手寫體識別可能會出現的失誤。
這一提醒環(huán)節(jié)設置十分必要。鈦媒體在體驗過程中發(fā)現,即便是識別的準確率非常高,但也會有個別單詞,因為字跡潦草而出現失誤。
確認提交之后,有道AI作文批改給這篇小作文打了17分(總分25分),并且,細化到詞匯、結構、語法和內容方面均有評級。
更為重要的是,在點擊每一處標紅的地方,有道AI老師都詳細地指出了錯誤及其原因,還給出建議修正的意見。
為了讓作者的寫作水平更進一步,有道AI老師對這篇作文給出了如下嚴厲不失細致的評語;
“文章字數疑似超出該考試字數要求;在高中級別下,有一定詞匯積累,能使用少量高級詞匯,但還需更多積累;文章語句生硬,需加強上下文聯系;單詞拼寫基本正確,詞匯基礎扎實;存在較多語法錯誤。”
總的來說,有道的AI作文批改功能,針對不同學段和不同類別的考試水平進行相對專業(yè)的打分,并從詞、句、篇章進行點評和推薦,生成詳細的報告。在語法糾正方面,也給出了清晰的解析,直擊中國考試的痛點,非常適合備考的學員在日常的練習。
有道 AI 作文批改 VS 微軟愛寫作
除了有道之外,目前市面上由人工智能驅動的英文改寫的產品,還有巨頭微軟旗下的微軟愛寫作(微軟小英),和估值已經超過10億美元的英文在線寫作工具“Grammarly”。
不過,很遺憾的是,目前Grammarly 沒有上線拍照識別手寫的功能,因而,為了相對客觀的對比,我們先體驗了微軟愛寫作的產品。
鈦媒體發(fā)現,微軟愛寫作目前主要是網頁版,還沒有上線中國區(qū)的App Store的相關APP。不過,它已經嵌入了“微軟小英”的公眾號內。該公眾號是微軟亞洲研究院打造的一款免費的英語學習公眾號,主打AI與英語學習相結合的體驗。
在公眾號內,選擇“搶先體驗”—“發(fā)現工具”—“作文打分”,入口相對隱蔽。并且,公眾號在提示用戶,更推薦大家使用web端,沒有切合當前移動互聯網的大趨勢。
同樣還是上述手抄作文,微軟愛寫作識別了之后,給出了23分(不過總分是多少不清楚),以及從詞匯句式、文章流暢性、文章內容和拼寫語法四個角度給出了評價。
微軟的系統(tǒng)對這篇作文評價還不錯。與有道AI老師比起來,微軟小英AI老師要溫和得多了,立馬讓人撿起來了剛被擊退的英文寫作的信心。
不過仔細一想,這更像是基于模板的“統(tǒng)一回復”,因為微軟愛寫作并沒有指出具體的語法和句法的錯誤,也沒有給出今后如何提高的針對性意見。
有道 AI 作文批改 VS Grammarly
體驗完微軟愛寫作,再看看改寫工具Grammarly,畢竟這是一款日活已經超過2000萬用戶的產品。雖然它不能手寫識別,但我們可以從挑選單句,進行語法錯誤糾正方面的對比。
例句1: Like students sing English song.
有道詞典
有道詞典:疑似動詞時態(tài)錯誤,建議將“sing”修正為“singing”;疑似名詞單復數錯誤,建議將“song”修正為“songs”.
Grammarly
Grammarly(免費版):名詞單復數錯誤,建議將“song”改為“songs”.
例句2:When the girl will leave, she fount an old begger in the tree and looked at angry and cold.
有道詞典
有道詞典:疑似用詞不當,建議將“will leave”修正為“l(fā)eft”;疑似動詞時態(tài)錯誤,建議將“fount”修正為“found”;疑似名詞誤用,建議將“begger”修正為“beggar”等.
Grammarly
Grammarly(免費版):建議將“begger”更改為“beggar”.
對比小結:我們發(fā)現,有道詞典更能識別出較復雜的語法錯誤,如時態(tài)錯誤(過去式居多),動詞原形與動名詞誤用。Grammarly偏向簡單的語法修改,如介詞誤用,名詞單復數錯誤等。
例句 3: Nest Tuesday, our class is going to a music camp.
有道詞典
有道詞典:疑似拼寫錯誤,建議將“Nest”修正為“Next”.
Grammarly
Grammarly(免費版):無錯誤。
對比小結:有道詞典更能識別不符合原文語境的單詞誤用。
總結:
經過對比體驗,我們發(fā)現,三款產品各有優(yōu)劣。不過,綜合來看,有道AI作文批改,用起來更熟悉且順手——因為看上去它更理解中國學生的學習習慣、痛點與難點。
有道AI老師是如何做到的?這背后的核心邏輯又是什么?
從網易有道詞典那里,鈦媒體了解到,網易有道詞典AI作文批改功能主要由三個核心模塊構成:評分模塊、評語模塊和糾錯模塊。
有道AI作文批改評分模塊框架
其中,評分的模型框架結合了傳統(tǒng)的方法和深度學習的方法,以詞、句、篇章作為核心的評分維度;評語模塊提供全文評語、詞匯推薦、范文推薦;糾錯模塊提供14個類別的語法錯誤識別及修正,包括淺層的拼寫錯誤、深層的語法錯誤等。
同時,我們得到了一份測試報告顯示,與國際上較為知名的兩個引擎相比,在作文批改引擎方向,網易有道詞典的算法性能更好。
評測時間 2020-03-31; P值-Precision 精確率, R值-Recall 召回率, F0.5-P值與R值的調和平均,其值越高,通常表示算法性能越好。
以上表格的測試集來源于用戶日志,具體來自三個方向,一是他們海外詞典批改服務的用戶請求日志,二是考研用戶的請求日志,三是來自有道智云的行業(yè)數據集。有道團隊將這三個數據集中各抽出一部分來做測試集,抽選規(guī)則隨機。
經過如上體驗和對比,尤其是從一些細節(jié)方面,可以看出來,有道AI作文批改的研發(fā)團隊,是在了解了中國學生的難點和痛點之后,再進行了針對性和差異化的開發(fā)。
這在當前優(yōu)質老師資源分布不均,且十分有限的情況下,有道AI作文批改老師的出現,無疑為大多數英語學習者,提供了一位免費的專屬私人教師。
更為重要的是,與真人老師比起來,有道AI作文批改老師在識別后,可以隨時隨地,在第一時間給出作業(yè)反饋,以及后續(xù)學習、提高的建議,更細致且高效,這不僅可以幫助學生在備考之際給出“臨門一腳”的指導,還能在日常反復訓練中起到重要的作用。(本文首發(fā)鈦媒體App,作者|李程程)
掃描二維碼推送至手機訪問。
版權聲明:本文由財神資訊-領先的體育資訊互動媒體轉載發(fā)布,如需刪除請聯系。