用GPT-4輔助教學(xué)6周=正常學(xué)習(xí)兩年？！

事情是醬嬸兒的。

一支由世界銀行教育專家、數(shù)據(jù)科學(xué)家、研究分析師等組成的權(quán)威團隊，在尼日利亞，針對學(xué)生使用GPT-4輔導(dǎo)學(xué)習(xí)，做了一項隨機對照試驗。

他們發(fā)現(xiàn)，連續(xù)6周用AI進(jìn)行課后輔導(dǎo)，學(xué)生所獲得的學(xué)習(xí)成效相當(dāng)于正常上了兩年學(xué)。

而且這種方法，超過了發(fā)展中國家教育干預(yù)措施隨機對照試驗數(shù)據(jù)庫中，80%的其它教育干預(yù)措施。

參與實驗的幾乎所有學(xué)生都有學(xué)習(xí)進(jìn)步，而且參加的AI輔助課程越多，進(jìn)步也就越明顯。

這項研究被沃頓商學(xué)院教授Ethan Mollick發(fā)到X上后，迅速得到大量網(wǎng)友關(guān)注。

Greg Brockman也轉(zhuǎn)發(fā)了一手。

評論區(qū)網(wǎng)友紛紛分享用AI輔助學(xué)習(xí)的經(jīng)歷。

我13歲的女兒已經(jīng)用ChatGPT輔導(dǎo)學(xué)習(xí)超一年了。她已經(jīng)能夠討論微積分中的導(dǎo)數(shù)和積分以及物理中的電磁學(xué)熱力學(xué)等話題。去年學(xué)校想讓她跳級，但被我們拒絕了。

我正在為我的大學(xué)課程引入一種由學(xué)生共同設(shè)計的LLM輔導(dǎo)工具。不知道有沒有人可以提供如何將這個項目作為隨機對照試驗進(jìn)行的建議？

將這種輔導(dǎo)服務(wù)僅提供給一半的學(xué)生似乎有些不公平。

Ethan Mollick還補充認(rèn)為教師帶領(lǐng)學(xué)生使用AI非常重要：

在某些情況下，獨立用AI作輔導(dǎo)可能會損害學(xué)習(xí)，因為它給人一種學(xué)習(xí)的錯覺。

項目細(xì)節(jié)

1984年，教育心理學(xué)家Benjamin Bloom展示了接受一對一輔導(dǎo)的學(xué)生在學(xué)習(xí)成效上遠(yuǎn)超僅限于傳統(tǒng)課堂設(shè)置的學(xué)生。盡管一對一輔導(dǎo)的好處已被證實，但成本高昂。

來自世界銀行的教育團隊認(rèn)為，生成式AI能夠創(chuàng)造新的類人內(nèi)容，為教育應(yīng)用開辟了更廣泛的可能性。

基于這一潛力，他們在尼日利亞埃多州進(jìn)行了一場實驗。

在2024年6月至7月期間，來自七個試點學(xué)校的800名高中一年級學(xué)生，每周需要在計算機實驗室參加兩次課后AI英語輔導(dǎo)。

具體來說，每節(jié)課以老師介紹本周主題開始，隨后學(xué)生與由GPT-4驅(qū)動的Microsoft Copilot進(jìn)行互動，此來完成一些英語語法學(xué)習(xí)和寫作任務(wù)。

老師在當(dāng)中會指導(dǎo)學(xué)生如何使用AI，也會給一些prompt建議，另外在每節(jié)課要結(jié)束時帶領(lǐng)學(xué)生進(jìn)行簡短的反思練習(xí)。

項目進(jìn)行中，團隊初步總結(jié)了一些經(jīng)驗教訓(xùn)：

• 參與試點的學(xué)生表現(xiàn)出極高的參與度，很多學(xué)生表達(dá)了想在計算機實驗室使用AI工具的強烈愿望。
• 試點結(jié)束后，教師對使用AI的初步擔(dān)憂轉(zhuǎn)變?yōu)檎J(rèn)識到其潛力，并認(rèn)識到AI在提升學(xué)生學(xué)習(xí)中的指導(dǎo)作用。
• 項目持續(xù)了六周，更長的時間可能更為有效。項目初期，學(xué)生主要學(xué)習(xí)設(shè)置電子郵件、創(chuàng)建Microsoft Copilot賬戶以及如何使用計算機。延長項目，可以將更多時間專注于學(xué)生的實際學(xué)習(xí)需求。

• 雨季期間頻繁的電力和網(wǎng)絡(luò)中斷，影響了學(xué)生與AI的互動，為教室配置備用電源和網(wǎng)絡(luò)連接對于保持課程的順暢進(jìn)行至關(guān)重要。
• 需要為學(xué)生和老師提供必要的支持，比如項目組特別開發(fā)了工具包來引導(dǎo)課程，還有精心設(shè)計的提示詞。
• 與任何項目一樣，設(shè)計與實施之間可能存在顯著差距。為此，需要一個小型監(jiān)控團隊密切監(jiān)督每個試點，收集關(guān)鍵見解并提供反饋，確保項目按計劃進(jìn)行。
• 教師也指出了AI的關(guān)鍵風(fēng)險，例如過度依賴、產(chǎn)生錯誤反饋并誤導(dǎo)事實，以及濫用問題。對這些風(fēng)險采取適當(dāng)?shù)木徑獠呗詫W(xué)生探索這種新學(xué)習(xí)方式至關(guān)重要。

六個周后，學(xué)生們進(jìn)行了一場筆試，以此來評估他們在三個關(guān)鍵領(lǐng)域的表現(xiàn)：英語（重點關(guān)注）、AI知識和數(shù)字技能。

結(jié)果發(fā)現(xiàn)，隨機被選中的參加該項目的學(xué)生在這三個方面的學(xué)習(xí)成效，均顯著優(yōu)于未參加該項目的學(xué)生。

值得注意的是，參與項目的學(xué)生在學(xué)校正常的年終考試中表現(xiàn)也更出色，而學(xué)校年終考試的內(nèi)容遠(yuǎn)超六周干預(yù)期間涉及的主題。

這說明學(xué)會有效利用AI的學(xué)生，可能已經(jīng)運用這些技能獨立探索和掌握其它學(xué)科。

此外，團隊還發(fā)現(xiàn)該項目對所有學(xué)生均有積極影響，不僅限于對成績優(yōu)異的學(xué)生有幫助。而且學(xué)生參加的AI輔助課程越多，他們的進(jìn)步也越明顯。

如前所述，由于雨季洪水等因素，許多學(xué)生出勤存在困難，團隊專門為該項目專門開發(fā)了嚴(yán)格的監(jiān)控系統(tǒng)來精確跟蹤學(xué)生出勤情況。

結(jié)果發(fā)現(xiàn)，學(xué)生每增加一天的出勤都會顯著提高學(xué)習(xí)成效。如下圖，隨著出勤天數(shù)的增加，學(xué)生的平均評估得分也呈上升趨勢：

學(xué)生通過AI輔助，學(xué)習(xí)成效的提升非常顯著，約為0.3個標(biāo)準(zhǔn)差，相當(dāng)于僅僅六周學(xué)生的進(jìn)步為正常學(xué)習(xí)了兩年。

團隊將這些結(jié)果與發(fā)展中國家教育干預(yù)措施的隨機對照試驗數(shù)據(jù)庫進(jìn)行比較，發(fā)現(xiàn)該項目表現(xiàn)超過了80%的其它干預(yù)，包括一些如結(jié)構(gòu)化教學(xué)和按能力分層教學(xué)等成本極高的策略。

然而，這只是起步階段。團隊表示，仍有許多重要問題待解決：

這種干預(yù)措施的長期影響如何？除了即時的學(xué)習(xí)收益外，學(xué)生還獲得了哪些好處？他們?nèi)绾闻c大語言模型進(jìn)行互動？教師又如何支持這種互動？這些好處是否能擴展到其它學(xué)科？有沒有任何負(fù)面的、不希望的效果？