魔改GPT自動寫網(wǎng)文，速度一秒十字，還能給太監(jiān)作品無限續(xù)更
本文經(jīng)AI新媒體量子位（公眾號ID:QbitAI）授權轉載，轉載請聯(lián)系出處。
如果一個人只看網(wǎng)文，那會寫出來怎樣的文字？
看了100G網(wǎng)文后，這個AI模型幫你試了一下。
先來一段自由創(chuàng)作：
無限續(xù)更 | 開源">乍眼看去很有內(nèi)味，而且基本是一秒十字甚至更快的生成速度，非常的amazing。
那再放一段經(jīng)典網(wǎng)文故事高潮前的內(nèi)容，讓AI作家?guī)兔m(xù)一下？
無限續(xù)更 | 開源">呃……不是“三十年河東，三十年河西，莫欺少年窮”，沒內(nèi)味兒啊！
這就是開發(fā)者親切地稱之為“人工智障寫作”，由GPT魔改而成的模型AI-Writer：
無限續(xù)更 | 開源">一秒十字，無限續(xù)寫
這一模型擁有100M參數(shù)量，基于100G網(wǎng)絡小說訓練，沒有采用任何其他素材。
因此，AI-Writer相當于是一位“只看網(wǎng)絡小說”的創(chuàng)作者，不具備任何網(wǎng)文以外的常識，行文風格自然也就比較小白。
但好在閱書無數(shù)，一句同樣的開頭：
無限續(xù)更 | 開源">就能生成風格迥異，走向不同的多個片段：
無限續(xù)更 | 開源">也可以自定義每次的生成字數(shù)，像上面就是每次生成200字。
無限續(xù)更 | 開源">理論上可以無限生成文字，但時間長了也會陷入“不斷重復某字或某片段”的循環(huán)之中。
生成文字速度受加速方式的影響，目前支持N卡、A卡、I卡、GPU加速，可以選擇最適合自己設備的方式：
無限續(xù)更 | 開源">像開頭展示的那段動圖，生成速度甚至不止一秒十字，就是通過GPU加速的效果。
如果你覺得AI寫的有點太過放飛自我，也可以設置生成文字的隨機程度。
無限續(xù)更 | 開源">要解釋這里的文字生成隨機性，就要說到AI-Writer所采用的一種特殊的采樣方法：
- 對于段落開頭
將Top-P設置為0.995，幾乎完全按照輸出的概率分布采樣，增強行文變化
- 對于其他位置
先找到最高概率的字的概率P，然后移除所有概率小于 0.02×P2的字
這樣，模型生成的每一個字都是一個概率分布，因此，上面的文字生成的隨機程度，也就是文字生成時忽略小概率字的程度。
可以對比一下該值分別為0.01，0.1，0.9時的生成效果：
無限續(xù)更 | 開源">當然，由于這是個只有100M參數(shù)的小模型，所以邏輯和閱讀理解能力是較低的。
用開發(fā)者的話來說，就是“它是個純智障，純屬娛樂”。
模型可直接試玩
不過，就算本著娛樂的目的，我們也來看看怎么做才讓這個AI作者動筆。
在環(huán)境配置上，開發(fā)者表示，如果采用他通過C+AVX2寫的純CPU版本，就不需要Python和Pytorch，只要是2014年以后的CPU都能成功運行。
（作者已將這一版本上傳至交流群）
而上述演示的動圖則是在Python3.8和Pytorch1.10的環(huán)境配置下的Demo。
在環(huán)境配置完畢后，下載模型和Release文件，在模型文件中新建一個model文件夾，并將release文件解壓放在model目錄下。
這時你就可以運行python run.py，在終端快速生成文字：
（這里可以先安裝一下DeepLearning環(huán)境）
無限續(xù)更 | 開源">文字可以一直自由生成下去，可以通過Ctrl+C來停止。
當然，由于這里是在2.3 GHz 雙核Intel Core i5的Mac本上跑的，所以并沒有達到10字/秒的生成速度。
也可以在網(wǎng)頁中進行試玩，運行python server.py，并打開下載模型web-client文件夾中的index.html。
無限續(xù)更 | 開源">然后就可以打開網(wǎng)頁，直接在對話框中輸入開頭，點擊按鈕進行續(xù)寫了：
無限續(xù)更 | 開源">現(xiàn)在這個網(wǎng)頁版已經(jīng)初具模型，開發(fā)者希望能有更多的人參與進來，一起將現(xiàn)階段的這個“人工智障”改進成對于創(chuàng)作者而言的實用工具，以及對于讀者而言的娛樂方式。
下載鏈接：
https://github.com/BlinkDL/AI-Writer/releases
