表格識別作為文檔智能的重要組成部分，面臨著復(fù)雜結(jié)構(gòu)和多樣化格式的挑戰(zhàn)。 ??【文檔智能 & RAG】RAG增強之路：增強PDF解析并結(jié)構(gòu)化技術(shù)路線方案及思路??

前期文章也介紹了傳統(tǒng)視覺的方法進行表格結(jié)構(gòu)識別的方法，??【文檔智能】輕量級級表格識別算法模型-SLANet??

關(guān)于表格識別在這里就不做過多的介紹了。

國慶期間，筆者利用一個較長的時間段，訓(xùn)練了一個多模態(tài)的表格識別模型，效果還不錯，特此記錄一下多模態(tài)的效果。

• 訓(xùn)練資源：H100*8
• 訓(xùn)練數(shù)據(jù)：200w table image - table html對（html的表示表格的優(yōu)勢，可以準確表示一些復(fù)雜表格，如合并單元格等，這點是mardown格式無法做到的。）
• 模型參數(shù)量：7B
• 自建測評數(shù)據(jù)TEDS：0.97~0.98

小總結(jié)：

1. 訓(xùn)練數(shù)據(jù)質(zhì)量大于一切，含大量數(shù)據(jù)的超長文本表格目前還不能準確識別，因為筆者訓(xùn)練的是??max-length=8192??。
2. 模型參數(shù)量目前較大，推理速度比較慢。

效果記錄： 下面的一些case來源于網(wǎng)絡(luò)的表格截圖。

case1

case2

case3

case4

case5

case6

case7

本文轉(zhuǎn)載自公眾號大模型自然語言處理  作者：余俊暉

原文鏈接：??https://mp.weixin.qq.com/s/MrlNdZKvO5byUIi21sBinw??