一只能看懂表格图片的数据助手
如何讓數(shù)據(jù)助手讀懂你的星球數(shù)據(jù)？
怎么像數(shù)據(jù)庫查詢一樣精準獲取答案？
想不想一鍵上傳，不用標注數(shù)據(jù)就可以后臺基于模板快速訓練其他表格圖片？
本項目通過一份簡單的星球數(shù)據(jù), 給你一份輕松數(shù)據(jù)查詢的實現(xiàn)方法！！！
github地址: Paddle_Table_Image_Reader
B站視頻體驗如下：https://www.bilibili.com/video/BV1B64y1i7GM
一、項目背景
本項目是參加【AI創(chuàng)造營 ：Metaverse啟動機之重構(gòu)現(xiàn)世】的作品，PaddlePaddle 聯(lián)合開源聊天機器人框架 Wechaty 和設(shè)計師社區(qū) MixLab 帶來炫酷科幻創(chuàng)意賽，并由未來事務(wù)管理局作為媒體支持，以期為AI算法工程師拓展Conversational AI 應(yīng)用場景，為 Chatbot 開發(fā)者提供AI技術(shù)支持平臺，為MixLab設(shè)計師探索創(chuàng)新構(gòu)想落地途徑。
本項目主要功能是，上傳一張表格數(shù)據(jù)圖片，目前暫只支持單表, 通過PP-Structure解析表格模板，提取表格要素信息，再送入到Text2SQL進行訓練，最后就可以基于數(shù)據(jù)庫用文本語言的方式查詢到自己想要的信息了。
本項目主要挑戰(zhàn)是PaddleOCR會有識別上的準確率的問題，text2sql最大的問題就是數(shù)據(jù)制作麻煩，周期長，同時很難泛化到其他表格。所以本項目的一大創(chuàng)新點，就是編寫一個普遍適用的數(shù)據(jù)生成模板，當解析完成表格元素，自動生成標注數(shù)據(jù)（可能中間過程有輕微的文字改動，幾分鐘應(yīng)該可以搞定），進行訓練生成模型，最終基本可以達到實時推理的效果。
本項目還支持一些附加功能, 比如支持數(shù)據(jù)導出, 查看圖片，動態(tài)顯示回復過程等等。
關(guān)于Wechaty的安裝和使用請參考我另一篇： 微信醫(yī)聊自動問答 WeChaty + PaddleHub
參考項目：
PaddleNLP開源項目
PaddleOCR開源項目
二、關(guān)于WeChaty和PaddleHub
wechaty（https://github.com/wechaty/wechaty）是一款開源的微信SDK，它基于微信公開的API，對接口進行了一系列的封裝，提供一系列簡單的接口，然后開發(fā)者可以在其之上進行微信機器人的開發(fā)。
這里使用docker腳本可方便快速部署。請將your_token處替換成你的WeChaty token (puppet_padlocal_xxxxxxxxxxxxx)
export WECHATY_LOG="verbose" export WECHATY_PUPPET="wechaty-puppet-padlocal" export WECHATY_PUPPET_PADLOCAL_TOKEN="your_token"export WECHATY_PUPPET_SERVER_PORT="8080" export WECHATY_TOKEN="your_token"docker run -ti \--name wechaty_puppet_service_token_gateway \--rm \-e WECHATY_LOG \-e WECHATY_PUPPET \-e WECHATY_PUPPET_PADLOCAL_TOKEN \-e WECHATY_PUPPET_SERVER_PORT \-e WECHATY_TOKEN \-p "$WECHATY_PUPPET_SERVER_PORT:$WECHATY_PUPPET_SERVER_PORT" \wechaty/wechaty:latest ~運行成功后如下圖:
三、關(guān)于PaddleOCR
簡介
PaddleOCR旨在打造一套豐富、領(lǐng)先、且實用的OCR工具庫，助力使用者訓練出更好的模型，并應(yīng)用落地。
特性
- 超輕量級中文OCR模型，總模型僅8.6M
- 單模型支持中英文數(shù)字組合識別、豎排文本識別、長文本識別
- 檢測模型DB（4.1M）+識別模型CRNN（4.5M）
- 實用通用中文OCR模型
- 多種預(yù)測推理部署方案，包括服務(wù)部署和端側(cè)部署
- 多種文本檢測訓練算法，EAST、DB、SAST
- 多種文本識別訓練算法，Rosetta、CRNN、STAR-Net、RARE、SRN
- 可運行于Linux、Windows、MacOS等多種系統(tǒng)
PP-Structure
所謂版面分析，就是對文檔圖片中的文本、表格、圖片、標題與列表區(qū)域進行分類。而表格識別則是基于版面分析出的表格類區(qū)域，進行文本的檢測與識別，同時還完整的提取表格結(jié)構(gòu)信息，使得表格圖片變?yōu)榭删庉嫷腅xcel文件。
版面分析的需求廣泛存在，例如金融行業(yè)中提取用戶申請資質(zhì)時各類文件的信息；工業(yè)界對于實體制造情況的持續(xù)跟蹤，以及對于發(fā)票、各類表單的電子化存儲需求；對于個人而言，通過移動設(shè)備拍照提取表格或者快速將PDF文檔中的表格數(shù)據(jù)變?yōu)榭删庉嬓问降男枨笠惨恢贝嬖凇６砀褡R別相比通用識別+后處理，可以節(jié)省更多成本。
不管是版面分析還是表格識別，現(xiàn)有方案可大致分為基于圖像處理的傳統(tǒng)方法和基于深度學習的方法。
請點擊此處查看本環(huán)境基本用法.
Please click here for more detailed instructions.
示例圖片：
# 表格元素文本識別 !paddleocr --image_dir=/home/aistudio/work/sources/example_table.jpg --type=structure # 解析獲取的html數(shù)據(jù) from bs4 import BeautifulSoup import re import json import pandas as pdwith open('/home/aistudio/work/sources/sample.html') as file_obj:html_doc = file_obj.read() soup = BeautifulSoup(html_doc, 'html.parser') tb = soup.findAll('table')[0] columns = [] #表頭 for td in tb.thead.findAll('tr')[0].findAll("td"):tmp = td.get_text().replace(" ", "")tmp = re.sub(u"\\（.*?）|\\{.*?}|\\[.*?]|\\【.*?】", "", tmp)columns.append(tmp) columns[0] = "星球"#列名 rows_content = [] pks = [] for row in tb.tbody.findAll('tr'):cells = row.findAll('td')row_content = []for k in range(len(cells)): if k > 0:row_content.append(float(cells[k].get_text().replace("°", "")))else:row_content.append(cells[k].get_text())pks.append(cells[k].get_text())rows_content.append(row_content)#寫入到pandas data_df = pd.DataFrame(rows_content, columns=columns) data_df.head <bound method NDFrame.head of 星球 與太陽的平均距離 質(zhì)量 體積 軌道傾角 軌道偏心率 0 水星 0.579 0.0500 0.056 7.00 0.206 1 金星 1.082 0.8200 0.856 3.40 0.007 2 地球 1.496 1.0000 1.000 0.00 0.017 3 火星 2.279 0.1100 0.150 1.90 0.093 4 木星 778.000 317.9400 1316.000 13.00 0.048 5 土星 14.270 95.1800 745.000 2.59 0.055 6 天王星 28.700 14.6300 65.200 0.80 0.051 7 海王星 44.960 17.2200 57.100 18.00 0.006 8 只王星 59.460 0.0024 0.009 17.10 0.256>四、基于Pandas數(shù)據(jù)分析
#描述統(tǒng)計 data_df.describe()| 9.000000 | 9.000000 | 9.000000 | 9.000000 | 9.000000 |
| 103.425111 | 49.661378 | 242.819000 | 7.087778 | 0.082111 |
| 253.871614 | 105.155276 | 469.540281 | 7.113357 | 0.089614 |
| 0.579000 | 0.002400 | 0.009000 | 0.000000 | 0.006000 |
| 1.496000 | 0.110000 | 0.150000 | 1.900000 | 0.017000 |
| 14.270000 | 1.000000 | 1.000000 | 3.400000 | 0.051000 |
| 44.960000 | 17.220000 | 65.200000 | 13.000000 | 0.093000 |
| 778.000000 | 317.940000 | 1316.000000 | 18.000000 | 0.256000 |
五、關(guān)于TEXT2SQL語義解析任務(wù)
語義解析是一種交互式分析技術(shù)，其將用戶輸入的自然語言表述轉(zhuǎn)成可操作執(zhí)行的語義表示形式，如邏輯表達式（如一階邏輯表示，lambda表示等）、編程語言（如SQL、python等）、數(shù)學公式等。
Text2SQL 是語義解析技術(shù)中的一類任務(wù)，讓機器自動將用戶輸入的自然語言問題轉(zhuǎn)成可與數(shù)據(jù)庫交互的 SQL 查詢語言，實現(xiàn)基于數(shù)據(jù)庫的自動問答能力。
RAT-SQL模型介紹
RATSQL論文于2019年11月首次發(fā)布在arXiv，最近（2020年5月）重新修改提交。算法目前在Spider榜單上最高準確率為65.6%。
論文首先就Schema Encoding和Schema Linking進行了介紹。Schema Encoding顧名思義就是對表結(jié)構(gòu)（表名、列名、列類型、主鍵、外鍵等等）進行編碼，以便后續(xù)模型訓練使用。Schema Linking則是要把Question中表述的內(nèi)容與具體的表名和列名對齊。而這件事并不容易，文中舉例如下，Question中提到的model應(yīng)該是“car_names”這張表里的model，而不是“model_list”表里的model。
要提升Schema Linking的準確率，必須將表結(jié)構(gòu)（schema）和question中的信息同時考慮。但此前的工作（GNN encoder[2]）在encoding時只考慮的schema，未考慮到question中所包含的上下文信息。同時GNN-based的encoding方式，使得關(guān)系表示局限于預(yù)先定義的graph edges中，限制了模型的表示能力。
RATSQL使用了relation-aware self-attention,同時把顯式關(guān)系（schema）和隱式關(guān)系（question和schema之間的linking）都考慮在encoding中，完善了模型的表示能力。
#安裝 # !unzip ~/data/data103402/Text2SQL-BASELINE.zip -d ./ !pip install -r Text2SQL-BASELINE/requirements.txt %cd ~/Text2SQL-BASELINE/ERNIE !python setup.py develop # %cd ~/Text2SQL-BASELINE/data # !bash download_ernie1.0.sh # !bash download_trained_model.sh #生成db_schema.json以及db_content.json !python ~/work/sources/create_dbjson.py created schema: ['星球', '與太陽的平均距離', '質(zhì)量', '體積', '軌道傾角', '軌道偏心率'] #生成訓練數(shù)據(jù) !python ~/work/sources/create_list.py #若遇到這個錯誤, 請執(zhí)行下面命令覆蓋 # FileNotFoundError: [Errno 2] No such file or directory: ‘data/my_data/preproc/label_vocabs/grammar.asdl’ !cp /home/aistudio/my_data.jsonnet /home/aistudio/Text2SQL-BASELINE/conf/my_data.jsonnet !cp /home/aistudio/*sh /home/aistudio/Text2SQL-BASELINE/data/ #數(shù)據(jù)預(yù)處理 %cd ~/Text2SQL-BASELINE!bash ./run.sh ./script/schema_linking.py \-s data/db_schema.json \-c data/db_content.json \-o data/match_values_train.json \-f nl2sql \data/train.json --is-train!bash ./run.sh ./script/schema_linking.py \-s data/db_schema.json \-c data/db_content.json \-o data/match_values_dev.json \-f nl2sql \data/dev.json!bash ./run.sh ./script/text2sql_main.py \--mode preproc \--config conf/my_data.jsonnet \--data-root data/ \--is-cached false \--is-test false \--output data/preproc
初步訓練結(jié)果比較過擬合， 數(shù)據(jù)預(yù)測明顯偏向多樣本，泛化效果也不太好，做了一下優(yōu)化：
六、SQLITE數(shù)據(jù)庫搭建
SQLite是一種嵌入式數(shù)據(jù)庫，它的數(shù)據(jù)庫就是一個文件。由于SQLite本身是C寫的，而且體積很小，所以，經(jīng)常被集成到各種應(yīng)用程序中，甚至在iOS和Android的App中都可以集成。
Python就內(nèi)置了SQLite3，所以，在Python中使用SQLite，不需要安裝任何東西，直接使用。
在使用SQLite前，我們先要搞清楚幾個概念：
表是數(shù)據(jù)庫中存放關(guān)系數(shù)據(jù)的集合，一個數(shù)據(jù)庫里面通常都包含多個表，比如學生的表，班級的表，學校的表，等等。表和表之間通過外鍵關(guān)聯(lián)。
要操作關(guān)系數(shù)據(jù)庫，首先需要連接到數(shù)據(jù)庫，一個數(shù)據(jù)庫連接稱為Connection；
連接到數(shù)據(jù)庫后，需要打開游標，稱之為Cursor，通過Cursor執(zhí)行SQL語句，然后，獲得執(zhí)行結(jié)果。
Python定義了一套操作數(shù)據(jù)庫的API接口，任何數(shù)據(jù)庫要連接到Python，只需要提供符合Python標準的數(shù)據(jù)庫驅(qū)動即可。
由于SQLite的驅(qū)動內(nèi)置在Python標準庫中，所以我們可以直接來操作SQLite數(shù)據(jù)庫。
?
2021-08-08 16:30:35,302 INFO sqlalchemy.engine.Engine [no key 0.00055s] ()
2021-08-08 16:30:35,307 INFO sqlalchemy.engine.Engine COMMIT
2021-08-08 16:30:35,308 INFO sqlalchemy.engine.Engine CREATE INDEX ix_single_table_index ON single_table (“index”)
2021-08-08 16:30:35,308 INFO sqlalchemy.engine.Engine [no key 0.00072s] ()
2021-08-08 16:30:35,314 INFO sqlalchemy.engine.Engine COMMIT
2021-08-08 16:30:35,316 INFO sqlalchemy.engine.Engine BEGIN (implicit)
2021-08-08 16:30:35,318 INFO sqlalchemy.engine.Engine INSERT INTO single_table (“index”, “星球”, “與太陽的平均距離”, “質(zhì)量”, “體積”, “軌道傾角”, “軌道偏心率”) VALUES (?, ?, ?, ?, ?, ?, ?)
2021-08-08 16:30:35,318 INFO sqlalchemy.engine.Engine [generated in 0.00075s] ((0, ‘水星’, 0.579, 0.05, 0.056, 7.0, 0.206), (1, ‘金星’, 1.082, 0.82, 0.856, 3.4, 0.007), (2, ‘地球’, 1.496, 1.0, 1.0, 0.0, 0.017), (3, ‘火星’, 2.279, 0.11, 0.15, 1.9, 0.093), (4, ‘木星’, 778.0, 317.94, 1316.0, 13.0, 0.048), (5, ‘土星’, 14.27, 95.18, 745.0, 2.59, 0.055), (6, ‘天王星’, 28.7, 14.63, 65.2, 0.8, 0.051), (7, ‘海王星’, 44.96, 17.22, 57.1, 18.0, 0.006), (8, ‘只王星’, 59.46, 0.0024, 0.009, 17.1, 0.256))
2021-08-08 16:30:35,320 INFO sqlalchemy.engine.Engine COMMIT
七、生成結(jié)果圖片
import PIL from PIL import ImageFont from PIL import Image from PIL import ImageDrawfor i in range(len(load_dict)):strs = "問題: " + load_dict[i]["question"] + "\n" + "SQL: " + load_dict[i]["sql"] + "\n" + "答案： " + str(load_dict[i]["answer"])imageFile = "/home/aistudio/work/sources/universe2.jpg"""#初始化參數(shù)x = 20 #橫坐標（左右）y = 20 #縱坐標（上下）word_size = 20 #文字大小word_css = "/home/aistudio/work/sources/simhei.ttf" font = ImageFont.truetype(word_css, word_size)#分割得到數(shù)組im1=Image.open(imageFile) #打開圖片draw = ImageDraw.Draw(im1)draw.text((x, y),strs,(255,255,0),font=font)im1.save("/home/aistudio/work/for_wechaty/text2sql_imgs/rsult_" + str(i)+ ".jpg") del drawim1.close() display(Image.open("/home/aistudio/work/for_wechaty/text2sql_imgs/rsult_0.jpg"))[外鏈圖片轉(zhuǎn)存失敗,源站可能有防盜鏈機制,建議將圖片保存下來直接上傳(img-7EVsN4np-1636418645458)(output_36_0.png)]
八、將上述代碼在本地部署（Wechaty +Paddle）
九、總結(jié)
- PP-Structure效果還是不錯的，準確度和泛化能力方面還是有不少提升空間。
- 項目中還有很多不足， 端到端推理時間和過程比較繁雜，不易于落地部署，后期整體可以將這個pipeline好好優(yōu)化。
- 模板生成訓練數(shù)據(jù)還是比較有限,，沒能做到完全自動化生成，而且非常不均衡，需要優(yōu)化。
- 訓練的數(shù)據(jù)集比較有限，導致泛化能力比較差。
- 時間有限，訓練得也不充分，調(diào)參也沒進一步優(yōu)化, 后續(xù)好好改進。
- 查詢結(jié)果應(yīng)轉(zhuǎn)化為更易于人類理解的結(jié)果, 暫時沒有完善!
**~~~~~~~~~~如果喜歡，請幫我star, fork, 關(guān)注, 一鍵三連！！！**
關(guān)于作者
PaddlePaddle開發(fā)愛好者
我在AI Studio上獲得鉆石等級，點亮10個徽章，來互關(guān)呀~ https://aistudio.baidu.com/aistudio/personalcenter/thirdview/89442
ay(Image.open("/home/aistudio/work/for_wechaty/text2sql_imgs/rsult_0.jpg"))
總結(jié)
以上是生活随笔為你收集整理的一只能看懂表格图片的数据助手的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 学位评估 计算机课程教学案例,复旦大学业
- 下一篇： 抽象类的应用