• 背景：

? ? ?enb下包含多個文件，我們需要解析這樣的數據到數據庫中，供應用端計算分析使用。之前，我們已經采用了分表方案，分表分為一個主表，三個子表。每一個enb一套表。

? ? ?解析業務：

? ? ?每取到一個文件就讀取為一個實體集合到內存中，當一個文件讀取完成后，調入庫接口；在入庫時，先把這個實體集合拆分為主表的datatable對象，三個子表的datatable對象，之后并行入庫。

• 分析：

? ? 基于上邊的一共包含兩個弊端問題：

? ? 內存占用高：我們先讀取為一個實體集合，之后轉化為4個datatable對象才能進行入庫，這個過程相當于內存中的數據量成倍的增加了，空間也比最小化內存多了幾倍。

? ? 入庫速度不高：由于入庫表過多，而且連接數也有限，網絡帶寬成為瓶頸，雖然分表了，但是處理一個enb時，需要寫入4個物理表；如果并行16個ENB，則會有16enb*24文件*4表次連接寫入，過多的連接對sqlserver數據庫也沒有好處，寫入文件過于分散也使得數據庫吞吐量提不高。

• 調整：

　　分表改進：

? ? ? ? ? ? ? ?把原來的分為一套表（一個主表，三個子表）方案修改為一個表，避免過多表同時要求寫入影響數據庫IO吞吐量；

? ? ? 解析業務調整：

? ? ? ? ? ? ? ?每取到一個文件就讀取為一個datatable到內存中，當一個文件讀取完成后，調入庫接口；在入庫時，直接把datatable對象入庫。

? ? ? 數據庫連接池滿問題：

　　　　　針對該問題，我們把所有的數據操作盡可能使用一個連接，避免并行打開過多連接，盡量使得一個ｅｎｂ處理過程中只使用一個數據庫連接，同一個ｅｎｂ處理過程中，盡量串行處理。

　　　　　通過加大并行處理ｅｎｂ數量，來提高ｃｐｕ，ｍｅｍｏｒｙ，ｉｏ利用率。

?

轉載于:https://www.cnblogs.com/yy3b2007com/p/5699829.html

創作挑戰賽新人創作獎勵來咯，堅持創作打卡瓜分現金大獎

總結

以上是生活随笔為你收集整理的数据库调优过程（五）：物理分表，及写入方案调整的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。