Faiss优化:针对OMP_NUM_THREADS环境变量设置的测试验证
生活随笔
收集整理的這篇文章主要介紹了
Faiss优化:针对OMP_NUM_THREADS环境变量设置的测试验证
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
前言
記錄一下Faiss在項目使用中的一些優化,對OMP_NUM_THREADS 環境變量參數的測試驗證~
OMP_NUM_THREADS 用于控制線程并發數.測試條件:單個循環請求,持續時間大于15m;基礎數據:200w軟件環境:docker; ubuntu 16.04 ;python2.7; faiss:1.4.0-cpu檢索服務功能: (漢明距離計算 + 歐式距離計算 )結論:
測試總結如下:* CPU=1 & OMP_NUM_THREADS=1時,- 1m,5m,15m load average 分布為 31.54,41.16,43.43;- CPUs(%) 用戶空間占比:32.1;內核空間占比:2.4;空閑占比:65.2;- faiss 檢索耗時大約在5-6ms左右;- 檢索服務整體響應時間較平穩,大部分在12ms左右;* CPU=3 & OMP_NUM_THREADS=1時,- 1m,5m,15m load average 分布為 49.17,48.70,50.54;- CPUs(%) 用戶空間占比:39.5;內核空間占比:4.2;空閑占比:30.3;- faiss 檢索耗時大約在5-7ms左右;- 檢索服務整體響應時間較平穩,大部分耗時在12ms左右;* CPU=3 & OMP_NUM_THREADS=10時,- 1m,5m,15m load average 分布為 41.33,43.90,55.87;- CPUs(%) 用戶空間占比:20.7;內核空間占比:2.3;空閑占比:58.0;- faiss 檢索耗時不穩定,抖動較大, 大約在10-90ms左右;- 檢索服務整體響應時間存在抖動,大約在14-92ms左右;* CPU=1 & OMP_NUM_THREADS=10時,- 1m,5m,15m load average 分布為 67.77,61.89,61.07;- CPUs(%) 用戶空間占比:20.6;內核空間占比:2.9;空閑占比:18.2;- faiss 檢索耗時不穩定,抖動較大, 大約在5-80ms左右;- 檢索服務整體響應時間存在抖動,大約在13-99ms左右;最終結論:a: OMP_NUM_THREADS=1時,faiss檢索耗時較穩定;b: OMP_NUM_THREADS=10時,faiss檢索耗時不穩定,抖動較大;b: OMP_NUM_THREADS=1時, 多核CPU相較于單核CPU,負載略高,利用率略高,空閑占比較低;c: OMP_NUM_THREADS=10時, 多核CPU相較于單核CPU,負載較低,利用率較低,空閑占比較高;d: 優化方向:OMP_NUM_THREADS=1 + 多進程測試結果統計:
* CPU=1 & OMP_NUM_THREADS=1
* CPU=3 & OMP_NUM_THREADS=1
* CPU=3 & OMP_NUM_THREADS=10
* CPU=1 & OMP_NUM_THREADS=10
總結
以上是生活随笔為你收集整理的Faiss优化:针对OMP_NUM_THREADS环境变量设置的测试验证的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: linux 安装 memcached
- 下一篇: JUnit5 快速指南