日韩性视频-久久久蜜桃-www中文字幕-在线中文字幕av-亚洲欧美一区二区三区四区-撸久久-香蕉视频一区-久久无码精品丰满人妻-国产高潮av-激情福利社-日韩av网址大全-国产精品久久999-日本五十路在线-性欧美在线-久久99精品波多结衣一区-男女午夜免费视频-黑人极品ⅴideos精品欧美棵-人人妻人人澡人人爽精品欧美一区-日韩一区在线看-欧美a级在线免费观看

歡迎訪問 生活随笔!

生活随笔

當前位置: 首頁 > 编程语言 > c/c++ >内容正文

c/c++

【C/C++11】天气APP:txt/xml文件处理入库(psurfdata.cpp,_shqx.h),数据结构设计(PowerDesigner)

發布時間:2024/4/24 c/c++ 88 豆豆
生活随笔 收集整理的這篇文章主要介紹了 【C/C++11】天气APP:txt/xml文件处理入库(psurfdata.cpp,_shqx.h),数据结构设计(PowerDesigner) 小編覺得挺不錯的,現在分享給大家,幫大家做個參考.

文章目錄

  • 1.txt/xml文件入表/自身調度:結構體內容
  • 2.分區/表空間/網絡/主鍵/錯誤優化:chown -R 用戶
  • 3.歷史文件/表數據清理:生成測試數據后去采集,采集后未刪除文件,因為數據不只一個系統用
  • 4.站點參數建表入表/PowerDesigner/主外鍵:g/./s//./g,多表查詢


1.txt/xml文件入表/自身調度:結構體內容

// makefile #oracle頭文件路徑 ORAINCL = -I$(ORACLE_HOME)/rdbms/public# oracle庫文件路徑 ORALIB = -L$(ORACLE_HOME)/lib -L.# oracle的oci庫 ORALIBS = -lclntshCC=g++ CFLAGS = -g -Wno-write-strings -Wno-unused-variableall:crtsurfdata libftp.a demo18 ftpgetfile psurfdatalibftp.a:ftplib.cgcc -c -o libftp.a ftplib.cdemo18:demo18.cpp _ftp.h _ftp.cpp libftp.ag++ $(CFLAGS) -o demo18 demo18.cpp _public.cpp _ftp.cpp libftp.aftpgetfile:ftpgetfile.cpp _ftp.h _ftp.cpp libftp.a$(CC) $(CFLAGS) -o ftpgetfile ftpgetfile.cpp _public.cpp _ftp.cpp libftp.acp ftpgetfile ../bin/.crtsurfdata:crtsurfdata.cpp _public.h _public.cpp$(CC) $(CFLAGS) -o crtsurfdata crtsurfdata.cpp _public.cppcp crtsurfdata ../bin/.psurfdata:psurfdata.cpp _public.h _public.cppg++ $(CFLAGS) -o psurfdata psurfdata.cpp $(ORAINCL) $(ORALIB) $(ORALIBS) _public.cpp _ooci.cppcp psurfdata ../bin/.clean:rm -rf crtsurfdata demo18 ftpgetfile libftp psurfdata //psurfdata.cpp未封裝成類 //本程序用于處理全國氣象站點觀測的分鐘數據,并保存到數據庫的T_SURFDATA表中。txt文件里面內容以逗號分隔 #include "_public.h" #include "_ooci.h" struct st_surfdata // 全國氣象站點分鐘觀測數據結構 {char obtid[11]; // 站點代碼char ddatetime[21]; // 數據時間:格式yyyy-mm-dd hh:mi:ss。int t; // 氣溫:單位,0.1攝氏度int p; // 氣壓:0.1百帕int u; // 相對濕度,0-100之間的值。int wd; // 風向,0-360之間的值。int wf; // 風速:單位0.1m/sint r; // 降雨量:0.1mmint vis; // 能見度:0.1米 }; CLogFile logfile; CDir Dir; bool _psurfdata(); // 處理數據文件 connection conn; void EXIT(int sig);int main(int argc,char *argv[]) {if (argc!=5){printf("\n本程序用于處理全國氣象站點觀測的分鐘數據,并保存到數據庫的T_SURFDATA表中。\n");printf("/oracle/lian/qxidc/bin/psurfdata 數據文件存放的目錄 日志文件名 數據庫連接參數 程序運行時間間隔\n");printf("例如:/oracle/lian/qxidc/bin/psurfdata /oracle/lian/qxidc/tmp /oracle/lian/qxidc/log/psurfdata.log scott/tiger@snorcl11g_138 10\n");return -1; //失敗跳出main函數,必須在裝有oracle主機中運行,不然_ooci中路徑報錯}CloseIOAndSignal(); // 關閉全部的信號和輸入輸出 signal(SIGINT,EXIT); signal(SIGTERM,EXIT); // 處理程序退出的信號if (logfile.Open(argv[2],"a+")==false){printf("打開日志文件失敗(%s)。\n",argv[2]); return -1;}logfile.Write("程序啟動。\n");while (true){ //1111111111111111111111111111111111111111111111111.掃描數據文件存放的目錄//logfile.Write("開始掃描目錄。\n"); //打開目錄拿到文件名放入string型容器里,需排序的話就把這容器排序(先生成先處理)if (Dir.OpenDir(argv[1],"SURF_ZH_*.txt",1000,true,true)==false) //OpenDir第四個參數是否打開子目錄,第五個參數是否排序{logfile.Write("Dir.OpenDir(%s) failed.\n",argv[1]); sleep(atoi(argv[4])); continue;}//11111111111111111111111111111111111111111111111.逐個處理目錄中的數據文件while (true){if (Dir.ReadDir()==false) break; //false為讀完了 //logfile.Write("%s,%s,%s,%d,%s,%s,%s,%s\n",Dir.m_DirName,Dir.m_FileName,Dir.m_FullFileName,Dir.m_FileSize,Dir.m_ModifyTime,Dir.m_CreateTime,Dir.m_AccessTime);//111111111111111111111111111111111111111111111111.連接數據庫if (conn.m_state==0) //0未連接{if (conn.connecttodb(argv[3],"Simplified Chinese_China.ZHS16GBK")!=0){logfile.Write("connect database(%s) failed.\n%s\n",argv[3],conn.m_cda.message); break;// logfile.Write("連接數據庫成功。\n");}}//1111111111111111111111111111111111111111111111111.處理入庫logfile.Write("開始處理文件%s...",Dir.m_FileName); //開頭有時間if (_psurfdata()==false) {logfile.WriteEx("失敗。\n"); break;} logfile.WriteEx("成功。\n"); //不寫時間,不換行,顯示屏一行放不下} if (conn.m_state==1) conn.disconnect(); //斷開與數據庫的連接sleep(atoi(argv[4]));}return 0; } void EXIT(int sig) {logfile.Write("程序退出,sig=%d\n\n",sig);exit(0); }//1111111111111111111111111111111111111111111111.處理入庫 bool _psurfdata() {CFile File; //打開文件if (File.Open(Dir.m_FullFileName,"r")==false) //Dir的成員變量m_FullFileName也叫屬性{logfile.Write("(File.Open(%s) failed.\n",Dir.m_FullFileName); return false;}char strBuffer[301];CCmdStr CmdStr;struct st_surfdata stsurfdata;//定義stsurfdata結構體變量int iccount=0; //int型初始化sqlstatement stmtsel(&conn);//select * 返回多行多列的結果集,bindin綁定選擇行,bindout綁定選擇列 stmtsel.prepare("select count(*) from T_SURFDATA where obtid=:1 and ddatetime=to_date(:2,'yyyy-mm-dd hh24:mi:ss')");stmtsel.bindin( 1, stsurfdata.obtid,5); // 定義的是字符串不用&stmtsel.bindin( 2, stsurfdata.ddatetime,19);stmtsel.bindout(1,&iccount); //select count(*)返回行數即一個數字賦給iccount這個變量,這個數字也是1列,所以bindout中1對應這列sqlstatement stmtins(&conn);stmtins.prepare("insert into T_SURFDATA(obtid,ddatetime,t,p,u,wd,wf,r,vis) values(:1,to_date(:2,'yyyy-mm-dd hh24:mi:ss'),:3,:4,:5,:6,:7,:8,:9)");stmtins.bindin( 1, stsurfdata.obtid,5); //1對應:1 //,crttime,keyid //values里可加:,sysdate,SEQ_SURFDATA.nextvalstmtins.bindin( 2, stsurfdata.ddatetime,19);stmtins.bindin( 3,&stsurfdata.t);stmtins.bindin( 4,&stsurfdata.p);stmtins.bindin( 5,&stsurfdata.u);stmtins.bindin( 6,&stsurfdata.wd);stmtins.bindin( 7,&stsurfdata.wf);stmtins.bindin( 8,&stsurfdata.r);stmtins.bindin( 9,&stsurfdata.vis);while (true) //讀取文件中的每一行記錄并寫入數據庫的表中{memset(strBuffer,0,sizeof(strBuffer));if (File.Fgets(strBuffer,300,true)==false) break; //Fgets從文件中讀取一行放入strBuffer,第三個參數為是否刪除最后空格// logfile.Write("%s\n",strBuffer); strBuffer內容為58436,2020-02-09 12:11:00,32.4,1006.9,99,249,11.8,0.2,10107.3CmdStr.SplitToCmd(strBuffer,",",true); //以,號拆分成9個片段存入CmdStr中if (CmdStr.CmdCount()!=9){logfile.Write("%s\n",strBuffer); continue;}memset(&stsurfdata,0,sizeof(struct st_surfdata)); //sizeof里一般用結構體類型,傳變量名的話若是指針就不好了CmdStr.GetValue(0,stsurfdata.obtid,5); // 站點代碼 賦值給stsurfdata.obtidCmdStr.GetValue(1,stsurfdata.ddatetime,19); // 數據時間:格式yyyy-mm-dd hh:mi:ss。double dtmp=0;CmdStr.GetValue(2,&dtmp); stsurfdata.t=(int)(dtmp*10); // 氣溫:單位,0.1攝氏度CmdStr.GetValue(3,&dtmp); stsurfdata.p=(int)(dtmp*10); // 氣壓:0.1百帕CmdStr.GetValue(4,&stsurfdata.u); // 相對濕度,0-100之間的值。CmdStr.GetValue(5,&stsurfdata.wd); // 風向,0-360之間的值。CmdStr.GetValue(6,&dtmp); stsurfdata.wf=(int)(dtmp*10); // 風速:單位0.1m/sCmdStr.GetValue(7,&dtmp); stsurfdata.r=(int)(dtmp*10); // 降雨量:0.1mmCmdStr.GetValue(8,&dtmp); stsurfdata.vis=(int)(dtmp*10); // 能見度:0.1米if (stmtsel.execute() != 0){logfile.Write("stmtsel.execute() failed.\n%s\n%s\n",stmtsel.m_sql,stmtsel.m_cda.message); if ( (stmtsel.m_cda.rc>=3113) && (stmtsel.m_cda.rc<=3115) ) return false; //3113-3115是數據庫連接失敗 continue;}iccount=0;stmtsel.next(); //把"select count(*)....."這個sql查詢結果一次一次取結果集賦給綁定輸出的變量即iccount//這里比較特殊剛好一行一列即一個數字if (iccount>0) continue; //有記錄不執行插入if (stmtins.execute() != 0) // 執行SQL語句,一定要判斷返回值,0-成功,其它-失敗{ //往數據庫里插入,如果記錄存在不應該退出,應該跳過已存在的記錄if (stmtins.m_cda.rc!=1) //!=1才是真正的失敗,=1是主鍵沖突,若是主鍵沖突可以跳過不入庫不要返回失敗{logfile.Write("%s\n",strBuffer);logfile.Write("stmtins.execute() failed.\n%s\n%s\n",stmtins.m_sql,stmtins.m_cda.message); if ( (stmtins.m_cda.rc>=3113) && (stmtins.m_cda.rc<=3115) ) return false;}}} //處理生成數據就是先掃描目錄,讀取目錄下文件。讀到文件名后打開一文件,一行一行解析出數據插入數據庫表里,關閉文件,提交事務conn.commit();// 關閉文件指針,并刪除文件,不刪除會重復讀取File.CloseAndRemove(); return true; }



vi psurfdata.log,如下子目錄下的文件也讀取到了。

如下在_psurfdata()里思路是讀一行,按,號拆分,將每個內容讀出來再*10放入數據庫。


vi /htidc/shqx/ini/stcode1.ini 。

在_shqx.cpp中有InsertTable()成員函數,有select,insert,update及各個的execute()。如下如果記錄在表里已存在就執行stmtupt.execute(),不存在就執行stmtins.execute(),不管是這兩個執行,只要出錯,無效的記錄數invalidcount就+1,成功的話updatacount和insertcount都+1。


如下時間和文件名一樣,但站點不一樣 ,59287這個站點是存在的即外鍵存在。

以下是自身的調度:1.以下將psurfdata.cpp改為程序自身調度,不用crontab調度。每10秒鐘掃描一次目錄,有文件的話就連接數據庫。

如下為什么不在while(true)掃描目錄前連上數據庫?假設數據一分鐘生成一個文件,處理一個文件入庫一秒不到,所以一直連著數據庫浪費資源,掃描到有文件處理就連數據庫。

如下數據庫沒連上也不用return -1,只要psurfdata.cpp啟動后就一直運行,遇到錯誤也不能退出,所以改為break只跳出這個小循環,繼續往下面執行,日志還是會寫“connect database…failed”。

2.以下crtsurfdata中自身調度。

結構體可存不同數據類型,需解析xml,將值放入結構體再訪問。start.sh里面放crt.,ftp.,p…三個啟動腳本并最后加&符。

//將psurfdata.cpp,txt文件入庫封成類 #include "_public.h" #include "_ooci.h" #include "_shqx.h" CLogFile logfile; CDir Dir; bool _psurfdata(); connection conn; //實例化對象,con也叫變量(稱呼) void EXIT(int sig);int main(int argc,char *argv[]) {if (argc!=5){printf("\n本程序用于處理全國氣象站點觀測的分鐘數據,并保存到數據庫的T_SURFDATA表中。\n");printf("這是完善后的程序,未完善的程序在psurfdata_old.cpp中。\n");printf("/htidc/shqx/bin/psurfdata 數據文件存放的目錄 日志文件名 數據庫連接參數 程序運行時間間隔\n");printf("例如:/htidc/shqx/bin/psurfdata /data/shqx/sdata/surfdata /log/shqx/psurfdata.log shqx/pwdidc@snorcl11g_198 10\n");return -1;}CloseIOAndSignal();signal(SIGINT,EXIT); signal(SIGTERM,EXIT);if (logfile.Open(argv[2],"a+")==false){printf("打開日志文件失敗(%s)。\n",argv[2]); return -1;}logfile.Write("程序啟動。\n");while (true){ //111111111111111111111111111111111111111111111.掃描數據文件存放的目錄,只匹配"SURF_ZH_*.txt"// logfile.Write("開始掃描目錄。\n");if (Dir.OpenDir(argv[1],"SURF_ZH_*.txt",1000,true,true)==false){logfile.Write("Dir.OpenDir(%s) failed.\n",argv[1]); sleep(atoi(argv[4])); continue;}//11111111111111111111111111111111111111111111111.連接數據庫while (true){if (Dir.ReadDir()==false) break; if (conn.m_state==0){if (conn.connecttodb(argv[3],"Simplified Chinese_China.ZHS16GBK")!=0){logfile.Write("connect database(%s) failed.\n%s\n",argv[3],conn.m_cda.message); break;}// logfile.Write("連接數據庫成功。\n");} logfile.Write("開始處理文件%s...",Dir.m_FileName);//111111111111111111111111111111111111111111111111.處理入庫if (_psurfdata()==false) {logfile.WriteEx("失敗。\n"); break;}}if (conn.m_state==1) conn.disconnect(); // 斷開與數據庫的連接sleep(atoi(argv[4]));}return 0; } void EXIT(int sig) {logfile.Write("程序退出,sig=%d\n\n",sig);exit(0); }//111111111111111111111111111111111111111111111111.處理入庫 bool _psurfdata() {CFile File;if (File.Open(Dir.m_FullFileName,"r")==false){logfile.Write("(File.Open(%s) failed.\n",Dir.m_FullFileName); return false;}//1111111111111111111111111111讀取文件中的每一行記錄,寫入數據庫的表中CSURFDATA SURFDATA(&conn,&logfile); //上行給m_conn和m_logfile兩個指針成員變量賦值初始化也可寫成如下兩行://SURFDATA.m_conn=&conn; //con是對象也是變量//SURFDATA.m_logfile=&logfile;char strBuffer[301]; while (true){memset(strBuffer,0,sizeof(strBuffer));if (File.Fgets(strBuffer,300,true)==false) break; //從文件中獲取一行記錄 if (SURFDATA.SplitBuffer(strBuffer)==false) { logfile.Write("%s\n",strBuffer); continue; }// 把用逗號分隔的記錄拆分到結構體中long rc=SURFDATA.InsertTable(); //把結構體中的數據更新到T_SURFDATA表中,因為不知道返回哪個sql,所以用long rc =if ( (rc>=3113) && (rc<=3115) ) return false; //只要不是數據庫session的錯誤,程序就繼續。if (rc != 0) { logfile.Write("%s\n",strBuffer); continue; }}conn.commit(); //提交事務File.CloseAndRemove(); //關閉文件指針,并刪除文件logfile.WriteEx("成功(total=%d,insert=%d,update=%d,invalid=%d)。\n",SURFDATA.totalcount,SURFDATA.insertcount,SURFDATA.updatecount,SURFDATA.invalidcount);return true; } //psurfdata1.cpp本程序只支持xml文件入庫已封裝成類,有keyid等字段。 //表加字段,結構體不用,在sqlplus中輸入一行創建序列命令,stcode.ini不要最后留空行 #include "_public.h" #include "_ooci.h" #include "_shqx.h" CLogFile logfile; CDir Dir; bool _psurfdata(); connection conn; void EXIT(int sig);int main(int argc,char *argv[]) {if (argc!=5){printf("\n本程序用于處理全國氣象站點觀測的分鐘數據,并保存到數據庫的T_SURFDATA表中。\n");printf("與psurfdata.cpp不同,本程序只支持xml格式。\n");printf("/htidc/shqx/bin/psurfdata1 數據文件存放的目錄 日志文件名 數據庫連接參數 程序運行時間間隔\n");printf("例如:/htidc/shqx/bin/psurfdata1 /data/shqx/sdata/surfdata /log/shqx/psurfdata1.log shqx/pwdidc@snorcl11g_198 10\n");return -1;}CloseIOAndSignal();signal(SIGINT,EXIT); signal(SIGTERM,EXIT);if (logfile.Open(argv[2],"a+")==false){printf("打開日志文件失敗(%s)。\n",argv[2]); return -1;}logfile.Write("程序啟動。\n");while (true){ //1111111111111111111111111111111111111111111.掃描數據文件存放的目錄,匹配"SURF_ZH_*.xml"// logfile.Write("開始掃描目錄。\n");if (Dir.OpenDir(argv[1],"SURF_ZH_*.xml",1000,true,true)==false){logfile.Write("Dir.OpenDir(%s) failed.\n",argv[1]); sleep(atoi(argv[4])); continue;}//111111111111111111111111111111111111111111111.逐個處理目錄中的數據文件while (true){if (Dir.ReadDir()==false) break;//111111111111111111111111111111111111111111111.連接數據庫if (conn.m_state==0){if (conn.connecttodb(argv[3],"Simplified Chinese_China.ZHS16GBK")!=0){logfile.Write("connect database(%s) failed.\n%s\n",argv[3],conn.m_cda.message); break;}// logfile.Write("連接數據庫成功。\n");} logfile.Write("開始處理文件%s...",Dir.m_FileName);//111111111111111111111111111111111111111111111.處理入庫if (_psurfdata()==false) {logfile.WriteEx("失敗。\n"); break;}}if (conn.m_state==1) conn.disconnect(); sleep(atoi(argv[4]));}return 0; } void EXIT(int sig) {logfile.Write("程序退出,sig=%d\n\n",sig);exit(0); }//111111111111111111111111111111111111111111111.處理入庫 bool _psurfdata() {CFile File;if (File.Open(Dir.m_FullFileName,"r")==false){logfile.Write("(File.Open(%s) failed.\n",Dir.m_FullFileName); return false;}CSURFDATA SURFDATA(&conn,&logfile);char strBuffer[301];while (true){memset(strBuffer,0,sizeof(strBuffer));if (File.FFGETS(strBuffer,300,"<endl/>")==false) break;// logfile.Write("str=%s=\n",strBuffer);// logfile.Write("%s\n",strBuffer); if (SURFDATA.SplitBuffer1(strBuffer)==false) { logfile.Write("%s\n",strBuffer); continue; }long rc=SURFDATA.InsertTable(); if ( (rc>=3113) && (rc<=3115) ) return false; // 只要不是數據庫session的錯誤,程序就繼續。if (rc != 0) { logfile.Write("%s\n",strBuffer); continue; }}conn.commit(); File.CloseAndRemove(); //關閉文件指針,并刪除文件logfile.WriteEx("成功(total=%d,insert=%d,update=%d,invalid=%d)。\n",SURFDATA.totalcount,SURFDATA.insertcount,SURFDATA.updatecount,SURFDATA.invalidcount);return true; } //_shqx.h #ifndef _SHQX_H #define _SHQX_H #include "_public.h" #include "_ooci.h" struct st_stcode //全國氣象站點參數數據結構 {char provname[31]; // 省名稱char obtid[11]; // 站點代碼char cityname[31]; // 城市名double lat; // 緯度double lon; // 經度double height; // 海拔高度 }; struct st_surfdata //全國氣象站點分鐘觀測數據結構 {char obtid[11]; // 站點代碼char ddatetime[21]; // 數據時間:格式yyyy-mm-dd hh:mi:ss。int t; // 氣溫:單位,0.1攝氏度int p; // 氣壓:0.1百帕int u; // 相對濕度,0-100之間的值。int wd; // 風向,0-360之間的值。int wf; // 風速:單位0.1m/sint r; // 降雨量:0.1mmint vis; // 能見度:0.1米 }; struct st_signallog //分區信號數據結構 {char obtid[11];char ddatetime[20];char signalname[2];char signalcolor[2]; };//111111111111111111111111111111111111111111111111.CSURFDATA類 class CSURFDATA { public:int totalcount,insertcount,updatecount,invalidcount; // 記錄總數據、插入數、更新數、無效記錄數。struct st_surfdata m_stsurfdata;CSURFDATA(connection *conn,CLogFile *logfile); //在構造函數里傳進參數~CSURFDATA();void initdata(); // 數據初始化connection *m_conn; //在類里操作數據庫需要一個指針,m_conn,m_logfile這兩個成員需要給它們賦值CLogFile *m_logfile; //在類里寫日志,m_logfile->,類里不能再類實例化,所以定義為指針int iccount; //不能定義到成員函數里值會變sqlstatement stmtsel,stmtins,stmtupt;// 把用逗號分隔的記錄拆分到m_stsurfdata結構中。bool SplitBuffer(const char *strBuffer); // 把xml格式的記錄拆分到m_stsurfdata結構中。bool SplitBuffer1(const char *strBuffer);// 把m_stsurfdata結構中的值更新到T_SURFDATA表中。long InsertTable(); };//11111111111111111111111111111111111111111111112.CSIGNALLOG類 class CSIGNALLOG { public:int totalcount,insertcount,updatecount,invalidcount; // 記錄總數據、插入數、更新數、無效記錄數。struct st_signallog m_stsignallog;vector<struct st_signallog> vsignallog; // 容器存放一個文件的全部記錄CSIGNALLOG(connection *conn,CLogFile *logfile);~CSIGNALLOG();void initdata(); // 數據初始化connection *m_conn;CLogFile *m_logfile;int iccount;sqlstatement stmtsel,stmtins,stmtupt; bool SplitBuffer(const char *strBuffer); // 把記錄拆分到vsignallog容器中。 long InsertTable(); // 把vsignallog容器中的值更新到T_SIGNALDATA表中。 };//111111111111111111111111111111111111111113.把非結構化數據文件寫入oracle數據庫的表中 int FileToTable(connection *in_conn,CLogFile *in_logfile,char *in_tname,char *in_filename,char *in_ddatetime); #endif //_shqx.cpp #include "_shqx.h" //111111111111111111111111111111111111111111111111111111.CSURFDATA類 CSURFDATA::CSURFDATA(connection *conn,CLogFile *logfile) {initdata(); // 構造函數里傳入兩個指針變量并賦初值m_conn=conn; m_logfile=logfile; // 所以調用CSURFDATA(&conn,&logfile);就能完成初始化 } void CSURFDATA::initdata() {totalcount=insertcount=updatecount=invalidcount=0;m_conn=0; m_logfile=0;memset(&m_stsurfdata,0,sizeof(struct st_surfdata)); } CSURFDATA::~CSURFDATA() { }bool CSURFDATA::SplitBuffer(const char *strBuffer) //把用逗號分隔的記錄拆分到m_stsurfdata結構中 { totalcount++;memset(&m_stsurfdata,0,sizeof(struct st_surfdata));CCmdStr CmdStr;CmdStr.SplitToCmd(strBuffer,",",true);if (CmdStr.CmdCount()!=9) { invalidcount++; return false; }CmdStr.GetValue(0,m_stsurfdata.obtid,5); // 站點代碼CmdStr.GetValue(1,m_stsurfdata.ddatetime,19); // 數據時間:格式yyyy-mm-dd hh:mi:ss。double dtmp=0;CmdStr.GetValue(2,&dtmp); m_stsurfdata.t=(int)(dtmp*10); // 氣溫:單位,0.1攝氏度CmdStr.GetValue(3,&dtmp); m_stsurfdata.p=(int)(dtmp*10); // 氣壓:0.1百帕CmdStr.GetValue(4,&m_stsurfdata.u); // 相對濕度,0-100之間的值。CmdStr.GetValue(5,&m_stsurfdata.wd); // 風向,0-360之間的值。CmdStr.GetValue(6,&dtmp); m_stsurfdata.wf=(int)(dtmp*10); // 風速:單位0.1m/sCmdStr.GetValue(7,&dtmp); m_stsurfdata.r=(int)(dtmp*10); // 降雨量:0.1mmCmdStr.GetValue(8,&dtmp); m_stsurfdata.vis=(int)(dtmp*10); // 能見度:0.1米return true; }bool CSURFDATA::SplitBuffer1(const char *strBuffer) //把xml格式的記錄拆分到m_stsurfdata結構中 {totalcount++;memset(&m_stsurfdata,0,sizeof(struct st_surfdata));GetXMLBuffer(strBuffer,"obtid",m_stsurfdata.obtid,5); // 站點代碼GetXMLBuffer(strBuffer,"ddatetime",m_stsurfdata.ddatetime,19); // 數據時間:格式yyyy-mm-dd hh:mi:ss。double dtmp=0;GetXMLBuffer(strBuffer,"t",&dtmp); m_stsurfdata.t=(int)(dtmp*10); // 氣溫:單位,0.1攝氏度GetXMLBuffer(strBuffer,"p",&dtmp); m_stsurfdata.p=(int)(dtmp*10); // 氣壓:0.1百帕GetXMLBuffer(strBuffer,"u",&m_stsurfdata.u); // 相對濕度,0-100之間的值。GetXMLBuffer(strBuffer,"wd",&m_stsurfdata.wd); // 風向,0-360之間的值。GetXMLBuffer(strBuffer,"wf",&dtmp); m_stsurfdata.wf=(int)(dtmp*10); // 風速:單位0.1m/sGetXMLBuffer(strBuffer,"r",&dtmp); m_stsurfdata.r=(int)(dtmp*10); // 降雨量:0.1mmGetXMLBuffer(strBuffer,"vis",&dtmp); m_stsurfdata.vis=(int)(dtmp*10); // 能見度:0.1米return true; }long CSURFDATA::InsertTable() //把m_stsurfdata結構中的值更新到T_SURFDATA表中 {if (stmtsel.m_state==0){stmtsel.connect(m_conn);stmtsel.prepare("select count(*) from T_SURFDATA where obtid=:1 and ddatetime=to_date(:2,'yyyy-mm-dd hh24:mi:ss')");stmtsel.bindin( 1, m_stsurfdata.obtid,5);stmtsel.bindin( 2, m_stsurfdata.ddatetime,19);stmtsel.bindout(1,&iccount);}if (stmtins.m_state==0){stmtins.connect(m_conn);stmtins.prepare("insert into T_SURFDATA(obtid,ddatetime,t,p,u,wd,wf,r,vis,crttime,keyid) values(:1,to_date(:2,'yyyy-mm-dd hh24:mi:ss'),:3,:4,:5,:6,:7,:8,:9,sysdate,SEQ_SURFDATA.nextval)");stmtins.bindin( 1, m_stsurfdata.obtid,5);stmtins.bindin( 2, m_stsurfdata.ddatetime,19);stmtins.bindin( 3,&m_stsurfdata.t);stmtins.bindin( 4,&m_stsurfdata.p);stmtins.bindin( 5,&m_stsurfdata.u);stmtins.bindin( 6,&m_stsurfdata.wd);stmtins.bindin( 7,&m_stsurfdata.wf);stmtins.bindin( 8,&m_stsurfdata.r);stmtins.bindin( 9,&m_stsurfdata.vis);}if (stmtupt.m_state==0){stmtupt.connect(m_conn);stmtupt.prepare("update T_SURFDATA set t=:1,p=:2,u=:3,wd=:4,wf=:5,r=:6,vis=:7 where obtid=:8 and ddatetime=to_date(:2,'yyyy-mm-dd hh24:mi:ss')");stmtupt.bindin( 1,&m_stsurfdata.t);stmtupt.bindin( 2,&m_stsurfdata.p);stmtupt.bindin( 3,&m_stsurfdata.u);stmtupt.bindin( 4,&m_stsurfdata.wd);stmtupt.bindin( 5,&m_stsurfdata.wf);stmtupt.bindin( 6,&m_stsurfdata.r);stmtupt.bindin( 7,&m_stsurfdata.vis);stmtupt.bindin( 8, m_stsurfdata.obtid,5);stmtupt.bindin( 9, m_stsurfdata.ddatetime,19);}if (stmtsel.execute() != 0){invalidcount++; m_logfile->Write("stmtsel.execute() failed.\n%s\n%s\n",stmtsel.m_sql,stmtsel.m_cda.message); return stmtsel.m_cda.rc;} iccount=0;stmtsel.next();if (iccount>0) {if (stmtupt.execute() != 0) //執行更新的SQL語句,一定要判斷返回值,0-成功,其它-失敗。{invalidcount++; m_logfile->Write("stmtupt.execute() failed.\n%s\n%s\n",stmtupt.m_sql,stmtupt.m_cda.message);return stmtupt.m_cda.rc;}updatecount++;}else{ if (stmtins.execute() != 0) // 執行插入的SQL語句,一定要判斷返回值,0-成功,其它-失敗。{invalidcount++; m_logfile->Write("stmtins.execute() failed.\n%s\n%s\n",stmtins.m_sql,stmtins.m_cda.message);return stmtins.m_cda.rc;}insertcount++;}return 0; }//11111111111111111111111111111111111111111111111111111111111112.CSIGNALLOG類 CSIGNALLOG::CSIGNALLOG(connection *conn,CLogFile *logfile) {initdata();m_conn=conn; m_logfile=logfile; } void CSIGNALLOG::initdata() {totalcount=insertcount=updatecount=invalidcount=0;m_conn=0; m_logfile=0;memset(&m_stsignallog,0,sizeof(struct st_signallog));vsignallog.clear(); } CSIGNALLOG::~CSIGNALLOG() { }bool CSIGNALLOG::SplitBuffer(const char *strBuffer) //把記錄拆分到vsignallog容器中 {vsignallog.clear();memset(&m_stsignallog,0,sizeof(struct st_signallog));CCmdStr CmdStr; CmdStr.SplitToCmd(strBuffer," ",true);if (CmdStr.CmdCount()<3) { invalidcount++; return false; }CmdStr.GetValue(0,m_stsignallog.ddatetime,12); //數據時間:格式yyyymmddhh24mistrcat(m_stsignallog.ddatetime,"00");AddTime(m_stsignallog.ddatetime,m_stsignallog.ddatetime,8*60*60,"yyyy-mm-dd hh24:mi:ss");CmdStr.GetValue(1,m_stsignallog.obtid,4); //站點代碼char strtemp[11];for (int ii=3;ii<=CmdStr.CmdCount();ii++){ // 201809142353 GWTE A3000 ....= memset(strtemp,0,sizeof(strtemp));CmdStr.GetValue(ii-1,strtemp,5); // m_stsignallog.signalname[0]表示字符串中第一個字符m_stsignallog.signalname[0]=strtemp[0]; //strtemp[0]就是Am_stsignallog.signalcolor[0]=strtemp[1]; //strtemp[1]就是3vsignallog.push_back(m_stsignallog);totalcount++;}return true; }long CSIGNALLOG::InsertTable() //把vsignallog容器中的值更新到T_SIGNALDATA表中 { //可能會返回stmtupt.m_cda.rc,所以用longif (stmtsel.m_state==0){stmtsel.connect(m_conn);// 如下這個表的主鍵有三個字段stmtsel.prepare("select count(*) from T_SIGNALLOG where obtid=:1 and ddatetime=to_date(:2,'yyyy-mm-dd hh24:mi:ss') and signalname=:3");stmtsel.bindin( 1, m_stsignallog.obtid,4);stmtsel.bindin( 2, m_stsignallog.ddatetime,19);stmtsel.bindin( 3, m_stsignallog.signalname,1);stmtsel.bindout(1,&iccount);}if (stmtins.m_state==0){stmtins.connect(m_conn);stmtins.prepare("insert into T_SIGNALLOG(obtid,ddatetime,signalname,signalcolor,crttime,keyid) values(:1,to_date(:2,'yyyy-mm-dd hh24:mi:ss'),:3,:4,sysdate,SEQ_SIGNALLOG.nextval)");stmtins.bindin( 1, m_stsignallog.obtid,4);stmtins.bindin( 2, m_stsignallog.ddatetime,19);stmtins.bindin( 3, m_stsignallog.signalname,1);stmtins.bindin( 4, m_stsignallog.signalcolor,1);}if (stmtupt.m_state==0){stmtupt.connect(m_conn);stmtupt.prepare("update T_SIGNALLOG set signalcolor=:1 where obtid=:2 and ddatetime=to_date(:3,'yyyy-mm-dd hh24:mi:ss') and signalname=:4");stmtupt.bindin( 1, m_stsignallog.signalcolor,1);stmtupt.bindin( 2, m_stsignallog.obtid,4);stmtupt.bindin( 3, m_stsignallog.ddatetime,19);stmtupt.bindin( 4, m_stsignallog.signalname,1);}for (int ii=0;ii<vsignallog.size();ii++){ //把容器里的值拷出來memcpy(&m_stsignallog,&vsignallog[ii],sizeof(struct st_signallog));m_logfile->Write("%s,%s,%s,%s\n",m_stsignallog.obtid,m_stsignallog.ddatetime,m_stsignallog.signalname,m_stsignallog.signalcolor);if (stmtsel.execute() != 0){invalidcount++; m_logfile->Write("stmtsel.execute() failed.\n%s\n%s\n",stmtsel.m_sql,stmtsel.m_cda.message); return stmtsel.m_cda.rc;} iccount=0;stmtsel.next(); if (iccount>0) { if (stmtupt.execute() != 0) //執行更新的SQL語句,一定要判斷返回值,0-成功,其它-失敗。{invalidcount++; m_logfile->Write("stmtupt.execute() failed.\n%s\n%s\n",stmtupt.m_sql,stmtupt.m_cda.message);return stmtupt.m_cda.rc;}updatecount++;}else{ if (stmtins.execute() != 0) //執行插入的SQL語句,一定要判斷返回值,0-成功,其它-失敗。{invalidcount++; m_logfile->Write("stmtins.execute() failed.\n%s\n%s\n",stmtins.m_sql,stmtins.m_cda.message);return stmtins.m_cda.rc;}insertcount++;}}return 0; }//1111111111111111111111111111111111111111111111113.把非結構化數據文件寫入oracle數據庫的表中 int FileToTable(connection *in_conn,CLogFile *in_logfile,char *in_tname,char *in_filename,char *in_ddatetime) {sqlstatement stmt(in_conn); int icount=0; //判斷文件記錄在表中是否已存在stmt.prepare("select count(*) from %s where filename=:1",in_tname);stmt.bindin(1,in_filename,300);stmt.bindout(1,&icount);if (stmt.execute() != 0){in_logfile->Write("FileToTable() failed.%s\n%s\n",stmt.m_sql,stmt.m_cda.message); return stmt.m_cda.rc;}stmt.next(); if (icount>0) return 0; //如果記錄已存在,直接返回0-成功。 //11111111111111111111111111111111111111111111111111111111111111111int ifilesize=FileSize(in_filename); //把文件信息插入表中。stmt.prepare("\insert into %s(filename,ddatetime,filesize,filecontent,crttime,keyid)\values(:1,to_date(:2,'yyyymmddhh24miss'),:3,empty_blob(),sysdate,SEQ_%s.nextval)",\in_tname,in_tname+2); stmt.bindin(1,in_filename,300); //empty_blob()可以換成null試試,文件內容可以不弄到blob字段stmt.bindin(2,in_ddatetime,14);stmt.bindin(3,&ifilesize); if (stmt.execute() != 0){in_logfile->Write("FileToTable() failed.%s\n%s\n",stmt.m_sql,stmt.m_cda.message); return stmt.m_cda.rc;} //111111111111111111111111111111111111111111111111111111111111111stmt.prepare("select filecontent from %s where filename=:1 for update",in_tname);stmt.bindin(1,in_filename,300); //把文件內容更新到BLOB字段中。stmt.bindblob();if (stmt.execute() != 0){in_logfile->Write("FileToTable() failed.%s\n%s\n",stmt.m_sql,stmt.m_cda.message); return stmt.m_cda.rc;} if (stmt.next() != 0) return -1; //獲取一條記錄,一定要判斷返回值,0-成功,1403-無記錄,其它-失敗 if (stmt.filetolob((char *)in_filename) != 0) { //把磁盤文件pic_in.jpg的內容寫入BLOB字段,一定要判斷返回值,0-成功,其它-失敗。in_logfile->Write("FileToTable() stmt.filetolob() failed.\n%s\n",stmt.m_cda.message); return -1;} in_conn->commit(); //圖片數據大,一個文件提交一次return 0; }

2.分區/表空間/網絡/主鍵/錯誤優化:chown -R 用戶

用文件夾代替實際分區。root用戶mkdir htidc log data,htidc分public和shqx兩個文件夾。如下授權給Oracle用戶。

下面為改進makefile,PUBINCL中-I指定頭文件_public.h,_ftp.h等等搜索目錄,自己去找頭文件。冒號前后整個一行等于下行編譯命令。冒號后面文件有更新(必須要有一個同名cpp文件),則重新編譯(只是有這個重編譯功能),一般后面不放_ooci…因為穩定不需要改動。

# oracle頭文件路徑 ORAINCL = -I$(ORACLE_HOME)/rdbms/public # oracle庫文件路徑 ORALIB = -L$(ORACLE_HOME)/lib -L. # oracle的oci庫 ORALIBS = -lclntsh# 通用框架頭文件路徑 PUBINCL = -I/htidc/public/c # 通用框架庫文件路徑 PUBCPP = /htidc/public/c/_public.cpp FTPCPP = /htidc/public/c/_ftp.cpp OCICPP = /htidc/public/c/_ooci.cppCC=g++ # CFLAGS = -O2 # CFLAGS = -O2 -Wall CFLAGS = -g -Wno-write-strings -Wno-unused-variableall: crtsurfdata psurfdata psignallog wgetrain24\wgettemp24 pzhrain24filecrtsurfdata:crtsurfdata.cpp _shqx.h _shqx.cpp$(CC) $(CFLAGS) -o crtsurfdata crtsurfdata.cpp $(ORAINCL) $(ORALIB) $(ORALIBS) $(PUBINCL) $(PUBCPP) $(OCICPP) _shqx.cpp -lm -lccp -f crtsurfdata ../bin/.psurfdata: psurfdata.cpp _shqx.h _shqx.cpp$(CC) $(CFLAGS) -o psurfdata psurfdata.cpp $(ORAINCL) $(ORALIB) $(ORALIBS) $(PUBINCL) $(PUBCPP) $(OCICPP) _shqx.cpp -lm -lccp -f psurfdata ../bin/.pzhrain24file: pzhrain24file.cpp _shqx.h _shqx.cpp$(CC) $(CFLAGS) -o pzhrain24file pzhrain24file.cpp $(ORAINCL) $(ORALIB) $(ORALIBS) $(PUBINCL) $(PUBCPP) $(OCICPP) _shqx.cpp -lm -lccp -f pzhrain24file ../bin/.psignallog: psignallog.cpp _shqx.h _shqx.cpp$(CC) $(CFLAGS) -o psignallog psignallog.cpp $(ORAINCL) $(ORALIB) $(ORALIBS) $(PUBINCL) $(PUBCPP) $(OCICPP) _shqx.cpp -lm -lccp -f psignallog ../bin/.wgetrain24: wgetrain24.cpp $(CC) $(CFLAGS) -o wgetrain24 wgetrain24.cpp $(PUBINCL) $(PUBCPP) -lm -lccp -f wgetrain24 ../bin/.wgettemp24: wgetrain24.cpp $(CC) $(CFLAGS) -o wgettemp24 wgettemp24.cpp $(PUBINCL) $(PUBCPP) -lm -lccp -f wgettemp24 ../bin/.clean:rm -rf crtsurfdata psurfdata psignallog wgetrain24rm -rf wgettemp24 pzhrain24file

切換用戶如下目錄里的*.sh都會執行,和oracle名字無關。如上makefile中不需要數據庫就不要包含路徑。


如下crttable.sql里最后不寫exit;的話下行登錄sqlplus不退出,每行sql語句需要分號結尾。如下.sql文件里一般放一些系統初始化sql語句如建表,839行insert站點參數。snorcl11g_198是連遠程該服務名指定的數據庫,不加就連本地數據庫。

oracle安裝好后會自動創建幾個表空間,表空間是用來存放數據庫對象的一個空間,類似分區,如下是查看oracle表空間大小的sql(登錄再執行)。

SELECT a.tablespace_name, --表空間名 total, --表空間大小 free, --表空間剩余大小 (total-free), --表空間使用大小 Round((total-free)/total,4)*100 --使用率 FROM (SELECT tablespace_name,Sum(bytes) free FROM DBA_FREE_SPACE GROUP BY tablespace_name) a, (SELECT tablespace_name,Sum(bytes) total FROM DBA_DATA_FILES GROUP BY tablespace_name)b WHERE a.tablespace_name=b.tablespace_name;

SYSTEM表空間(創建數據庫時創建的)相當于win系統C盤,USERS表空間相當于D盤放數據,UNDOTBS1表空間相當于事務緩沖區,SYSAUX相當于SYSTEM表空間輔助分區。

創建新用戶并指定該用戶缺省表空間為users,vi creuser.sql。

--把數據庫用戶允許錯誤重試的次數改為不限制 alter profile DEFAULT limit FAILED_LOGIN_ATTEMPTS UNLIMITED; alter profile DEFAULT limit PASSWORD_LIFE_TIME UNLIMITED;-- 上海氣象數據中心的主用戶,shqx為用戶名,pwdidc為密碼,default tablespace users默認user表空間 -- drop user shqx cascade; create user shqx profile default identified by pwdidc default tablespace users account unlock; grant connect to shqx; grant dba to shqx;exit;

下面是以超級用戶登錄,/ 指不用任何密碼,不能遠程登錄只能登錄本機且裝有數據庫。

如下是網絡/主鍵/錯誤優化 :入庫時查看日志,時間太長,truncate刪除表記錄繼續入庫時間測試。

如上連本機數據庫1秒之內處理完,下面方式和不帶服務名一樣也不通過網絡設備,日志都為1秒左右。

以上說明第一點:網絡對性能影響大,下面是第二點:主鍵沖突(數據庫已存在主鍵即有記錄了,沒有truncate)。


下面為改善:先去表中查下有沒有這條記錄存在,有的話就不插入insert入庫,m_cda.rc報個錯,這樣能提高速度解決主鍵沖突。以下在psurfdata.cpp中,2個主鍵查詢。bindin行,bindout列。

如下出現rc=1重復記錄即主鍵沖突就不管,不等于1日志寫錯誤信息并直接return false。

如上行出現問題logfile.write("stmtins.execute() fail…最后直接return false(-1)退出整個大循環,如下所示。

所以將return false改為continue(這個小循環下面不執行,重新從這個小循環開頭執行),break(跳出小循環往后執行,不重小循環開頭開始)。





如下oracle類似的錯誤代碼是連在一起的,以下兩個錯必須退出(return false),其他的錯沒必要退出。

3.歷史文件/表數據清理:生成測試數據后去采集,采集后未刪除文件,因為數據不只一個系統用

一般兩個需求:1.刪除哪個時間點前文件(常用),2.只保留多少個文件(一般刪除數據庫歸檔日志)。
1.以下是刪除多長時間之前文件(生成或采集的.txt數據文件)。

//這個程序不寫日志,deletefiles.cpp #include "_public.h" void EXIT(int sig); void _help(char *argv[]); //顯示程序的幫助,argv[]未指定字符串長度int main(int argc,char *argv[]) { //最后一個參數可有可無,如下argv是變量相當于&argv或&argv[0]if ( (argc != 3) && (argc != 4) ) { _help(argv); return -1; } //CloseIOAndSignal(); // 關閉全部的信號和輸入輸出,可以先//了,因為調試時要輸出信息// 處理程序退出的信號設置信號,在shell狀態下可用 "kill + 進程號" 正常終止些進程,但請不要用 "kill -9 +進程號" 強行終止signal(SIGINT,EXIT); signal(SIGTERM,EXIT); char strPathName[201]; //strPathName:/data/shqx/ftp/surfdata,dDayOut,strTimeOutdouble dDayOut=0;memset(strPathName,0,sizeof(strPathName));strcpy(strPathName,argv[1]); dDayOut=atof(argv[2]); char strTimeOut[21];LocalTime(strTimeOut,"yyyy-mm-dd hh24:mi:ss",0-(int)(dDayOut*24*60*60)); //獲取需要刪的時間點存入strTimeOut中CDir Dir; //strMatch:\"*.TXT,*.CSV\"char strMatch[50]; memset(strMatch,0,sizeof(strMatch));if (argc==3) strcpy(strMatch,"*"); //如果只有3個參數,全刪else strcpy(strMatch,argv[3]); //11111111111111111111111111111111111111111111111打開目錄,讀取文件,包括它的子目錄if (Dir.OpenDir(strPathName,strMatch,10000,true,false) == false){printf("Dir.OpenDir(%s) failed.\n",strPathName); return -1;}char strLocalTime[21];while (Dir.ReadDir() == true){if (strcmp(Dir.m_ModifyTime,strTimeOut) > 0) continue; //m_ModifyTime大于strTimeOut的話就不用刪除printf("delete %s ok.\n",Dir.m_FullFileName);REMOVE(Dir.m_FullFileName); //C語言提供了remove函數,在_public.cpp中重寫了REMOVE,刪不了多試幾次}return 0; } void EXIT(int sig) {printf("程序退出,sig=%d\n\n",sig);exit(0); }//111111111111111111111111111111111111111111111顯示程序的幫助 void _help(char *argv[]) {printf("\n");printf("Using:/htidc/public/bin/deletefiles pathname dayout [matchstr]\n");printf("Sample:/htidc/public/bin/deletefiles /data/shqx/ftp/surfdata 0.1 \"*.TXT,*.CSV\"\n\n");// dayout單位是天,如果要清除30分鐘前數據,則dayout填30/(24*60),如上0.1*24*60=144分鐘,就是當前時間往前推144分鐘printf("本程序是數據中心的公共功能模塊,用于刪除指定目錄下的歷史文件。\n");printf("pathname 待清理的目錄名,包括這個目錄下的各級子目錄。\n");printf("dayout 文件保留天數,單位是天,可以用小數。\n");printf("matchstr 待清理文件名的匹配規則,這是一個可選參數,可以匹配多種類型的文件,中間用逗號分隔,最好用雙引號包含起來。\n\n"); }

deletefiles.cpp不用自身調度用crontab -e,最后一個參數可不寫,寫了必須加雙引號。


下面改進,寫日志后清空兩個容器,在crtsurfdata.cpp中。


2.下面是第二個需求,保留多少文件。

//刪除數據庫的歸檔日志,deletearchive.cpp #include "_public.h" int main(int argc,char *argv[]) {char strPathName[201];int uSaveCount=0;if (argc != 3){printf("\n");printf("Using:/htidc/htidc/bin/deletearchive pathname savecount\n\n");printf("Example:/htidc/htidc/bin/procctl 300 /htidc/htidc/bin/deletearchive /oracle/archive 20\n\n");printf("本程序讀取目定pathname錄下的文件信息,并按時間降序,只保留最近savecount個文件,其它的都刪除掉。\n");printf("本程序主要用于刪除oracle數據庫的歸檔日志文件。\n");printf("本程序不寫日志文件,也不會在屏幕上輸出任何信息。\n");printf("本程序調用/bin/ls -lt pathname獲取歸檔日志文件信息。\n");printf("本程序可以手工運行,也可以由procctl調度。\n\n\n");printf("啟用oracle歸檔日志的相關命令如下:\n");printf("sqlplus /nolog\n");printf("connect / as sysdba;\n");printf("alter system set log_archive_dest_1='location=/home/oracle/oradata/EJETDB/archive';\n");printf("shutdown immediate;\n");printf("startup mount;\n");printf("alter database archivelog;\n");printf("alter database open;\n");printf("alter system switch logfile;\n\n\n");return -1;}memset(strPathName,0,sizeof(strPathName));strcpy(strPathName,argv[1]);uSaveCount=atoi(argv[2]);// 關閉全部的信號和輸入輸出// 設置信號,在shell狀態下可用 "kill + 進程號" 正常終止些進程// 但請不要用 "kill -9 +進程號" 強行終止CloseIOAndSignal(); FILE *fp=NULL; //fp指向ls -l的輸出的內容char strCmd[301]; //strPathName:/oracle/archivememset(strCmd,0,sizeof(strCmd)); sprintf(strCmd,"/bin/ls -lt %s",strPathName); if ( (fp=popen(strCmd,"r")) == NULL ){printf("popen %s failed.\n",strCmd); return -1;}CCmdStr CmdStr;int uFetchedCount=0;char strBuffer[1024],strFullFileName[201];while (TRUE){memset(strBuffer,0,sizeof(strBuffer));if (FGETS(strBuffer,2000,fp) == FALSE) break; uFetchedCount++;if (uFetchedCount <= uSaveCount + 1 ) continue;UpdateStr(strBuffer," "," "); // Trim(strBuffer);CmdStr.SplitToCmd(strBuffer," ");memset(strBuffer,0,sizeof(strBuffer));CmdStr.GetValue(CmdStr.CmdCount()-1,strBuffer,200);memset(strFullFileName,0,sizeof(strFullFileName));snprintf(strFullFileName,200,"%s/%s",strPathName,strBuffer);REMOVE(strFullFileName);}pclose(fp);return 0; }

3.下面為工具程序用于清理表中數據。

//deletetables.cpp #include "_public.h" #include "_ooci.h" char logfilename[301]; char connstr[101]; char tname[51]; char where[1024]; char hourstr[101]; char localhour[21]; connection conn; CLogFile logfile; void EXIT(int sig); void _help(char *argv[]); // 顯示程序的幫助 int maxcounts=500; // 每批刪除的記錄數 bool _deletetables(); int main(int argc,char *argv[]) {if (argc != 2) { _help(argv); return -1; }memset(logfilename,0,sizeof(logfilename));memset(connstr,0,sizeof(connstr));memset(tname,0,sizeof(tname));memset(where,0,sizeof(where));memset(hourstr,0,sizeof(hourstr));GetXMLBuffer(argv[1],"logfilename",logfilename,300);GetXMLBuffer(argv[1],"connstr",connstr,100);GetXMLBuffer(argv[1],"tname",tname,50);GetXMLBuffer(argv[1],"where",where,1000);GetXMLBuffer(argv[1],"hourstr",hourstr,2000);//上面為獲取參數放入一開始定義的幾個char字符串中,下面是判斷參數的合法性if (strlen(logfilename) == 0) { printf("logfilename is null.\n"); return -1; }if (strlen(connstr) == 0) { printf("connstr is null.\n"); return -1; }if (strlen(tname) == 0) { printf("tname is null.\n"); return -1; }if (strlen(where) == 1) { printf("where is null.\n"); return -1; }if (strlen(hourstr) == 0) { printf("hourstr is null.\n"); return -1; }CloseIOAndSignal();//關閉全部的信號和輸入輸出signal(SIGINT,EXIT); signal(SIGTERM,EXIT);//處理程序退出的信號if (logfile.Open(logfilename,"a+") == FALSE){printf("logfile.Open(%s) failed.\n",logfilename); return -1;}while (true) //自身調度,不用crontab{ memset(localhour,0,sizeof(localhour)); //判斷當前時間是否在啟動時間之內LocalTime(localhour,"hh24");if (strstr(hourstr,localhour)==0) { sleep(60); continue; }if (conn.connecttodb(connstr,"Simplified Chinese_China.ZHS16GBK") != 0){logfile.Write("connect database %s failed.\n",connstr); sleep(60); continue; }logfile.Write("delete table %s.\n",tname);if (_deletetables() == false) logfile.Write("deletetables failed.\n"); conn.disconnect();sleep(60); }return 0; } void EXIT(int sig) {printf("程序退出,sig=%d\n\n",sig);exit(0); }//11111111111111111111111111111111111111111顯示程序的幫助 void _help(char *argv[]) {printf("\nUsing:/oracle/htidc/shqx/bin/deletetables \"<logfilename>/oracle/log/shqx/deletetables_SURFDATA.log</logfilename><connstr>shqx/pwdidc@snorcl11g_188</connstr><tname>T_SURFDATA</tname><where>where ddatetime<sysdate</where><hourstr>14,15,16</hourstr>\"\n\n");printf("這是一個工具程序,用于清理表中的數據。\n");printf("<logfilename>/log/shqx/deletetables_ALLAWSDATA.log</logfilename> 本程序運行日志文件名。\n");printf("<connstr>szidc/pwdidc@SZQX_10.153.97.251</connstr> 目的數據庫的連接參數。\n");printf("<tname>T_ALLAWSDATA</tname> 待清理的表名。\n");printf("<where>where ddatetime<sysdate-5</where> 待清理數據的條件。\n");printf("<hourstr>01,02,03</hourstr> 本程序啟動的時次,小時,時次之間用半角的逗號分隔開。\n\n");return; }bool _deletetables() {int ccount=0;char strrowid[51],strrowidn[maxcounts][51];//sqlstatement stmt;//stmt.prepare("delete from %s %s",tname,where);//stmt.execute();//conn.commit();//如上這么寫不行,如果表要刪除的數據很多,delete from....這語句跑不動,不能讓Oracle產生大事務//stmt.prepare("delete from %s %s" and rownum<10000",tname,where);//如上一次刪除10000條,這種方法效率不高,假設where這個條件帶的參數查這個數據時,假設這字段沒有索引,那這sql執行時間相當長//111111111111111111111111111111111111111111111111獲取符合條件的記錄的rowidsqlstatement selstmt(&conn);selstmt.prepare("select rowid from %s %s",tname,where);selstmt.bindout(1, strrowid,50);if (selstmt.execute() != 0){logfile.Write("%s failed.\n%s\n",selstmt.m_sql,selstmt.m_cda.message); return false;}//1111111111111111111111111111111111111111生成刪除數據的SQL語句,一次刪除maxcounts條記錄int ii=0;char strDeleteSQL[10241];memset(strDeleteSQL,0,sizeof(strDeleteSQL));sprintf(strDeleteSQL,"delete from %s where rowid in (",tname);char strtemp[11];for (ii=0; ii<maxcounts; ii++){memset(strtemp,0,sizeof(strtemp));if (ii==0) sprintf(strtemp,":%d",ii+1); //:號是sql綁定變量if (ii >0) sprintf(strtemp,",:%d",ii+1);strcat(strDeleteSQL,strtemp);}strcat(strDeleteSQL,")");sqlstatement delstmt(&conn);delstmt.prepare(strDeleteSQL);for (ii=0; ii<maxcounts; ii++){delstmt.bindin(ii+1,strrowidn[ii],50);}while (true){memset(strrowid,0,sizeof(strrowid));if (selstmt.next() != 0) break;strcpy(strrowidn[ccount],strrowid);ccount++; //logfile.Write("%s\n",delstmt.m_sql);if (ccount == maxcounts){if (delstmt.execute() != 0){logfile.Write("delete %s failed.\n%s\n",tname,delstmt.m_cda.message); return false;}conn.commit();memset(strrowidn,0,sizeof(strrowidn));ccount=0;}//1111111111111111111111111111111111111刪除的記錄數到10000時提交一次事務,不讓數據庫產生大事務if (fmod(selstmt.m_cda.rpc,10000) < 1){logfile.Write("rows %d deleted.\n",selstmt.m_cda.rpc);//表里數據可能會非常多,幾個小時都刪不完,只要不在啟動時間內就不干了,明天再說//干完活了,刪除完記錄了再判斷當前時間是否在啟動時間之內 memset(localhour,0,sizeof(localhour));LocalTime(localhour,"hh24");if (strstr(hourstr,localhour)==0) return true;}}//11111111111111111111111111111111111在以上循環處理的時候,如果不足maxcounts,就在這里處理for (ii=0; ii<ccount; ii++){delstmt.prepare("delete from %s where rowid=:1",tname);//剩下的一次刪一條delstmt.bindin(1,strrowidn[ii],50); //logfile.Write("%s\n",delstmt.m_sql);if (delstmt.execute() != 0){if (delstmt.m_cda.rc != 1){logfile.Write("delete %s failed.\n%s\n",tname,delstmt.m_cda.message); return false;}}}logfile.Write("rows %d deleted.completed.\n",selstmt.m_cda.rpc);conn.commit();return true; }

如下0.7天前就是0.7*24=16.8,即16.8個小時前(1小時前大約0.04天前)。

vi /log/shqx/deletetables_…log(如上文件名)如下。

執行一條sql語句就會刪除500條,最后不到500,一條一條刪日志如下。


4.站點參數建表入表/PowerDesigner/主外鍵:g/./s//./g,多表查詢

vi crttable.sql,T_OBTCODE這個表沒必要創建索引,因為數據量很少。

drop table T_OBTCODE; create table T_OBTCODE (obtid char(5),cityname varchar2(30),provname varchar2(30),lat number(5,2),lon number(5,2),height number(8,2),rsts number(1), --狀態:1-啟用,2-禁用,3-故障primary key(obtid) );




如下圖整列(列操作)插入'和,1);,技巧:alt+shift+鼠標拖動右邊滾條到最低+鼠標點擊最低。如下取消勾選全詞匹配。


vi T_OBTCODE.sql將上面列操作實現的sql全部復制進去。




vi T_OBTCODE.sql,改完后。

PowerDesigner安裝鏈接:https://pan.baidu.com/s/1TR5tT6qh7G4CVPDFxZ7_wg 提取碼:vx9m 。

將上面漢化…文件夾里文件全復制替換到下面安裝目錄中(可改變安裝目錄)。

上海氣象.pdm文件:鏈接:https://pan.baidu.com/s/1zkzGDQuggwZhd1oNobeVqQ 提取碼:0ad6 。

P:主鍵,F:外鍵,M:勾上不允許為空。

下面為保存并生成.sql文件。

如下還要將雙引號替換為空,不同數據庫生成不同sql語句,如下修改設置就不生成雙引號了。

1.下面為主鍵命名,主鍵在Columns里p字段已指定。

如下是主鍵的另一種寫法。

2.下面為創建索引。


3.下面為創建表空間,如下將表存入名為USERS的表空間。

如下將索引存入名為INDEXS表空間。

如下主鍵就是索引也有這些參數也扔入INDEXS表空間。

4.字段值附上約束條件,如果復制其他表記得刪除字段值約束條件。

5.如下U是unique index,記錄序號即keyid是唯一約束,第三行是數據時間。

下面是創建序列。

ctrl+G生成.sql文件,注意主鍵名不要重復,雙引號替換為空。復制剛生成的.sql文件內容到crttable.sql中,執行如下命令必須其他窗口SQL>exit

1.創建主外鍵約束,站點代碼在如下左表里是主鍵,在右表是外鍵,命名為:FK_子表_父表。在SURFDATA(右)表上建立了外鍵約束,如下圖標是創建主外鍵連接線。如下<pk,fk>,pk主鍵勾上p字段,fk外鍵勾上f字段。

如下 多從外 引出。


2.下面演示出錯情況,建立這種約束后有什么效果,雙擊主外鍵約束線。ctrl+G生成crebas.sql文件,復制到crttable.sql。

:g/"/s// /g

3.如果表被鎖住(未提交)資源忙超時,dbshut關數據庫再開。左邊updata只有none和restrict兩個選項。如下兩個都為restrict為父表刪不了子表已經在用的記錄。


將上面復制修改到下面crttable.sql中,之前有生成腳本寫入過,這里只要修改下最后就行。

如下刪除59493等等其他的可以刪除,但59287不行,因為已經在查詢中用了,所以如下為上面兩個Restrict效果。

4.父表刪一條記錄,子表和它相關的記錄就被刪。

preview將引號換為空格,復制粘貼到SQL>(先登錄SQL),不用重新建表。

如下是多表查詢,想用一個sql語句查出數據同時也將站點名稱obtname也查出來。

總結

以上是生活随笔為你收集整理的【C/C++11】天气APP:txt/xml文件处理入库(psurfdata.cpp,_shqx.h),数据结构设计(PowerDesigner)的全部內容,希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯,歡迎將生活随笔推薦給好友。