assumption: min index of attributes is 1?
pass 1: find out max index of attributes ：

1.1也就是找出每行有多少個特征數(shù)據(jù)，因為libsvm特征格式中每個特征前面帶有下標，缺失的認為是0，這樣避免稀疏矩陣，以提高計算速度。其實我獲取的數(shù)據(jù)即便是0值也進行了保存，如果在保存特征時進行0值判斷的話，會變得有點麻煩，也就簡單化處理。這是以后可以修改的一個地方。

1.2創(chuàng)建保存最值的數(shù)組，并初始化。

if(restore_filename){int idx, c;fp_restore = fopen(restore_filename,"r");c = fgetc(fp_restore);if(c == 'y'){readline(fp_restore);readline(fp_restore);readline(fp_restore);}readline(fp_restore);readline(fp_restore);while(fscanf(fp_restore,"%d %*f %*f\n",&idx) == 1)max_index = max(idx,max_index);rewind(fp_restore);}while(readline(fp)!=NULL){char *p=line;SKIP_TARGETwhile(sscanf(p,"%d:%*f",&index)==1){max_index = max(max_index, index);SKIP_ELEMENTnum_nonzeros++;} }rewind(fp); //創(chuàng)建保存最值的數(shù)組feature_max = (double *)malloc((max_index+1)* sizeof(double));feature_min = (double *)malloc((max_index+1)* sizeof(double));if(feature_max == NULL || feature_min == NULL){fprintf(stderr,"can't allocate enough memory\n");exit(1);} //初始化for(i=0;i<=max_index;i++){feature_max[i]=-DBL_MAX;feature_min[i]=DBL_MAX;}

pass 2: find out min/max value，找出每行中的最大與最小值，并傳遞到相應數(shù)組。

while(readline(fp)!=NULL){char *p=line;int next_index=1;double target;double value;sscanf(p,"%lf",&target);y_max = max(y_max,target);y_min = min(y_min,target);SKIP_TARGETwhile(sscanf(p,"%d:%lf",&index,&value)==2){for(i=next_index;i<index;i++){feature_max[i]=max(feature_max[i],0);feature_min[i]=min(feature_min[i],0);}feature_max[index]=max(feature_max[index],value);feature_min[index]=min(feature_min[index],value);SKIP_ELEMENTnext_index=index+1;} for(i=next_index;i<=max_index;i++){feature_max[i]=max(feature_max[i],0);feature_min[i]=min(feature_min[i],0);} }rewind(fp);

　　pass 3: scale 縮放

while(readline(fp)!=NULL){char *p=line;int next_index=1;double target;double value;sscanf(p,"%lf",&target);output_target(target);SKIP_TARGETwhile(sscanf(p,"%d:%lf",&index,&value)==2){for(i=next_index;i<index;i++)output(i,0);output(index,value);SKIP_ELEMENTnext_index=index+1;} for(i=next_index;i<=max_index;i++)output(i,0);printf("\n");}

　　

void output_target(double value) {if(y_scaling){if(value == y_min)value = y_lower;else if(value == y_max)value = y_upper;else value = y_lower + (y_upper-y_lower) *(value - y_min)/(y_max-y_min);}printf("%g ",value); }

　　

效果：消除了奇異樣本數(shù)據(jù)對處理過程的影響。

總結

以上是生活随笔為你收集整理的libsvm数据缩放方法的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。