數(shù)據(jù)：

天通苑北一區(qū) 3室2廳 510萬 1.01101E+11 天通苑北一區(qū) 3-2廳 143.09 平米 南北 簡裝 有電梯 35642 510
旗勝家園 2室1廳 385萬 1.01101E+11 旗勝家園 2-1廳 88.68 平米 南北 簡裝 有電梯 43415 385
天秀花園澄秀園 3室1廳 880萬 1.01101E+11 天秀花園澄秀園 3-1廳 148.97 平米 東南北 精裝 無電梯 59073 880
西南向的兩居室 高樓層電梯房 滿五年 1.01101E+11 月季園 2-1廳 101.83 平米 南西 簡裝 有電梯 55878 569
望京新城 3室2廳 850萬 1.01101E+11 望京新城 3-2廳 142.93 平米 東南 精裝 有電梯 59470 850
翠屏北里西區(qū) 4室2廳 670萬 1.01101E+11 翠屏北里西區(qū) 4-2廳 186.26 平米 南北 簡裝 無電梯 35972 670
麗水嘉園 3室2廳 1000萬 1.01101E+11 麗水嘉園 3-2廳 127.06 平米 西北 精裝 有電梯 78703 1000
綠蔭芳鄰二居客廳朝南主臥室朝南小臥室朝北滿五年 1.01101E+11 綠蔭芳鄰 2-2廳 133.76 平米 南北 精裝 有電梯 59809 800
佰嘉城 3室2廳 478萬 1.01101E+11 佰嘉城 3-2廳 121.63 平米 南北 簡裝 有電梯 39300 478
模式口中里 2室1廳 290萬 1.01101E+11 模式口中里 2-1廳 67.39 平米 東西 毛坯 無電梯 43034 290
金星小區(qū) 2室1廳 290萬 1.01101E+11 金星小區(qū) 2-1廳 53.31 平米 南北 簡裝 無電梯 54399 290
機(jī)械研究院西區(qū) 南北三居室 此戶型少出 看房方便 1.01101E+11 機(jī)械研究院西區(qū) 3-2廳 98.44 平米 南北 簡裝 無電梯 96506 950
機(jī)械研究院西區(qū) 南北三居室 此戶型少出 看房方便 1.01101E+11 機(jī)械研究院西區(qū) 3-2廳 98.44 平米 南北 簡裝 無電梯 96506 950
南北通透 三居室 高樓層 視野很好 1.01101E+11 太陽園 3-1廳 139.63 平米 南北 簡裝 有電梯 103846 1450
天通西苑二區(qū) 2室1廳 390萬 1.01101E+11 天通西苑二區(qū) 2-1廳 97.12 平米 西 精裝 有電梯 40157 390
西黃新村北里 2室1廳 436萬 1.01101E+11 西黃新村北里 2-1廳 92.06 平米 西南 精裝 有電梯 47361 436
翠微小學(xué) 板樓南北三居 中間樓層采光好 好戶型無浪費(fèi) 1.01101E+11 翠微路16號(hào)院 3-1廳 83.7 平米 南北 毛坯 無電梯 93190 780
天通西苑二區(qū) 2室1廳 390萬 1.01101E+11 天通西苑二區(qū) 2-1廳 97.12 平米 西 精裝 有電梯 40157 390
綠蔭芳鄰二居客廳朝南主臥室朝南小臥室朝北滿五年 1.01101E+11 綠蔭芳鄰 2-2廳 133.76 平米 南北 精裝 有電梯 59809 800
綠蔭芳鄰二居客廳朝南主臥室朝南小臥室朝北滿五年 1.01101E+11 綠蔭芳鄰 2-2廳 133.76 平米 南北 精裝 有電梯 59809 800
天通苑北一區(qū) 3室2廳 510萬 1.01101E+11 天通苑北一區(qū) 3-2廳 143.09 平米 南北 簡裝 有電梯 35642 510
旗勝家園 2室1廳 385萬 1.01101E+11 旗勝家園 2-1廳 88.68 平米 南北 簡裝 有電梯 43415 385
天秀花園澄秀園 3室1廳 880萬 1.01101E+11 天秀花園澄秀園 3-1廳 148.97 平米 東南北 精裝 無電梯 59073 880
西南向的兩居室 高樓層電梯房 滿五年 1.01101E+11 月季園 2-1廳 101.83 平米 南西 簡裝 有電梯 55878 569
望京新城 3室2廳 850萬 1.01101E+11 望京新城 3-2廳 142.93 平米 東南 精裝 有電梯 59470 850
翠屏北里西區(qū) 4室2廳 670萬 1.01101E+11 翠屏北里西區(qū) 4-2廳 186.26 平米 南北 簡裝 無電梯 35972 670
麗水嘉園 3室2廳 1000萬 1.01101E+11 麗水嘉園 3-2廳 127.06 平米 西北 精裝 有電梯 78703 1000
綠蔭芳鄰二居客廳朝南主臥室朝南小臥室朝北滿五年 1.01101E+11 綠蔭芳鄰 2-2廳 133.76 平米 南北 精裝 有電梯 59809 800
佰嘉城 3室2廳 478萬 1.01101E+11 佰嘉城 3-2廳 121.63 平米 南北 簡裝 有電梯 39300 478
模式口中里 2室1廳 290萬 1.01101E+11 模式口中里 2-1廳 67.39 平米 東西 毛坯 無電梯 43034 290
金星小區(qū) 2室1廳 290萬 1.01101E+11 金星小區(qū) 2-1廳 53.31 平米 南北 簡裝 無電梯 54399 290
機(jī)械研究院西區(qū) 南北三居室 此戶型少出 看房方便 1.01101E+11 機(jī)械研究院西區(qū) 3-2廳 98.44 平米 南北 簡裝 無電梯 96506 950
機(jī)械研究院西區(qū) 南北三居室 此戶型少出 看房方便 1.01101E+11 機(jī)械研究院西區(qū) 3-2廳 98.44 平米 南北 簡裝 無電梯 96506 950
南北通透 三居室 高樓層 視野很好 1.01101E+11 太陽園 3-1廳 139.63 平米 南北 簡裝 有電梯 103846 1450
天通西苑二區(qū) 2室1廳 390萬 1.01101E+11 天通西苑二區(qū) 2-1廳 97.12 平米 西 精裝 有電梯 40157 390
西黃新村北里 2室1廳 436萬 1.01101E+11 西黃新村北里 2-1廳 92.06 平米 西南 精裝 有電梯 47361 436
翠微小學(xué) 板樓南北三居 中間樓層采光好 好戶型無浪費(fèi) 1.01101E+11 翠微路16號(hào)院 3-1廳 83.7 平米 南北 毛坯 無電梯 93190 780
天通西苑二區(qū) 2室1廳 390萬 1.01101E+11 天通西苑二區(qū) 2-1廳 97.12 平米 西 精裝 有電梯 40157 390
綠蔭芳鄰二居客廳朝南主臥室朝南小臥室朝北滿五年 1.01101E+11 綠蔭芳鄰 2-2廳 133.76 平米 南北 精裝 有電梯 59809 800
綠蔭芳鄰二居客廳朝南主臥室朝南小臥室朝北滿五年 1.01101E+11 綠蔭芳鄰 2-2廳 133.76 平米 南北 精裝 有電梯 59809 800
天通苑北一區(qū) 3室2廳 510萬 1.01101E+11 天通苑北一區(qū) 3-2廳 143.09 平米 南北 簡裝 有電梯 35642 510
旗勝家園 2室1廳 385萬 1.01101E+11 旗勝家園 2-1廳 88.68 平米 南北 簡裝 有電梯 43415 385
天秀花園澄秀園 3室1廳 880萬 1.01101E+11 天秀花園澄秀園 3-1廳 148.97 平米 東南北 精裝 無電梯 59073 880
西南向的兩居室 高樓層電梯房 滿五年 1.01101E+11 月季園 2-1廳 101.83 平米 南西 簡裝 有電梯 55878 569
望京新城 3室2廳 850萬 1.01101E+11 望京新城 3-2廳 142.93 平米 東南 精裝 有電梯 59470 850
翠屏北里西區(qū) 4室2廳 670萬 1.01101E+11 翠屏北里西區(qū) 4-2廳 186.26 平米 南北 簡裝 無電梯 35972 670
麗水嘉園 3室2廳 1000萬 1.01101E+11 麗水嘉園 3-2廳 127.06 平米 西北 精裝 有電梯 78703 1000
綠蔭芳鄰二居客廳朝南主臥室朝南小臥室朝北滿五年 1.01101E+11 綠蔭芳鄰 2-2廳 133.76 平米 南北 精裝 有電梯 59809 800
佰嘉城 3室2廳 478萬 1.01101E+11 佰嘉城 3-2廳 121.63 平米 南北 簡裝 有電梯 39300 478
模式口中里 2室1廳 290萬 1.01101E+11 模式口中里 2-1廳 67.39 平米 東西 毛坯 無電梯 43034 290
金星小區(qū) 2室1廳 290萬 1.01101E+11 金星小區(qū) 2-1廳 53.31 平米 南北 簡裝 無電梯 54399 290
機(jī)械研究院西區(qū) 南北三居室 此戶型少出 看房方便 1.01101E+11 機(jī)械研究院西區(qū) 3-2廳 98.44 平米 南北 簡裝 無電梯 96506 950
機(jī)械研究院西區(qū) 南北三居室 此戶型少出 看房方便 1.01101E+11 機(jī)械研究院西區(qū) 3-2廳 98.44 平米 南北 簡裝 無電梯 96506 950
南北通透 三居室 高樓層 視野很好 1.01101E+11 太陽園 3-1廳 139.63 平米 南北 簡裝 有電梯 103846 1450
天通西苑二區(qū) 2室1廳 390萬 1.01101E+11 天通西苑二區(qū) 2-1廳 97.12 平米 西 精裝 有電梯 40157 390
西黃新村北里 2室1廳 436萬 1.01101E+11 西黃新村北里 2-1廳 92.06 平米 西南 精裝 有電梯 47361 436
翠微小學(xué) 板樓南北三居 中間樓層采光好 好戶型無浪費(fèi) 1.01101E+11 翠微路16號(hào)院 3-1廳 83.7 平米 南北 毛坯 無電梯 93190 780
天通西苑二區(qū) 2室1廳 390萬 1.01101E+11 天通西苑二區(qū) 2-1廳 97.12 平米 西 精裝 有電梯 40157 390
綠蔭芳鄰二居客廳朝南主臥室朝南小臥室朝北滿五年 1.01101E+11 綠蔭芳鄰 2-2廳 133.76 平米 南北 精裝 有電梯 59809 800
綠蔭芳鄰二居客廳朝南主臥室朝南小臥室朝北滿五年 1.01101E+11 綠蔭芳鄰 2-2廳 133.76 平米 南北 精裝 有電梯 59809 800
天通苑北一區(qū) 3室2廳 510萬 1.01101E+11 天通苑北一區(qū) 3-2廳 143.09 平米 南北 簡裝 有電梯 35642 510
旗勝家園 2室1廳 385萬 1.01101E+11 旗勝家園 2-1廳 88.68 平米 南北 簡裝 有電梯 43415 385
天秀花園澄秀園 3室1廳 880萬 1.01101E+11 天秀花園澄秀園 3-1廳 148.97 平米 東南北 精裝 無電梯 59073 880
西南向的兩居室 高樓層電梯房 滿五年 1.01101E+11 月季園 2-1廳 101.83 平米 南西 簡裝 有電梯 55878 569
望京新城 3室2廳 850萬 1.01101E+11 望京新城 3-2廳 142.93 平米 東南 精裝 有電梯 59470 850
翠屏北里西區(qū) 4室2廳 670萬 1.01101E+11 翠屏北里西區(qū) 4-2廳 186.26 平米 南北 簡裝 無電梯 35972 670
麗水嘉園 3室2廳 1000萬 1.01101E+11 麗水嘉園 3-2廳 127.06 平米 西北 精裝 有電梯 78703 1000
綠蔭芳鄰二居客廳朝南主臥室朝南小臥室朝北滿五年 1.01101E+11 綠蔭芳鄰 2-2廳 133.76 平米 南北 精裝 有電梯 59809 800
佰嘉城 3室2廳 478萬 1.01101E+11 佰嘉城 3-2廳 121.63 平米 南北 簡裝 有電梯 39300 478
模式口中里 2室1廳 290萬 1.01101E+11 模式口中里 2-1廳 67.39 平米 東西 毛坯 無電梯 43034 290
金星小區(qū) 2室1廳 290萬 1.01101E+11 金星小區(qū) 2-1廳 53.31 平米 南北 簡裝 無電梯 54399 290
機(jī)械研究院西區(qū) 南北三居室 此戶型少出 看房方便 1.01101E+11 機(jī)械研究院西區(qū) 3-2廳 98.44 平米 南北 簡裝 無電梯 96506 950
機(jī)械研究院西區(qū) 南北三居室 此戶型少出 看房方便 1.01101E+11 機(jī)械研究院西區(qū) 3-2廳 98.44 平米 南北 簡裝 無電梯 96506 950
南北通透 三居室 高樓層 視野很好 1.01101E+11 太陽園 3-1廳 139.63 平米 南北 簡裝 有電梯 103846 1450
天通西苑二區(qū) 2室1廳 390萬 1.01101E+11 天通西苑二區(qū) 2-1廳 97.12 平米 西 精裝 有電梯 40157 390
西黃新村北里 2室1廳 436萬 1.01101E+11 西黃新村北里 2-1廳 92.06 平米 西南 精裝 有電梯 47361 436
翠微小學(xué) 板樓南北三居 中間樓層采光好 好戶型無浪費(fèi) 1.01101E+11 翠微路16號(hào)院 3-1廳 83.7 平米 南北 毛坯 無電梯 93190 780
天通西苑二區(qū) 2室1廳 390萬 1.01101E+11 天通西苑二區(qū) 2-1廳 97.12 平米 西 精裝 有電梯 40157 390
綠蔭芳鄰二居客廳朝南主臥室朝南小臥室朝北滿五年 1.01101E+11 綠蔭芳鄰 2-2廳 133.76 平米 南北 精裝 有電梯 59809 800
綠蔭芳鄰二居客廳朝南主臥室朝南小臥室朝北滿五年 1.01101E+11 綠蔭芳鄰 2-2廳 133.76 平米 南北 精裝 有電梯 59809 800

?

要求：

某房地產(chǎn)元數(shù)據(jù)清洗。清洗規(guī)則如下：(列數(shù)從第0列開始)
1、首先統(tǒng)計(jì)整條房屋信息發(fā)布次數(shù)
2、過濾，整行數(shù)據(jù)完全相同的只留一行即可。
3、第1列數(shù)據(jù)某些字段需要加"[]"（自己結(jié)合分析前后觀察規(guī)律）。
4、第2列數(shù)據(jù)不需要。
5、將第4列中的"-"替換成"室"。
6、將第5列數(shù)據(jù)中的空格去掉。
7、將6、7、8列改成如下格式。
8、將10列數(shù)據(jù)中值小于300的排除掉整行數(shù)據(jù)，并將剩下的第10列數(shù)據(jù)后面加上單位"萬"。(15分)
9、清洗完后的第1列和第2列用Tab鍵分隔，第2、3、4、5、6、7列分別用空格分隔。
10、全部按規(guī)則輸出，并且輸出文件中第一行是抬頭。

房名 區(qū)域 戶型 面積 朝向-裝修-電梯 單價(jià) 總價(jià) 發(fā)布次數(shù)

結(jié)果樣式：

hive思路：

天通苑北一區(qū) 3室2廳 510萬 1.01101E+11 天通苑北一區(qū) 3-2廳 143.09 平米 南北 簡裝 有電梯 35642 510
實(shí)際開發(fā)中拿到的字段都是整行的，設(shè)置一個(gè)字段
create external table if not exists data(
logs String
)
//row format delimited fields terminated by '\t' ,不用拆分，只有一個(gè)字段，設(shè)置文件所在位置即可。
//stored as textfile;

create external table if not exists data(
logs String
)
location '/house';

hadoop fs -mkdir /house;

使用字符串，table鍵，空格時(shí)需要使用雙引號(hào)，內(nèi)置函數(shù)里使用單引號(hào)
拆分后的
第一列 天通苑北一區(qū) 3室2廳 510萬
按'\t'拆分，使用split函數(shù)，第一列為拆分后的第0個(gè)角標(biāo)元素
split(logs,"\t")[0]

split(logs,'\t')[0]
第一列以空格拆分，拆分成三個(gè)元素 天通苑北一區(qū) 3室2廳 510萬
第一個(gè)元素
split(split(logs,"\t")[0],' ')[0]

split(split(logs,'\t')[0],' ')[0]
由于某些第一列拆分后只有一個(gè)元素 綠蔭芳鄰二居客廳朝南主臥室朝南小臥室朝北滿五年
使用if函數(shù)進(jìn)行判斷,如果角標(biāo)為1,2的元素為null，則賦值空字符串,否則是它本身
if(split(split(logs,"\t")[0],' ')[1] is null,"",split(split(logs,"\t")[0],' ')[1])

if(split(split(logs,'\t')[0],' ')[1] is null,"",split(split(logs,'\t')[0],' ')[1])
合并：將以空格拆分后的三個(gè)元素連接起來,使用concat函數(shù)
拆分后的第一列
select concat(split(split(logs,"\t")[0],' ')[0]," [",if(split(split(logs,"\t")[0],' ')[1] is null,"",split(split(logs,"\t")[0],' ')[1])," ",
if(split(split(logs,"\t")[0],' ')[2] is null,"",split(split(logs,"\t")[0],' ')[2]),"]\t") from data;

select concat(split(split(logs,"\t")[0],' ')[0]," [",if(split(split(logs,"\t")[0],' ')[1] is null,"",split(split(logs,"\t")[0],' ')[1])," ",
if(split(split(logs,"\t")[0],' ')[2] is null,"",split(split(logs,"\t")[0],' ')[2]),"]\t") from data;
第三列：天通苑北一區(qū) ，以'\t'拆分得到，題目要求第二列與第三列之間以空格分隔，則在第二列后加空格
split(logs,'\t')[2]拆分后的第三列
select concat(split(logs,"\t")[2]," ") from data;

select concat(split(logs,'\t')[2],' ') from data;
第四列：3-2廳，將- 替換成室,使用regexp_replace正則替換函數(shù)，并在之后加空格，與下一列用空格分隔。
select concat(regexp_replace(split(logs,"\t")[3],"-","s")," ") from data;

regexp_replace(split(logs,'\t')[3],'-','室')
select concat(regexp_replace(split(logs,'\t')[3],'-','室'),' ') from data;
第五列：143.09 平米，去掉空格,使用regexp_replace正則替換函數(shù)，
select concat(regexp_replace(split(logs,"\t")[4]," ","")," ") from data;

regexp_replace(split(logs,'\t')[4],' ','');
在該列后加空格，使用concat連接函數(shù)
select concat(regexp_replace(split(logs,'\t')[4],' ',''),' ') from data;
第六列 南北 簡裝 有電梯,使用-連接，并在之后加空格
使用concat，不使用concat

select concat(split(logs,'\t')[5],'-',split(logs,'\t')[6],'-',split(logs,'\t')[7],'-',' ') from data;
第九列 35642
select concat(split(logs,"\t")[8],' ') from data;

select concat(split(logs,'\t')[8],' ') from data;
第10列 510 ，將10列數(shù)據(jù)中值小于300的排除掉整行數(shù)據(jù)，并將剩下的第10列數(shù)據(jù)后面加上單位"萬"。
select concat(split(logs,"\t")[9],"wan ") from data where split(logs,"\t")[9]>=300;

select concat(split(logs,'\t')[9],'萬',' ') from data where split(logs,'\t')[9]>300;

//設(shè)置表頭命令：set hive.cli.print.header=true; //設(shè)置顯示字段名

set hive.cli.print.current.db=true;設(shè)置顯示使用的數(shù)據(jù)庫
set hive.cli.print.header=true;設(shè)置顯示字段名

select concat(split(split(logs,"\t")[0],' ')[0]," [",if(split(split(logs,"\t")[0],' ')[1] is null,"",split(split(logs,"\t")[0],' ')[1])," ",if(split(split(logs,"\t")[0],' ')[2] is null,"",split(split(logs,"\t")[0],' ')[2]),"]\t") as `房名`,
concat(split(logs,"\t")[2]," ") as `區(qū)域`,
concat(regexp_replace(split(logs,"\t")[3],"-","s")," ") as `戶型`,
concat(regexp_replace(split(logs,"\t")[4]," ","")," ") as `面積`,
concat(concat_ws("-",split(logs,"\t")[5],split(logs,"\t")[6],split(logs,"\t")[7])," ") as `朝向-裝修-電梯`,
concat(split(logs,"\t")[8]," ") as `單價(jià)`,
concat(split(logs,"\t")[9],"wan ") as `總價(jià)`,
from data where split(logs,"\t")[9]>300;
count(logs) as `發(fā)布次數(shù)`

select concat(split(logs,'\t')[0]," [",if((split(split(logs,'\t')[0]),' ')[1] is null,'',split((split(logs,'\t')[0]),' ')[1]),
if(split(split(logs,'\t')[0],' ')[2] is null,"",split(split(logs,'\t')[0],' ')[2]),"]\t") as '房名',
concat(split(logs,'\t')[2],' ') as '區(qū)域',
concat(regexp_replace(split(logs,'\t')[3],'-','室'),' ') as '戶型',
concat(regexp_replace(split(logs,'\t')[4],' ',''),' ') as '面積',
concat(split(logs,'\t')[5],'-',split(logs,'\t')[6],'-',split(logs,'\t')[7],'-',' ') as '朝向-裝修-電梯',
concat(split(logs,'\t')[8],' ') as '單價(jià)',
concat(split(logs,'\t')[9],'萬',' ') as '總價(jià)',
count(*) as '發(fā)布次數(shù)' from data group by logs having split(logs,"\t")[9]>=300;

select concat(split(split(logs,"\t")[0],' ')[0]," [",if(split(split(logs,"\t")[0],' ')[1] is null,"",split(split(logs,"\t")[0],' ')[1])," ",if(split(split(logs,"\t")[0],' ')[2] is null,"",split(split(logs,"\t")[0],' ')[2]),"]\t") as `房名`,
concat(split(logs,"\t")[2]," ") as `區(qū)域`,
concat(regexp_replace(split(logs,"\t")[3],"-","s")," ") as `戶型`,
concat(regexp_replace(split(logs,"\t")[4]," ","")," ") as `面積`,
concat(concat_ws("-",split(logs,"\t")[5],split(logs,"\t")[6],split(logs,"\t")[7])," ") as `朝向-裝修-電梯`,
concat(split(logs,"\t")[8]," ") as `單價(jià)`,
concat(split(logs,"\t")[9],"wan ") as `總價(jià)`,
count(logs) as `發(fā)布次數(shù)`
from data group by logs having split(logs,"\t")[9]>=300;

?

轉(zhuǎn)載于:https://www.cnblogs.com/pingzizhuanshu/p/9074793.html

總結(jié)

以上是生活随笔為你收集整理的hive案例：hive对房产数据进行过滤的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。