「数据ETL」从数据民工到数据白领蜕变之旅(三)-除了Excel催化剂之外PowerQuery新物种同样值得期待...
在自助式BI時代以前,Excel級別的數(shù)據(jù)ETL工作,非常低效,動不動就要啟用VBA來完成一些常見的需求,自帶的原生功能,未能滿足大量的繁瑣數(shù)據(jù)ETL剛需功能。
在Excel2010后,PowerQuery以插件的形式橫空出現(xiàn),并最終在Excel2016中得以深度內(nèi)置,是一款非常難得的輕量化數(shù)據(jù)ETL工具。
微軟官方插件與第三方插件待遇不同
在使用第三方插件的過程中,可以彌補(bǔ)一些數(shù)據(jù)處理的剛需,但因每個插件的定位及用途不一,暫沒有發(fā)現(xiàn)哪個像Excel催化劑這樣專注做一些高階的應(yīng)用,同時第三方插件的使用體驗,略低于原生的功能(需要安裝、發(fā)布、分享等環(huán)節(jié)麻煩,同時界面操作沒法做到原生那般地緊密相聯(lián))
在PowerQuery方面,其因是官方的插件,就算在Excel2010或Excel2013中使用,無論安裝的成功率保障還是和原生功能的內(nèi)置方面,都比我們第三方插件要強(qiáng)得多,同時也更容易過IT審核的關(guān)卡,畢竟是官方的插件,肯定對電腦沒什么病毒后門式的顧慮。
PowerQuery一個很深入的集成性在于,其數(shù)據(jù)加載的過程中,原生地開發(fā)其以Excel智能表的形式加載出來,并且以數(shù)據(jù)連接的方式和源數(shù)據(jù)和加工過程相連接,所以非常好的體驗在于數(shù)據(jù)源更新后,只需刷新一下結(jié)果表即可按原來配置過的邏輯對數(shù)據(jù)進(jìn)行更新。
在第三方插件中,這個過程肯定需要重新在界面上重來一遍,所以重復(fù)性邏輯數(shù)據(jù)更新還是壓倒性地好于第三方插件。
在Excel催化劑中,對于PowerQuery非常擅長的領(lǐng)域,Excel催化劑就比較少去開發(fā),所以使用Excel催化劑的用戶群體,更佳的方式是同時掌握Excel催化劑+PowerQuery,在兩者中根據(jù)自己不同場景,選擇使用哪個工具來完成,而不應(yīng)該生硬地在兩者中取一,通過復(fù)雜的操作才能完成可能對方很輕松勝任的任務(wù)。
PowerQuery學(xué)習(xí)之我見
PowerQuery的學(xué)習(xí),并非是Excel高級用戶的專利,相反,它更適合于初中級用戶去接觸,因其內(nèi)核使用了.NET Framework的底層架構(gòu),非常多的.NET語言的特性都在PowerQuery中得以實現(xiàn)。相對Excel的高級函數(shù)技術(shù)及VBA才能處理的方案,在PowerQuery中變得非常簡單。
并且在PowerQuery中,非常強(qiáng)調(diào)界面化操作,在界面上操作,非常直觀于數(shù)據(jù)的生成可視化展現(xiàn),易于理解和檢查。同時PowerQuery上的操作過程,并詳細(xì)記錄為步驟的模塊,并且步驟可以在有先后順序的多個步驟間來回切換,感受步驟的前后對數(shù)據(jù)源產(chǎn)生的影響,非常好用。
所以,PowerQuery的使用,更合適于對Excel基礎(chǔ)操作有所了解,對函數(shù)的計算原理有所掌握的群體來使用學(xué)習(xí),可以快速地逆襲過往需要Excel高手級別才能完成的事情。
PowerQuery學(xué)習(xí)資源
在這兩年里,PowerBI技術(shù)持續(xù)地火熱,圖書、視頻市場已經(jīng)出現(xiàn)非常豐富的中文習(xí)資源了。基本上市面上能夠找到的熱門的學(xué)習(xí)資料都值得入手學(xué)習(xí)。
以下這些是筆者有接觸過的或購買過的圖書,非常不錯,可以系統(tǒng)地用來學(xué)習(xí)。
同樣地學(xué)習(xí)過程中,需要把握和平衡,使用二八原則的學(xué)習(xí)方式產(chǎn)出是最大的,例如PowerQuery,盡量學(xué)習(xí)下界面的操作,再加一些通用性套路玩法即可滿足大部分的工作場景,復(fù)雜的場景雖然PowerQuery可能也可完成,但可能其他方式的實現(xiàn)成本更低如使用Excel催化劑、SQL、SSIS、VBA等方式。
同樣地PowerBI社區(qū)的一些公眾號、博客文章,也是一個很不錯的補(bǔ)充學(xué)習(xí),如國內(nèi)最發(fā)燒的施陽大神開辟的博客https://pqfans.com/,和其他公眾號、知乎等渠道的PowerBI主題文章里也經(jīng)常有一些碎片化的學(xué)習(xí)資料。
同樣地,PoweBI社區(qū)的免費知識星球【PowerBI朋友圈(P圈)】,里面也匯集了社區(qū)內(nèi)大部分的免費學(xué)習(xí)資源。
結(jié)語
本篇從工具的角度,分析在筆者眼中的PowerQuery的功能特性及價值。是輕量級別的中小型數(shù)據(jù)ETL場景中非常好用的工具,結(jié)合Excel催化劑的功能,實現(xiàn)雙方的互補(bǔ),能夠給廣大普通Excel用戶們帶來非常大的生產(chǎn)力提升。
筆者只是引路者,真正扎根學(xué)習(xí)的話,建議到社區(qū)里更專業(yè)分享PowerQuery工具的老師那里學(xué)習(xí)。筆者更愿意給讀者們帶來筆者最擅長的企業(yè)級BI工具的分享,敬請關(guān)注后續(xù)推文。
筆者未來聚焦在數(shù)據(jù)領(lǐng)域的分享,不限于Excel,會分享更多Sqlserver、dotNET、Azure、PowerBI等話題,升級數(shù)據(jù)分析的能力,歡迎繼續(xù)關(guān)注。*
系列文章
從數(shù)據(jù)民工到數(shù)據(jù)白領(lǐng)蛻變之旅(一)-工具總覽 https://www.jianshu.com/p/2bd3f90206ec
從數(shù)據(jù)民工到數(shù)據(jù)白領(lǐng)蛻變之旅(二)-重溫Excel催化劑經(jīng)典 https://www.jianshu.com/p/cb89929bb8ae
關(guān)于Excel催化劑
Excel催化劑先是一微信公眾號的名稱,后來順其名稱,正式推出了Excel插件,插件將持續(xù)性地更新,更新的周期視本人的時間而定爭取一周能夠上線一個大功能模塊。Excel催化劑插件承諾個人用戶永久性免費使用!
Excel催化劑插件使用最新的布署技術(shù),實現(xiàn)一次安裝,日后所有更新自動更新完成,無需重復(fù)關(guān)注更新動態(tài),手動下載安裝包重新安裝,只需一次安裝即可隨時保持最新版本!
Excel催化劑插件下載鏈接:https://pan.baidu.com/s/1Iz2_NZJ8v7C9eqhNjdnP3Q
聯(lián)系作者公眾號取名催化劑,因Excel本身的強(qiáng)大,并非所有人能夠立馬享受到,大部分人還是在被Excel軟件所虐的階段,就是頭腦里很清晰想達(dá)到的效果,而且高手們也已經(jīng)實現(xiàn)出來,就是自己怎么弄都弄不出來,或者更糟的是還不知道Excel能夠做什么而停留在不斷地重復(fù)、機(jī)械、手工地在做著數(shù)據(jù),耗費著無數(shù)的青春年華歲月。所以催生了是否可以作為一種媒介,讓廣大的Excel用戶們可以瞬間點燃Excel的爆點,無需苦苦地掙扎地沒日沒夜的技巧學(xué)習(xí)、高級復(fù)雜函數(shù)的燒腦,最終走向了從入門到放棄的道路。
最后Excel功能強(qiáng)大,其實還需樹立一個觀點,不是所有事情都要交給Excel去完成,也不是所有事情Excel都是十分勝任的,外面的世界仍然是一個廣闊的世界,Excel只是其中一枚耀眼的明星,還有其他更多同樣精彩強(qiáng)大的技術(shù)、工具等。*Excel催化劑也將借力這些其他技術(shù),讓Excel能夠發(fā)揮更強(qiáng)大的爆發(fā)!
關(guān)于Excel催化劑作者
姓名:李偉堅,從事數(shù)據(jù)分析工作多年(BI方向),一名同樣在路上的學(xué)習(xí)者。
服務(wù)過行業(yè):零售特別是鞋服類的零售行業(yè),電商(淘寶、天貓、京東、唯品會)
技術(shù)路線從一名普通用戶,通過Excel軟件的學(xué)習(xí),從此走向數(shù)據(jù)世界,非科班IT專業(yè)人士。
歷經(jīng)重重難關(guān),終于在數(shù)據(jù)的道路上達(dá)到技術(shù)平原期,學(xué)習(xí)眾多的知識不再太吃力,同時也形成了自己的一套數(shù)據(jù)解決方案(數(shù)據(jù)采集、數(shù)據(jù)加工清洗、數(shù)據(jù)多維建模、數(shù)據(jù)報表展示等)。
擅長技術(shù)領(lǐng)域:Excel等Office家族軟件、VBA&VSTO的二次開發(fā)、Sqlserver數(shù)據(jù)庫技術(shù)、Sqlserver的商業(yè)智能BI技術(shù)、Powerbi技術(shù)、云服務(wù)器布署技術(shù)等等。
2018年開始職業(yè)生涯作了重大調(diào)整,從原來的正職工作,轉(zhuǎn)為自由職業(yè)者,暫無固定收入,暫對前面道路不太明朗,苦重新回到正職工作,對Excel催化劑的運營和開發(fā)必定受到很大的影響(正職工作時間內(nèi)不可能維護(hù)也不可能隨便把工作時間內(nèi)的成果公布于外,工作外的時間也十分有限,因已而立之年,家庭責(zé)任重大)。
和廣大擁護(hù)者一同期盼:Excel催化劑一直能運行下去,我所惠及的群體們能夠給予支持(多留言鼓勵下、轉(zhuǎn)發(fā)下朋友圈推薦、小額打賞下和最重點的可以和所在公司及同行推薦推薦,讓我的技術(shù)可以在貴司發(fā)揮價值,實現(xiàn)雙贏(初步設(shè)想可以數(shù)據(jù)顧問的方式或一些小型項目開發(fā)的方式合作)。
總結(jié)
以上是生活随笔為你收集整理的「数据ETL」从数据民工到数据白领蜕变之旅(三)-除了Excel催化剂之外PowerQuery新物种同样值得期待...的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 创业周年记:召唤神龙一周年小记
- 下一篇: Docker系列之烹饪披萨(二)