[2016/7/11]白山云科技实习第一天
今天實習第一天,還是蠻激動的。一定要把握住這么好的機會,好好鍛煉一下自己。今天就寫一篇博客紀念一下吧。
因為第一天,我不敢遲到。昨晚HR告訴我今天要九點到。于是根據上次的單程時間(大概一個半小時),心想這次七點十分出發一定不會晚,而且在線路上我也是精心策劃過,上次公交坐到黑,這次公交加地鐵,地鐵各種倒,坐了有3條線的地鐵,兩頭還需要公交車連接,哎,學校公司兩邊都是太不方便啊。結果早上起晚了,七點多點兒才起來,嚇得我沒吃早飯就跑出去了…不過幸好,公司管三餐。
路上很熱也很擠,不過心情很激動,這是我人生中第一次去公司上班啊,在路上感慨了一下后,腦補了一道DP一個小時就過去了,比上次早了大概半個小時(竊喜。
到了公司給HR打電話,進去以后坐在一個高桌旁邊,最近廈門有人過來,所以工位少了,新定的幾套桌椅過幾天才會到,讓我先湊合一下(其實還有一個也坐在這兒)。被帶去吃早餐,早餐的時候遇到了一個從南郵來實習的朋友,聊著聊著就吃完了。吃完造餐復印身份證、銀行卡,錄完門禁指紋后默默坐下等九點開工…
結果一早上仍然不開工,都開始懷疑人生了。于是我看了一早上numpy的文檔,期間見到了組里第一個人,是個北郵的本碩,畢業來工作一年。聊了一會兒leader就來了,簡單自我介紹過后,他隨手給了我一個和碩士小哥一起寫一個網絡協議,我一想臥曹這跟我的路子不太符合啊,于是默默和小哥表達了自己的觀點,小哥支持我和leader聊一下,看看能不能換換。于是我抱著肯定可以換的心態繼續看我的numpy,順便把pycharm和idea搞下來了…結果等來了午飯,吃午飯的時候一桌四個人,另外的人都感慨我年紀小……
午休過后我和leader說了我的想法,問了一下是否有數據處理的工作需要做,他想了一下,告訴我還真有這么個需求。說是一組日志,記錄了balabala…問要統計top100,我弱弱地問了一下數據量,他說4TB(還是40TB來著)…那這肯定是要分布式框架了,可是我除了知道小黃象、星火這種名詞的拼寫以外,別的就不懂了啊,他還說這個東西簡單…哎不做這個就要去寫網絡協議,比起小哥做的那個,我還是覺得這個比較適合我…于是咬咬牙接下了。leader人還是不錯的,告訴我選擇自己喜歡的會提高效率。我問這個有沒有工期限制。他講沒有,做不出來也沒關系,不過要盡力做。我聽到這個就放心了,leader拍了拍我的肩膀我好好干吧(好狗血)。過了一會兒leader卻又過來跟我說,這不是搞科研,這東西還是要做成產品,我又開始慌了…隨后leader扔給我了一個1GB的小樣本…
這咋辦啊,我以前也就是本機配過個hadoop還是單機的,就跑了個wordcount以外別的啥都不會啊。然后這一下還給我整這么大的,我接受不了啊,哎…
一點一點來吧,我可是帶著覺悟來實習的,不是混子。況且招我的時候僅僅通過了一個比賽,技術我肯定是有問題的,而且我才大二,懂的東西又不多,只能盡力做到最好吧。
這時候就已經快三點了,我先把leader給的數據樣本搞下來,打開看了一眼,粘出來100條,心想這東西應該是要用正則來匹配了,這個先不著急寫。當務之急是先補補技術短板,于是打開了spark官網,開始看文檔,順便把環境在本機上配置了,以便自己調試用。
一個下午過得很快,對我來說也就是只能配個生產環境,沒辦法誰讓我這么弱…
由于spark需要hadoop的支持,所以配置前還需要配hadoop(我發現我的ubuntu里java沒有配…),貢獻一下腳本吧(hadoop的腳本是之前的,寫博客太重要辣!)。
1 ###ubuntu 14.04 LTS 2 3 ##make hadoop account 4 sudo addgroup hadoop #make a group named hadoop 5 sudo adduser -ingroup hadoop hadoop #add an user named hadoop 6 sudo vi /etc/sudoers #add hadoop into sudoers(hadoop=root) 7 8 ##change your account 9 sudo su hadoop 10 11 ##install ssh 12 sudo apt-get install openssh-server #install openssh-server 13 sudo /etc/init.d/ssh start #start ssh server 14 ps -e | grep ssh #check whether ssh is started or not 15 16 ##log in without password 17 ssh-keygen -t rsa -P "" #log in without password generate rsa & rsa.pub 18 cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys #add authorized_keys to realize 'log in without password' 19 ssh localhost #check 20 exit #check 21 22 ##install java environment 23 sudo apt-get install openjdk-7-jdk #install jdk 24 java -version #check whether java is installed or not 25 26 ##get & install hadoop 2.6.0 (under user : hadoop) 27 cd ~ 28 mkdir hadoop 29 30 sudo wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.6.0/hadoop-2.6.0.tar.gz #get hadoop2.6.0 31 sudo tar xzf hadoop-2.6.0.tar.gz #unzip the hadoop-*.*.*.tar.gz 32 sudo rm hadoop-2.6.0.tar.gz #remove the zip 33 sudo mv hadoop-2.6.0 /usr/local/ #install hadoop at local 34 sudo chmod 774 /usr/local/hadoop #granted permissions to users (r&w) 35 36 ##configure ~/.bashrc 37 update-alternatives --config java #get java's path (stared one. such as '/usr/lib/jvm/java-7-openjdk-amd64/jre/bin/java'. but we just need '/usr/lib/jvm/java-7-openjdk-amd64' this shorter path to set up JAVA_HOME environment variables) 38 sudo vi ~/.bashrc #edit bashrc file 39 40 ##add the content below to the end of bashrc 41 #--------------------------------------------------------------# 42 43 #HADOOP VARIABLES START 44 export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64 45 export HADOOP_INSTALL=/usr/local/hadoop-2.6.0 46 export PATH=$PATH:$HADOOP_INSTALL/bin 47 export PATH=$PATH:$HADOOP_INSTALL/sbin 48 export HADOOP_MAPRED_HOME=$HADOOP_INSTALL 49 export HADOOP_COMMON_HOME=$HADOOP_INSTALL 50 export HADOOP_HDFS_HOME=$HADOOP_INSTALL 51 export YARN_HOME=$HADOOP_INSTALL 52 export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_INSTALL/lib/native 53 export HADOOP_OPTS="-Djava.library.path=$HADOOP_INSTALL/lib" 54 #HADOOP VARIABLES END 55 56 #--------------------------------------------------------------# 57 source ~/.bashrc #make the environment variables come into effect 58 59 ##configure hadoop 60 sudo vi /usr/local/hadoop-2.6.0/etc/hadoop/hadoop-env.sh #edit hadoop-env.sh 61 ?JAVA_HOME #(in vim) locate JAVA_HOME 62 #change 'export JAVA_HOME=${JAVA_HOME}' into 'export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64' 63 source /usr/local/hadoop-2.6.0/etc/hadoop/hadoop-env.sh #update 64 65 ##input 66 cd /usr/local/hadoop-2.6.0/ #go there 67 sudo mkdir input 68 sudo cp README.txt input 69 bin/hadoop jar share/hadoop/mapreduce/sources/hadoop-mapreduce-examples-2.6.0-sources.jar org.apache.hadoop.examples.WordCount input output Hadoop configure script 1 ### install scala 2 cd scala 3 wget http://www.scala-lang.org/files/archive/scala-2.10.4.tgz 4 tar -zxvf scala-2.10.4.tgz 5 rm scala-2.10.4.tgz 6 sudo mkdir /usr/local/scala 7 mv scala-2.10.4 /usr/local/scala 8 9 sudo vi ~/.bashrc 10 #-------------------------------------# 11 export SCALA_HOME=/usr/local/scala/scala-2.10.4 12 export PATH=${JAVA_HOME}/bin:${HADOOP_HOME}/bin:${SCALA_HOME}/bin:$PATH 13 #-------------------------------------# 14 15 ### install spark 16 mkdir spark 17 cd spark 18 wget http://mirrors.tuna.tsinghua.edu.cn/apache/spark/spark-1.6.2/spark-1.6.2-bin-hadoop2.6.tgz 19 tar -zxvf spark-1.6.2-bin-hadoop2.6.tgz 20 rm spark-1.6.2-bin-hadoop2.6.tgz # cd spark-1.6.2-bin-hadoop2.6 21 sudo mkdir /usr/local/spark 22 sudo mv spark-1.6.2-bin-hadoop2.6 /usr/local/spark 23 24 sudo vi ~/.bashrc 25 #-------------------------------------# 26 export SPARK_HOME=/usr/local/spark/spark-1.6.2-bin-hadoop2.6 27 export PATH=${JAVA_HOME}/bin:${HADOOP_HOME}/bin:${SCALA_HOME}/bin:${SPARK_HOME}/bin:$PATH 28 #-------------------------------------# 29 30 cd /usr/local/spark/spark-1.6.2-bin-hadoop2.6/conf 31 cp spark-env.sh.template spark-env.sh 32 vi spark-env.sh 33 #-------------------------------------# 34 export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64 35 export SCALA_HOME=/usr/local/scala/scala-2.10.4 36 export SPARK_MASTER_IP=Kirai 37 export SPARK_WORKER_CORES=2 38 export SPARK_WORKER_MEMORY=1g 39 export HADOOP_CONF_DIR=/usr/local/hadoop-2.6.0/etc/hadoop/ 40 #-------------------------------------# 41 42 cp slaves.template slaves 43 vi slaves 44 #-------------------------------------# 45 # localhost --> Kirai 46 #-------------------------------------# 47 48 49 #------------------Test------------------# 50 cd /usr/local/spark/spark-1.6.2-bin-hadoop2.6 51 ./start-all.sh 52 jps # look Master and Worker 53 spark-shell 54 #----------------------------------------# Spark configure script?
轉載于:https://www.cnblogs.com/kirai/p/5661628.html
總結
以上是生活随笔為你收集整理的[2016/7/11]白山云科技实习第一天的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: java毕业生设计预装箱式净水站可视化信
- 下一篇: premiere插件