今天實習第一天，還是蠻激動的。一定要把握住這么好的機會，好好鍛煉一下自己。今天就寫一篇博客紀念一下吧。

　　因為第一天，我不敢遲到。昨晚HR告訴我今天要九點到。于是根據上次的單程時間（大概一個半小時），心想這次七點十分出發一定不會晚，而且在線路上我也是精心策劃過，上次公交坐到黑，這次公交加地鐵，地鐵各種倒，坐了有３條線的地鐵，兩頭還需要公交車連接，哎，學校公司兩邊都是太不方便啊。結果早上起晚了，七點多點兒才起來，嚇得我沒吃早飯就跑出去了…不過幸好，公司管三餐。

　　路上很熱也很擠，不過心情很激動，這是我人生中第一次去公司上班啊，在路上感慨了一下后，腦補了一道DP一個小時就過去了，比上次早了大概半個小時（竊喜。

　　到了公司給HR打電話，進去以后坐在一個高桌旁邊，最近廈門有人過來，所以工位少了，新定的幾套桌椅過幾天才會到，讓我先湊合一下（其實還有一個也坐在這兒）。被帶去吃早餐，早餐的時候遇到了一個從南郵來實習的朋友，聊著聊著就吃完了。吃完造餐復印身份證、銀行卡，錄完門禁指紋后默默坐下等九點開工…

　　結果一早上仍然不開工，都開始懷疑人生了。于是我看了一早上numpy的文檔，期間見到了組里第一個人，是個北郵的本碩，畢業來工作一年。聊了一會兒leader就來了，簡單自我介紹過后，他隨手給了我一個和碩士小哥一起寫一個網絡協議，我一想臥曹這跟我的路子不太符合啊，于是默默和小哥表達了自己的觀點，小哥支持我和leader聊一下，看看能不能換換。于是我抱著肯定可以換的心態繼續看我的numpy，順便把pycharm和idea搞下來了…結果等來了午飯，吃午飯的時候一桌四個人，另外的人都感慨我年紀小……

　　午休過后我和leader說了我的想法，問了一下是否有數據處理的工作需要做，他想了一下，告訴我還真有這么個需求。說是一組日志，記錄了balabala…問要統計top100，我弱弱地問了一下數據量，他說4TB（還是40TB來著）…那這肯定是要分布式框架了，可是我除了知道小黃象、星火這種名詞的拼寫以外，別的就不懂了啊，他還說這個東西簡單…哎不做這個就要去寫網絡協議，比起小哥做的那個，我還是覺得這個比較適合我…于是咬咬牙接下了。leader人還是不錯的，告訴我選擇自己喜歡的會提高效率。我問這個有沒有工期限制。他講沒有，做不出來也沒關系，不過要盡力做。我聽到這個就放心了，leader拍了拍我的肩膀我好好干吧（好狗血）。過了一會兒leader卻又過來跟我說，這不是搞科研，這東西還是要做成產品，我又開始慌了…隨后leader扔給我了一個1GB的小樣本…

　　這咋辦啊，我以前也就是本機配過個hadoop還是單機的，就跑了個wordcount以外別的啥都不會啊。然后這一下還給我整這么大的，我接受不了啊，哎…

　　一點一點來吧，我可是帶著覺悟來實習的，不是混子。況且招我的時候僅僅通過了一個比賽，技術我肯定是有問題的，而且我才大二，懂的東西又不多，只能盡力做到最好吧。

　　這時候就已經快三點了，我先把leader給的數據樣本搞下來，打開看了一眼，粘出來100條，心想這東西應該是要用正則來匹配了，這個先不著急寫。當務之急是先補補技術短板，于是打開了spark官網，開始看文檔，順便把環境在本機上配置了，以便自己調試用。

　　一個下午過得很快，對我來說也就是只能配個生產環境，沒辦法誰讓我這么弱…

　　由于spark需要hadoop的支持，所以配置前還需要配hadoop（我發現我的ubuntu里java沒有配…），貢獻一下腳本吧（hadoop的腳本是之前的，寫博客太重要辣！）。

1 ###ubuntu 14.04 LTS 2 3 ##make hadoop account 4 sudo addgroup hadoop #make a group named hadoop 5 sudo adduser -ingroup hadoop hadoop #add an user named hadoop 6 sudo vi /etc/sudoers #add hadoop into sudoers(hadoop=root) 7 8 ##change your account 9 sudo su hadoop 10 11 ##install ssh 12 sudo apt-get install openssh-server #install openssh-server 13 sudo /etc/init.d/ssh start #start ssh server 14 ps -e | grep ssh #check whether ssh is started or not 15 16 ##log in without password 17 ssh-keygen -t rsa -P "" #log in without password generate rsa & rsa.pub 18 cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys #add authorized_keys to realize 'log in without password' 19 ssh localhost #check 20 exit #check 21 22 ##install java environment 23 sudo apt-get install openjdk-7-jdk #install jdk 24 java -version #check whether java is installed or not 25 26 ##get & install hadoop 2.6.0 (under user : hadoop) 27 cd ~ 28 mkdir hadoop 29 30 sudo wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.6.0/hadoop-2.6.0.tar.gz #get hadoop2.6.0 31 sudo tar xzf hadoop-2.6.0.tar.gz #unzip the hadoop-*.*.*.tar.gz 32 sudo rm hadoop-2.6.0.tar.gz #remove the zip 33 sudo mv hadoop-2.6.0 /usr/local/ #install hadoop at local 34 sudo chmod 774 /usr/local/hadoop #granted permissions to users (r&w) 35 36 ##configure ~/.bashrc 37 update-alternatives --config java #get java's path (stared one. such as '/usr/lib/jvm/java-7-openjdk-amd64/jre/bin/java'. but we just need '/usr/lib/jvm/java-7-openjdk-amd64' this shorter path to set up JAVA_HOME environment variables) 38 sudo vi ~/.bashrc #edit bashrc file 39 40 ##add the content below to the end of bashrc 41 #--------------------------------------------------------------# 42 43 #HADOOP VARIABLES START 44 export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64 45 export HADOOP_INSTALL=/usr/local/hadoop-2.6.0 46 export PATH=$PATH:$HADOOP_INSTALL/bin 47 export PATH=$PATH:$HADOOP_INSTALL/sbin 48 export HADOOP_MAPRED_HOME=$HADOOP_INSTALL 49 export HADOOP_COMMON_HOME=$HADOOP_INSTALL 50 export HADOOP_HDFS_HOME=$HADOOP_INSTALL 51 export YARN_HOME=$HADOOP_INSTALL 52 export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_INSTALL/lib/native 53 export HADOOP_OPTS="-Djava.library.path=$HADOOP_INSTALL/lib" 54 #HADOOP VARIABLES END 55 56 #--------------------------------------------------------------# 57 source ~/.bashrc #make the environment variables come into effect 58 59 ##configure hadoop 60 sudo vi /usr/local/hadoop-2.6.0/etc/hadoop/hadoop-env.sh #edit hadoop-env.sh 61 ?JAVA_HOME #(in vim) locate JAVA_HOME 62 #change 'export JAVA_HOME=${JAVA_HOME}' into 'export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64' 63 source /usr/local/hadoop-2.6.0/etc/hadoop/hadoop-env.sh #update 64 65 ##input 66 cd /usr/local/hadoop-2.6.0/ #go there 67 sudo mkdir input 68 sudo cp README.txt input 69 bin/hadoop jar share/hadoop/mapreduce/sources/hadoop-mapreduce-examples-2.6.0-sources.jar org.apache.hadoop.examples.WordCount input output Hadoop configure script 1 ### install scala 2 cd scala 3 wget http://www.scala-lang.org/files/archive/scala-2.10.4.tgz 4 tar -zxvf scala-2.10.4.tgz 5 rm scala-2.10.4.tgz 6 sudo mkdir /usr/local/scala 7 mv scala-2.10.4 /usr/local/scala 8 9 sudo vi ~/.bashrc 10 #-------------------------------------# 11 export SCALA_HOME=/usr/local/scala/scala-2.10.4 12 export PATH=${JAVA_HOME}/bin:${HADOOP_HOME}/bin:${SCALA_HOME}/bin:$PATH 13 #-------------------------------------# 14 15 ### install spark 16 mkdir spark 17 cd spark 18 wget http://mirrors.tuna.tsinghua.edu.cn/apache/spark/spark-1.6.2/spark-1.6.2-bin-hadoop2.6.tgz 19 tar -zxvf spark-1.6.2-bin-hadoop2.6.tgz 20 rm spark-1.6.2-bin-hadoop2.6.tgz # cd spark-1.6.2-bin-hadoop2.6 21 sudo mkdir /usr/local/spark 22 sudo mv spark-1.6.2-bin-hadoop2.6 /usr/local/spark 23 24 sudo vi ~/.bashrc 25 #-------------------------------------# 26 export SPARK_HOME=/usr/local/spark/spark-1.6.2-bin-hadoop2.6 27 export PATH=${JAVA_HOME}/bin:${HADOOP_HOME}/bin:${SCALA_HOME}/bin:${SPARK_HOME}/bin:$PATH 28 #-------------------------------------# 29 30 cd /usr/local/spark/spark-1.6.2-bin-hadoop2.6/conf 31 cp spark-env.sh.template spark-env.sh 32 vi spark-env.sh 33 #-------------------------------------# 34 export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64 35 export SCALA_HOME=/usr/local/scala/scala-2.10.4 36 export SPARK_MASTER_IP=Kirai 37 export SPARK_WORKER_CORES=2 38 export SPARK_WORKER_MEMORY=1g 39 export HADOOP_CONF_DIR=/usr/local/hadoop-2.6.0/etc/hadoop/ 40 #-------------------------------------# 41 42 cp slaves.template slaves 43 vi slaves 44 #-------------------------------------# 45 # localhost --> Kirai 46 #-------------------------------------# 47 48 49 #------------------Test------------------# 50 cd /usr/local/spark/spark-1.6.2-bin-hadoop2.6 51 ./start-all.sh 52 jps # look Master and Worker 53 spark-shell 54 #----------------------------------------# Spark configure script

?

轉載于:https://www.cnblogs.com/kirai/p/5661628.html

總結

以上是生活随笔為你收集整理的[2016/7/11]白山云科技实习第一天的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。