shell運(yùn)行的時(shí)候增加ack命令

在提交spark任務(wù)的時(shí)候擔(dān)心寫錯(cuò)索引名（spark重建索引），所以增加了一個(gè)暫停機(jī)制，讓執(zhí)行者再check一下，可以使用下面的樣例來進(jìn)行

cat submit.sh set -e export JAVA_HOME=/test/jdk1.8.0_181 # // 設(shè)置jdk版本 export SPARK_HOME=/test/spark-2.0.1-bin-2.6.0-cdh5.15.0/ # //設(shè)置使用spark2 echo "-------------------------------------------------------------------------------------------------" echo "try to rebuild the talent index" echo "index can be: test_user_v2_r0 , test_user_v2_r1" echo "-------------------------------------------------------------------------------------------------"WRITE_INDEX=$1 echo "indexer to rebuild : $WRITE_INDEX"if [ -z $WRITE_INDEX ]thenecho "you need set the index"exit 1firead -r -p "Are You Sure? [Y/n] " inputcase $input in[yY][eE][sS]|[yY])echo "Yes, will continue";;[nN][oO]|[nN])echo "No, will exit"exit 1;; esacecho " try submit task"nohup spark-submit --deploy-mode client --master yarn --class com.test.search.test.task.RebuildStarter \ --driver-memory 2G \ --num-executors 80 \ --queue algo \ --conf spark.default.parallelism=80 \ --executor-cores 4 \ --executor-memory 16G \ --conf "spark.yarn.appMasterEnv.JAVA_HOME=/test/jdk1.8.0_181" \ --conf "spark.executorEnv.JAVA_HOME=/test/jdk1.8.0_181" \ --conf "spark.yarn.executor.memoryOverhead=2048" \ --conf application.submit.user=test@test.com \ test-profile-dev-1.0-SNAPSHOT.jar \ $WRITE_INDEX > dev.temp.log 2>&1 &

主要的精華在這里，可以直接測(cè)試

read -r -p "Are You Sure? [Y/n] " inputcase $input in[yY][eE][sS]|[yY])echo "Yes, will continue";;[nN][oO]|[nN])echo "No, will exit"exit 1;; esac

總結(jié)

以上是生活随笔為你收集整理的spark submit 运行的时候增加ack命令的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。