原文

https://blog.satikey.com/p/5759/how-java-calls-and-executes-shell-scripts-and-summary.html

主題?Shell?Java

背景

我們在開發過程中，大部分是java開發， 而在文本處理過程中，主要就是腳本進行開發。 java開發的特點就是我們可以很早地進行TDDL， METAQ 等等地對接； 而腳本開發的特點就是在進行批處理的時候非常方便。 前陣子我遇到這么一個需求場景： 對抓取的數據進行打包， 后來又遇到我要通過腳本進行抓取，比如nodejs下基于phantomjs的casperjs爬蟲。

解決方法

對于第一個問題：java抓取，并且把結果打包。那么比較直接的做法就是，java接收各種消息（db，metaq等等），然后借助于jstorm集群進行調度和抓取。 最后把抓取的結果保存到一個文件中，并且通過調用shell打包， 回傳。 也許有同學會問， 為什么不直接把java調用odps直接保存文件，答案是，我們的集群不是hz集群，直接上傳odps速度很有問題，因此先打包比較合適。（這里不糾結設計了，我們回到正題）

java調用shell的方法

通過ProcessBuilder進行調度

這種方法比較直觀，而且參數的設置也比較方便， 比如我在實踐中的代碼(我隱藏了部分業務代碼)：

ProcessBuilderpb = new ProcessBuilder("./" + RUNNING_SHELL_FILE, param1,param2, param3);pb.directory(new File(SHELL_FILE_DIR));int runningStatus = 0;String s = null;try {Process p = pb.start();try {runningStatus = p.waitFor();} catch (InterruptedException e) {}} catch (IOException e) {}if (runningStatus != 0) {}return; new ProcessBuilder("./" + RUNNING_SHELL_FILE, param1,param2, param3);pb.directory(new File(SHELL_FILE_DIR));int runningStatus = 0;String s = null;try {Process p = pb.start();try {runningStatus = p.waitFor();} catch (InterruptedException e) {}} catch (IOException e) {}if (runningStatus != 0) {}return;

這里有必要解釋一下幾個參數：

RUNNING_SHELL_FILE：要運行的腳本

SHELL_FILE_DIR：要運行的腳本所在的目錄； 當然你也可以把要運行的腳本寫成全路徑。

runningStatus：運行狀態，0標識正常。 詳細可以看java文檔。

param1, param2, param3：可以在RUNNING_SHELL_FILE腳本中直接通過1,2,$3分別拿到的參數。

直接通過系統Runtime執行shell

這個方法比較暴力，也比較常用， 代碼如下：

p = Runtime.getRuntime().exec(SHELL_FILE_DIR + RUNNING_SHELL_FILE + " "+param1+" "+param2+" "+param3); p.waitFor(); " "+param1+" "+param2+" "+param3); p.waitFor();

我們發現，通過Runtime的方式并沒有builder那么方便，特別是參數方面，必須自己加空格分開，因為exec會把整個字符串作為shell運行。

可能存在的問題以及解決方法

如果你覺得通過上面就能滿足你的需求，那么可能是要碰壁了。你會遇到以下情況。

沒權限運行

這個情況我們團隊的朱東方就遇到了， 在做DTS遷移的過程中，要執行包里面的shell腳本， 解壓出來了之后，發現執行不了。 那么就按照上面的方法授權吧

java進行一直等待shell返回

這個問題估計更加經常遇到。 原因是， shell腳本中有echo或者print輸出， 導致緩沖區被用完了! 為了避免這種情況， 一定要把緩沖區讀一下， 好處就是，可以對shell的具體運行狀態進行log出來。 比如上面我的例子中我會變成：

ProcessBuilderpb = new ProcessBuilder("./" + RUNNING_SHELL_FILE, keyword.trim(),taskId.toString(), fileName);pb.directory(new File(CASPERJS_FILE_DIR));int runningStatus = 0;String s = null;try {Process p = pb.start();BufferedReaderstdInput = new BufferedReader(new InputStreamReader(p.getInputStream()));BufferedReaderstdError = new BufferedReader(new InputStreamReader(p.getErrorStream()));while ((s = stdInput.readLine()) != null) {LOG.error(s);}while ((s = stdError.readLine()) != null) {LOG.error(s);}try {runningStatus = p.waitFor();} catch (InterruptedException e) {} new ProcessBuilder("./" + RUNNING_SHELL_FILE, keyword.trim(),taskId.toString(), fileName);pb.directory(new File(CASPERJS_FILE_DIR));int runningStatus = 0;String s = null;try {Process p = pb.start();BufferedReaderstdInput = new BufferedReader(new InputStreamReader(p.getInputStream()));BufferedReaderstdError = new BufferedReader(new InputStreamReader(p.getErrorStream()));while ((s = stdInput.readLine()) != null) {LOG.error(s);}while ((s = stdError.readLine()) != null) {LOG.error(s);}try {runningStatus = p.waitFor();} catch (InterruptedException e) {}

記得在start()之后， waitFor（）之前把緩沖區讀出來打log， 就可以看到你的shell為什么會沒有按照預期運行。 這個還有一個好處是，可以讀shell里面輸出的結果， 方便java代碼進一步操作。

也許你還會遇到這個問題，明明手工可以運行的命令，java調用的shell中某一些命令居然不能執行，報錯：命令不存在！

比如我在使用casperjs的時候，手工去執行shell明明是可以執行的，但是java調用的時候，發現總是出錯。 通過讀取緩沖區就能發現錯誤日志了。 我發現即便自己把安裝的casperjs的bin已經加入了path中（/etc/profile, 各種bashrc中）還不夠。 比如：

exportNODE_HOME="/home/admin/node" exportCASPERJS_HOME="/home/admin/casperjs" exportPHANTOMJS_HOME="/home/admin/phantomjs" exportPATH=$PATH:$JAVA_HOME/bin:/root/bin:$NODE_HOME/bin:$CASPERJS_HOME/bin:$PHANTOMJS_HOME/bin ="/home/admin/node" exportCASPERJS_HOME="/home/admin/casperjs" exportPHANTOMJS_HOME="/home/admin/phantomjs" exportPATH=$PATH:$JAVA_HOME/bin:/root/bin:$NODE_HOME/bin:$CASPERJS_HOME/bin:$PHANTOMJS_HOME/bin

原來是因為java在調用shell的時候，默認用的是系統的/bin/下的指令。特別是你用root權限運行的時候。 這時候，你要在/bin下加軟鏈了。針對我上面的例子，就要在/bin下加軟鏈：

ln -s /home/admin/casperjs/bin/casperjscasperjs; ln -s /home/admin/node/bin/nodenode; ln -s /home/admin/phantomjs/bin/phantomjsphantomjs; /home/admin/casperjs/bin/casperjscasperjs; ln -s /home/admin/node/bin/nodenode; ln -s /home/admin/phantomjs/bin/phantomjsphantomjs;

這樣，問題就可以解決了。

如果是通過java調用shell進行打包，那么要注意路徑的問題了

因為shell里面tar的壓縮和解壓可不能直接寫：

tar -zcf /home/admin/data/result.tar.gz /home/admin/data/result

直接給你報錯，因為tar的壓縮源必須到路徑下面， 因此可以寫成

tar -zcf /home/admin/data/result.tar.gz -C /home/admin/data/ result

如果我的shell是在jar包中怎么辦？

答案是：解壓出來。再按照上面指示進行操作。（1）找到路徑

String jarPath = findClassJarPath(ClassLoaderUtil.class);JarFiletopLevelJarFile = null;try {topLevelJarFile = new JarFile(jarPath);Enumeration<JarEntry> entries = topLevelJarFile.entries();while (entries.hasMoreElements()) {JarEntryentry = entries.nextElement();if (!entry.isDirectory() && entry.getName().endsWith(".sh")) {對你的shell文件進行處理}} jarPath = findClassJarPath(ClassLoaderUtil.class);JarFiletopLevelJarFile = null;try {topLevelJarFile = new JarFile(jarPath);Enumeration<JarEntry> entries = topLevelJarFile.entries();while (entries.hasMoreElements()) {JarEntryentry = entries.nextElement();if (!entry.isDirectory() && entry.getName().endsWith(".sh")) {對你的shell文件進行處理}}

對文件處理的方法就簡單了，直接touch一個臨時文件，然后把數據流寫入，代碼：

FileUtils.touch(tempjline); tempjline.deleteOnExit(); FileOutputStreamfos = new FileOutputStream(tempjline); IOUtils.copy(ClassLoaderUtil.class.getResourceAsStream(r), fos); fos.close(); new FileOutputStream(tempjline); IOUtils.copy(ClassLoaderUtil.class.getResourceAsStream(r), fos); fos.close();

有這個這個東東，相信大家會減少踩坑，而且大膽地使用java和腳本之間的交互吧。 java可以調用shell，那么shell再調用其他就方便了。 記得一點， 不要過度地依賴緩沖區進行線程之間的通信。原因自己去學習吧。

via:?https://yq.aliyun.com/articles/2362

?

學習地址：https://www.tuicool.com/articles/quIVvaB

總結

以上是生活随笔為你收集整理的怎么通过java去调用并执行shell脚本以及问题总结的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。