如何更有效使用 Rational AppScan 扫描大型网站,第 2 部分: 案例分析
?使用 AppScan 進(jìn)行掃描
針對(duì)大型網(wǎng)站的掃描,我們按照戴明環(huán) PDCA 的方法論來進(jìn)行規(guī)劃和討論,建議 AppScan 使用步驟:計(jì)劃(Plan)、執(zhí)行(Do)、檢查(check)、分析(Analysis and Action)。
下面我們針對(duì)每個(gè)階段,進(jìn)行具體的闡述。
準(zhǔn)備階段
AppScan 安裝環(huán)境要求和檢查
為了保證更好的掃描效果,安裝 AppScan 的硬件建議配置如下:
表 1. Rational AppScan 安裝配置要求
?
| 處理器 | Pentium P4,2.4 GHz |
| 內(nèi)存 | 2 GB RAM |
| 磁盤空間 | 30 GB |
| 網(wǎng)絡(luò) | 1 NIC 100 Mbps(具有已配置的 TCP/IP 的網(wǎng)絡(luò)通信) |
?
其中,處理器和內(nèi)存建議越大越好,而磁盤空間,建議系統(tǒng)盤(一般是 C 盤)磁盤空間至少保留 10G,如果系統(tǒng)盤磁盤空間比較少,可以考慮把用戶文件等保存在其他盤;如默認(rèn)的用戶文件是:C:\Documents and Settings\Administrator\My Documents\AppScan;可以修改為其他路徑。該路徑可以在菜單欄中依次選擇工具 - 選項(xiàng) - 一般 - 文件位置部分修改。
圖 1. 設(shè)置文件保存路徑
?
?
磁盤要求:修改臨時(shí)文件路徑
有時(shí)候大家會(huì)發(fā)現(xiàn),已經(jīng)把上面的地址都修改到了其他盤,但是在掃描過程中,還是會(huì)發(fā)現(xiàn) C 盤的空間快速被消耗,分析原因,是因?yàn)?strong>很多臨時(shí)文件都保存在 C 盤,AppScan 中有一個(gè)隱藏的參數(shù) APPSCAN_TEMP 來設(shè)置臨時(shí)文件位置。在掃描過程中,如果系統(tǒng)盤空間比較下,可以通過修改系統(tǒng)變量來修改到其他硬盤空間。
臨時(shí)文件位置說明:描述正常操作期間 AppScan 將其臨時(shí)文件保存到的位置。缺省情況下,AppScan 將其臨時(shí)文件存儲(chǔ)在以下位置:
C:\Documents and Settings\All Users\Application Data\IBM\Rational AppScan\temp
如果需要修改此缺省位置,請(qǐng)按照要求編輯環(huán)境變量 APPSCAN_TEMP 的路徑。(訪問環(huán)境變量的方法是,右鍵單擊我的電腦,然后依次選擇屬性 > 高級(jí) > 環(huán)境變量。)
注意:在新位置的路徑中絕不能有任何 Unicode 字符。
修改 AppScan 中的臨時(shí)文件:
侵入式的測(cè)試用例,往往因?yàn)橛斜容^強(qiáng)的副作用,可能對(duì)系統(tǒng)造成傷害,所以一般掃描生產(chǎn)系統(tǒng)的時(shí)候,很少選擇。我們可以查看一個(gè) SQL 注入類型的侵入式安全問題,在“輸入以查找”輸入框中輸入“SQL”,然后回車查詢。可以看到測(cè)試變體的描述“將參數(shù)值設(shè)置為 Declare/Case SQL 注入***(嘗試關(guān)閉 DB 服務(wù)器)”,則掃描過程中,會(huì)使用該測(cè)試用例去執(zhí)行嘗試關(guān)閉數(shù)據(jù)庫的命令,如果該測(cè)試用例執(zhí)行通過,則就關(guān)閉了數(shù)據(jù)庫,則整個(gè)系統(tǒng)就癱瘓!所以,要很慎重的選擇“侵入式的測(cè)試用例”。
圖 3. 查詢測(cè)試策
略
其他的在“類型”中,“應(yīng)用程序”類型表示該問題的存在是因?yàn)閼?yīng)用程序不嚴(yán)謹(jǐn),代碼存在安全問題而造成的,修改方法就是修改原代碼;而“基礎(chǔ)結(jié)構(gòu)”類型,則表示該問題是配置問題,建議修改系統(tǒng)配置或者安裝最新的補(bǔ)丁(經(jīng)常是中間件或數(shù)據(jù)庫補(bǔ)丁)。
了解被測(cè)試網(wǎng)站
在對(duì)網(wǎng)站進(jìn)行測(cè)試之前,我們經(jīng)常需要先大概了解下這個(gè)網(wǎng)站,比如該網(wǎng)站使用了哪些技術(shù),提供什么類型的業(yè)務(wù)(功能),網(wǎng)站規(guī)模等。這些都和我們的掃描設(shè)置相關(guān)。如下圖,就是我們經(jīng)常使用的一個(gè)調(diào)查表,了解被測(cè)試系統(tǒng)的基本特點(diǎn)。
表 2. 記錄被測(cè)網(wǎng)站特點(diǎn)
?
| 應(yīng)用系統(tǒng)名稱 | 訪問地址 | 應(yīng)用系統(tǒng)架構(gòu)(JEE/.Net/PHP…) | URL 數(shù)量 | 登陸方式 | 備注 |
?
其中,用戶經(jīng)常迷惑的是 URL 數(shù)量,有些時(shí)候,用戶很難評(píng)估出一個(gè)系統(tǒng)的大概頁面數(shù)量,而按照 AppScan 的工作原理,掃描是針對(duì)頁面的每個(gè)參數(shù)的,如果頁面越多,參數(shù)越多,則掃描要運(yùn)行的時(shí)間也就越長(zhǎng),掃描保存成的接過文件也是越大,更需要進(jìn)行分解。如果一個(gè)掃描任務(wù),本身的已訪問 URL 數(shù)超過 5000,評(píng)估的要運(yùn)行的安全測(cè)試用例數(shù)超過 50,000,則建議進(jìn)行掃描配置的分析,并根據(jù)分析結(jié)果,決定是否需要進(jìn)一步的任務(wù)分解和分工。
那么,如果可以了解到網(wǎng)站具體有哪些頁面呢?這里我們就可以利用 AppScan 的探索(頁面爬行)能力。
在掃描配置里面設(shè)置了主 URL 以后,工作菜單中中依次選擇掃描 - 僅探索。對(duì)網(wǎng)站進(jìn)行探索。一般會(huì)讓探索工具運(yùn)行 10 到 30 分鐘,看該網(wǎng)站具體存在哪些頁面,哪些參數(shù)等。這個(gè)就可以切換到“應(yīng)用程序數(shù)據(jù)”視圖來查看。
我們一般關(guān)心這幾個(gè)視圖:
- 已訪問的 URL():AppScan 已經(jīng)探索到并且進(jìn)行了分析的頁面
- 已過濾掉的 URL():AppScan 已經(jīng)發(fā)現(xiàn),同時(shí)根據(jù)掃描配置,認(rèn)為不需要進(jìn)行安全掃描的頁面。
- 中斷鏈接 URL():AppScan 發(fā)現(xiàn)了,但是無法訪問到或者訪問出錯(cuò)的頁面,如 404 頁面不存在,或者 500 服務(wù)器錯(cuò)誤等。
偽靜態(tài)頁面
可以選擇左邊“我的應(yīng)用程序數(shù)據(jù)”中的 URL 樹下的每一個(gè)節(jié)點(diǎn),察看該節(jié)點(diǎn)已訪問的 URL,已過濾掉的 URL 等。
如在已訪問的 URL() 中,我們發(fā)現(xiàn)大量類似如下結(jié)構(gòu)的 HTML 頁面:?
| http://www.Test.com//focus/satisfy/file5.html http://www.Test.com//focus/satisfy/file6.html http://www.Test.com/m-zone/news/dgdd/quanbu/bylb/file5.html |
排除所有該類型的頁面;.*file\d+.html
增加“例外”,對(duì)該類型的頁面只掃描 file1.html 和 file20.html
經(jīng)常存在的其他類似頁面,還有 news1.html、content200.html 等類型,采用方法類似。
業(yè)務(wù)類型的“冗余路徑”
和“偽靜態(tài)頁面”對(duì)應(yīng)的有另外一種動(dòng)態(tài)頁面,這些頁面按照默認(rèn)的掃描規(guī)則,會(huì)被自動(dòng)過濾,但是根據(jù)真實(shí)的業(yè)務(wù)場(chǎng)景,這些頁面確實(shí)不能被過濾的,如訪問 demo.testfire.net 時(shí)候在“已過濾 URL”內(nèi)會(huì)顯示有如下的 URL 地址,過濾原因都是“路徑限制”:?
| http://www.Test.com/default.aspx?content=inside_community.htm http://www.Test.com/default.aspx?content=inside_press.htmhttp://www.Test.com/default.aspx?content=inside_executives.htm |
在 AppScan 中,默認(rèn)情況下是有一個(gè)“冗余路徑限制”(在“掃描配置 - 探索選型 - 冗余路徑限制”),默認(rèn)對(duì)于冗余的頁面,最多掃描 5 次,關(guān)鍵的問題是,什么頁面被被 Appscan 認(rèn)為是冗余頁面呢 ?
圖 4. 冗余路徑設(shè)置
?
?
簡(jiǎn)單說:?
| http://www.Test.com/default.aspx?content=inside_community.htm http://www.Test.com/default.aspx?content=inside_press.htm |
遇到這樣情況的頁面,最多被訪問 5 次。而這 5 次,具體是使用了哪些參數(shù),是隨機(jī)的,具體訪問到的頁面也會(huì)在“應(yīng)用程序數(shù)據(jù)”視圖的“已訪問的 URL”中查看:?
| http://www.Test.com/default.aspx?content=business.htm http://www.Test.com/default.aspx?content=business_lending.htm http://www.Test.com/default.aspx?content=inside_contact.htm |
這些情況經(jīng)常存在于跳轉(zhuǎn)參數(shù)等情況。
順便備注下,“冗余路徑限制”,功能設(shè)置的目的是為了處理類似論壇 BBS 等頁面,只有文本內(nèi)容不同,頁面架構(gòu)完全相同的頁面:如?
| http://www.Test.com/showthread.php?id=1 http://www.Test.com/showthread.php?id=2 http://www.Test.com/showthread.php?id=3 |
分析重復(fù)的“腳本參數(shù)”
在上面的步驟中,分析了“偽靜態(tài)頁面”,對(duì)其應(yīng)該通過“排除路徑或者文件名”的方法設(shè)置排除規(guī)則;而對(duì)于“業(yè)務(wù)類型的冗余路徑”,則需要通過增加“冗余路徑顯示”個(gè)數(shù)等的方法進(jìn)行擴(kuò)充,以掃描到這些 URL。我們?cè)谶@個(gè)步驟來分析另外一種參數(shù),腳本參數(shù)。
在“我的應(yīng)用程序數(shù)據(jù)”樹狀結(jié)構(gòu)下,鼠標(biāo)選擇目錄以后,在右邊視圖中選擇“腳本參數(shù)”,然后查看是否存在不同頁面(URL) 存在相同或者類似參數(shù)的情況:如下圖,在不同 URL 中,都存在 kbKey 參數(shù),默認(rèn)的參數(shù)值是“請(qǐng)輸入您要搜索的問題”:
圖 5. 腳本參數(shù)
?
?
訪問這些 URL,發(fā)現(xiàn)每個(gè)頁面內(nèi)都包含了一個(gè)搜索功能,這就是為什么在不同頁面都發(fā)現(xiàn)了該參數(shù)。而從業(yè)務(wù)角度,這些搜索頁面在一個(gè) URL 中進(jìn)行測(cè)試以后,沒有必要在另外一個(gè)頁面也進(jìn)行測(cè)試。而且該參數(shù)值的變化,可以認(rèn)為是冗余頁面,沒有必要進(jìn)行下一步的重新探索和測(cè)試。這可以通過上圖中,選擇該參數(shù)后,鼠標(biāo)右鍵,選擇“添加到‘參數(shù)和 Cookie’選項(xiàng)卡中的列表”來實(shí)現(xiàn)。選擇后彈出下面的頁面:
圖表 6 添加參數(shù)定義(根據(jù)參數(shù)來設(shè)置冗余路徑)
?
?
在該頁面中,點(diǎn)擊“其他選項(xiàng)-冗余調(diào)整”,取消選擇任何一個(gè)選擇框,則表示無論是否含有該參數(shù),無論該參數(shù)值是否發(fā)生變化,都不認(rèn)為是新頁面,沒有必要重新測(cè)試,而且不應(yīng)該因?yàn)樵搮?shù)的變化去影響其他參數(shù)的測(cè)試。
我們知道,AppScan 中的測(cè)試,是針對(duì)頁面的每個(gè)參數(shù)進(jìn)行的,而且一個(gè)參數(shù)值的變化會(huì)要求重新測(cè)試其他的參數(shù),所以該設(shè)置,可以大大減少測(cè)試用例數(shù)。
關(guān)于更多的設(shè)置說明,可以參照下面的解釋:
表 3. 設(shè)置說明
?
?
?
查看每個(gè)目錄頁面?zhèn)€數(shù)
如果一個(gè)掃描任務(wù),本身的已訪問 URL 數(shù)超過 5000,評(píng)估的要運(yùn)行的安全測(cè)試用例數(shù)超過 20,000,則建議進(jìn)行掃描配置的分析,并根據(jù)分析結(jié)果,決定是否需要進(jìn)一步的任務(wù)分解和分工。
我們?cè)凇?strong>我的應(yīng)用程序數(shù)據(jù)”樹狀結(jié)構(gòu)下,鼠標(biāo)選擇目錄以后,在右邊視圖中選擇“已訪問的 URL()”,記錄 URL 數(shù)目,如果該目錄 URL 數(shù)目比較大(超過 500)則可以考慮為該目錄單獨(dú)建立一個(gè)掃描任務(wù),只掃描該目錄下面的鏈接。
?
執(zhí)行階段
根據(jù)在“計(jì)劃階段”確定的掃描策略,和進(jìn)行的掃描設(shè)置,重新進(jìn)行探索(掃描菜單依次選擇:重新掃描 - 重新探索);后繼續(xù)分析頁面數(shù)和測(cè)試用例數(shù)目,如果控制頁面數(shù) 5000 個(gè)以內(nèi),測(cè)試用例數(shù) 20,000 個(gè)以內(nèi),則可以直接進(jìn)行掃描;如果沒有,建議繼續(xù)分析,優(yōu)化掃描配置。
分階段測(cè)試
AppScan 的掃描過程分為“探索”和“測(cè)試”兩個(gè)階段,默認(rèn)情況下,使用的是完全掃描模式,即是邊探索邊測(cè)試的。如果網(wǎng)站比較大,建議考慮先探索后測(cè)試的模式。
如當(dāng) URL 達(dá)到 5000,需要進(jìn)行的測(cè)試達(dá)到 50000 的時(shí)候,可以暫停掃描,手工停止探索,選擇“繼續(xù)僅測(cè)試”。對(duì)已經(jīng)發(fā)現(xiàn)和分析的頁面進(jìn)行測(cè)試,測(cè)試完畢,再來選擇“繼續(xù)僅探索”,即:
繼續(xù)僅探索 --- 繼續(xù)僅測(cè)試—繼續(xù)僅探索 - 僅測(cè)試的一個(gè)循環(huán)過程。
在這個(gè)過程,一個(gè)階段結(jié)束以后,建議查看下 .Scan 文件的大小,如果大小超過了 500M,則建議考慮任務(wù)分解,可以根據(jù)目錄把一個(gè)掃描任務(wù)分解為多個(gè),或者根據(jù)掃描策略來進(jìn)行分解。
該方法是利用了 AppScan 掃描過程中,探索測(cè)試可以分離,而且支持掃描過程中斷后繼續(xù)掃描的特性。
按照業(yè)務(wù)分解掃描任務(wù)
在實(shí)際工作中,我們掃描的一個(gè)大型網(wǎng)站,往往包含多個(gè)頻道,而每個(gè)頻道可能需要的掃描配置都不同,這些配置甚至互相沖突。如一個(gè)網(wǎng)站的提供了 BBS 論壇功能:
?
| http://www.Test.com/WWW.TEST.COM/showthread?channel=1&thread=1001 http://www.Test.com/WWW.TEST.COM/showthread?channel=30&thread=2001 |
?
對(duì)于這樣的頁面,訪問后發(fā)現(xiàn)頁面結(jié)構(gòu)相同,只是文本內(nèi)容不同,則應(yīng)該使用“冗余路徑限制”參數(shù),控制掃描次數(shù),沒有必要多次掃描。
同時(shí),該網(wǎng)站的一個(gè)服務(wù)頻道存在如下的頁面:
?
| http://www.Test.com/default.aspx?content=inside_executives.htm http://www.Test.com/default.aspx?content=privacy.htm |
?
即上面提到的業(yè)務(wù)類型的“冗余路徑”,應(yīng)該多次掃描,配置上要求增大“冗余路徑限制”參數(shù)。
在這種情況下,就很有必要根據(jù)業(yè)務(wù)分別建立掃描任務(wù),每個(gè)任務(wù)采用不同的掃描配置。
?
檢查階段
在掃描執(zhí)行過程中,需要檢查,看是否存在下面的情況:
案例分析
工作中遇到一個(gè)案例,使用 AppScan 掃描掃描了 3*24 小時(shí),掃描的 scan 文件已經(jīng)達(dá)到 9G;掃描還在持續(xù)進(jìn)行中,總體進(jìn)度完成了 30%,可以想象掃描速度已經(jīng)很緩慢,還需要多長(zhǎng)時(shí)間才可以完成掃描?掃描完成以后如此大的結(jié)果文件是否可以成功打開和修改保存 ?
按照我的經(jīng)驗(yàn),如果掃描結(jié)果文件大于 1G,那就很有必要立即停止掃描,進(jìn)行配置分析。我們的分析過程如下:
| http://www.Test.com//focus/satisfy/file5.html http://www.Test.com//focus/satisfy/file6.html |
在掃描配置 - 排除路徑和文件中:
排除所有該類型的頁面;.*file\d+.html
增加“例外”,對(duì)該類型的頁面只掃描 file1.html 和 file20.html
| http://www.Test.com/service |
目錄下存在大量如下類型的頁面,都是 menu 參數(shù)值不同,訪問以后發(fā)現(xiàn)出現(xiàn)的是頁面中有不同的超鏈接:
| http://www.Test.com/service/Business.do?menu=Query http://www.Test.com/service/Business.do?menu=Open http://www.Test.com/service/Business.do?menu=Service |
確認(rèn)該頁面是業(yè)務(wù)類型的“冗余路徑”,應(yīng)該全面掃描,則需要把“冗余路徑設(shè)置”調(diào)整為比較大的參數(shù),同時(shí)該頻道是網(wǎng)上營(yíng)業(yè)廳頻道,也要求用戶先登錄。所以針對(duì)該目錄建立一個(gè)單獨(dú)的掃描任務(wù),只掃描該目錄和其下子目錄。
| http://www.Test.com//rdwd/jfmz/jifen/index.html http://www.Test.com//rdwd/txl/rdwdznyd/index.html&kbKey= 請(qǐng)輸入您要搜索的問題 http://www.Test.com//rdwd/jfmz/jifen/index.html?queryType=common&applyArea=010 http://www.Test.com//rdwd/txl/rdwdznyd/index.html?queryType=common&applyArea=010 &kbKey= 請(qǐng)輸入您要搜索的問題 |
訪問上面的頁面,發(fā)現(xiàn)內(nèi)容相同,則說明是否帶這三個(gè)參數(shù)不會(huì)影響探索發(fā)現(xiàn)更多的頁面,則可以設(shè)置這三個(gè)參數(shù)每次是否出現(xiàn),是否有不同值都可以認(rèn)為是同一個(gè)頁面。
設(shè)置方法:掃描配置中依次選擇“參數(shù)和 Cookie”來實(shí)現(xiàn)。然后增加 queryType,applyArea,kbKey 三個(gè)參數(shù),均設(shè)置為“是否有參數(shù)”、“參數(shù)是否變化”不影響測(cè)試的模式。
?
總結(jié)
AppScan 作為一種自動(dòng)化的掃描設(shè)置工具,我們了解其工作原理后,需要根據(jù)被測(cè)系統(tǒng)的業(yè)務(wù)特點(diǎn)和網(wǎng)站結(jié)構(gòu)特點(diǎn),優(yōu)化配置,從而可以快速的針對(duì)性掃描。
常用的設(shè)置是可以利用其“探索”功能,快速得到結(jié)構(gòu),然后分析是否存在“偽靜態(tài)頁面”,業(yè)務(wù)上的“冗余路徑”頁面,“參數(shù)重復(fù)”頁面等,在掃描配置中對(duì)應(yīng)設(shè)置。
同時(shí),如果設(shè)置后網(wǎng)站規(guī)模還是比較大,則可以根據(jù)業(yè)務(wù)分解為多個(gè)掃描任務(wù),從而分而攻之,快速掃描,并結(jié)合企業(yè)版等工具,綜合匯總分析.
總結(jié)
以上是生活随笔為你收集整理的如何更有效使用 Rational AppScan 扫描大型网站,第 2 部分: 案例分析的全部?jī)?nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 什么是recovery time和rem
- 下一篇: loadView与viewDidLoad