日韩性视频-久久久蜜桃-www中文字幕-在线中文字幕av-亚洲欧美一区二区三区四区-撸久久-香蕉视频一区-久久无码精品丰满人妻-国产高潮av-激情福利社-日韩av网址大全-国产精品久久999-日本五十路在线-性欧美在线-久久99精品波多结衣一区-男女午夜免费视频-黑人极品ⅴideos精品欧美棵-人人妻人人澡人人爽精品欧美一区-日韩一区在线看-欧美a级在线免费观看

歡迎訪問 生活随笔!

生活随笔

當前位置: 首頁 > 编程资源 > 编程问答 >内容正文

编程问答

httpclient使用代理ip

發(fā)布時間:2023/12/16 编程问答 27 豆豆
生活随笔 收集整理的這篇文章主要介紹了 httpclient使用代理ip 小編覺得挺不錯的,現在分享給大家,幫大家做個參考.


在瀏覽一些網站的時候由于各種原因,無法進行訪問。?

頻繁訪問也可能導致ip被封鎖而導致無法訪問網站,這在我們爬取數據過程中經常遇到。

這時我們需要通過IE,FireFox進行Http的代理設置,?
當然httpClient也為我們提供這樣的設置 。

代理ip用很多種形式,可以找到一個可用Ip或者使用goagent,或者購買代理ip池。


那在httpclicent中要怎么樣運用呢。我們以goagent為例。


goagent打開后,只要通過127.0.0.1 端口8087來訪問 就可以了


httpclient的具體用法有兩種 ?post和get,具體使用方法可參考:

HTTPClient模塊的HttpGet和HttpPost


要調用代理,只需要增加以下代碼:

HttpHost proxy = new HttpHost("127.0.0.1",8087, null); httpclient.getParams().setParameter(ConnRouteParams.DEFAULT_PROXY, proxy);

如果代理需要用戶,密碼進行驗證?

httpClient.getCredentialsProvider().setCredentials(new AuthScope(proxyHost, proxyPort),new UsernamePasswordCredentials(userName, password));


完整例子:

public static void main(String args[]) {StringBuffer sb = new StringBuffer();//創(chuàng)建HttpClient實例HttpClient client = getHttpClient();//創(chuàng)建httpGetHttpGet httpGet = new HttpGet("http://www.csdn.net");//執(zhí)行try {HttpResponse response = client.execute(httpGet);HttpEntity entry = response.getEntity();if(entry != null){InputStreamReader is = new InputStreamReader(entry.getContent());BufferedReader br = new BufferedReader(is);String str = null;while((str = br.readLine()) != null){sb.append(str.trim());}br.close();}} catch (ClientProtocolException e) {// TODO Auto-generated catch blocke.printStackTrace();} catch (IOException e) {// TODO Auto-generated catch blocke.printStackTrace();}System.out.println(sb.toString()); }//設置代理public static HttpClient getHttpClient() {DefaultHttpClient httpClient = new DefaultHttpClient();String proxyHost = "proxycn2.huawei.com";int proxyPort = 8080;String userName = "china\\******";String password = "*******“httpClient.getCredentialsProvider().setCredentials(new AuthScope(proxyHost, proxyPort),new UsernamePasswordCredentials(userName, password));HttpHost proxy = new HttpHost(proxyHost,proxyPort);httpClient.getParams().setParameter(ConnRouteParams.DEFAULT_PROXY, proxy);return httpClient; }導入:commons-logging-1.1.jar,httpclient-4.0-beta2.jar ,httpcore-4.1-alpha1.jar 和 commons-codec-1.4.jar架包



總結

以上是生活随笔為你收集整理的httpclient使用代理ip的全部內容,希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯,歡迎將生活随笔推薦給好友。