免费代理,如西刺代理、快代理等代理网站公布的代理地址,常常存在几个问题:
  1. 存在反扒措施,如限制爬虫频率、存在并发数限制、封IP等;
  2. 免费代理存在时效性,无法长时间使用。

  目前获得稳定性能的最佳途径就是购买代理服务资源,通过代理服务商给出的IP:Port,UserName:Password来访问代理服务器,从而获得良好的代理体验。

  本文简单介绍,使用代理服务器的几种方式。

CURL访问

使用curl访问代理资源的方法如下所示。

curl -x username:passwd@agentIP:agentPort URL

这样可以通过代理服务器访问到相应的网络资源。注:通常,-X标识请求方法。

Java设置系统变量方法

使用Java通过代理服务器来访问资源,通常可以如下设置:

System.setProperty("http.proxyHost","Proxy Server");
System.setProperty("http.proxyPort","Proxy port");
System.setProperty("http.proxyUser","User");
System.setProperty("http.proxyPassword","password");

通过设置系统变量的方法来设置代理服务器的地址、端口,以及用户名、密码等变量。

Java使用授权方式

// 授权密码
Authenticator.setDefault(new BasicAuthenticator(proxy_user,proxy_pass));
Proxy proxy = new java.net.Proxy(java.net.Proxy.Type.HTTP,new InetSocketAddress(proxy_ip,proxy_port));

通过Java类实现动态授权,设置代理参数。