免费代理,如西刺代理、快代理等代理网站公布的代理地址,常常存在几个问题:
1. 存在反扒措施,如限制爬虫频率、存在并发数限制、封IP等;
2. 免费代理存在时效性,无法长时间使用。
目前获得稳定性能的最佳途径就是购买代理服务资源,通过代理服务商给出的IP:Port,UserName:Password来访问代理服务器,从而获得良好的代理体验。
本文简单介绍,使用代理服务器的几种方式。
CURL访问
使用curl访问代理资源的方法如下所示。
curl -x username:passwd@agentIP:agentPort URL
这样可以通过代理服务器访问到相应的网络资源。注:通常,-X标识请求方法。
Java设置系统变量方法
使用Java通过代理服务器来访问资源,通常可以如下设置:
System.setProperty("http.proxyHost","Proxy Server");
System.setProperty("http.proxyPort","Proxy port");
System.setProperty("http.proxyUser","User");
System.setProperty("http.proxyPassword","password");
通过设置系统变量的方法来设置代理服务器的地址、端口,以及用户名、密码等变量。
Java使用授权方式
// 授权密码
Authenticator.setDefault(new BasicAuthenticator(proxy_user,proxy_pass));
Proxy proxy = new java.net.Proxy(java.net.Proxy.Type.HTTP,new InetSocketAddress(proxy_ip,proxy_port));
通过Java类实现动态授权,设置代理参数。
本博客所有文章除特别声明外,均采用 CC BY-SA 4.0 协议 ,转载请注明出处!