使用哪些类型的代理
选择代理类型取决于任务。对于Selenium自动化，使用三种主要类型的代理，每种都有其优点：
代理类型
速度
匿名性
最佳场景
数据中心代理
非常高（100+ Mbps）
中等
抓取公开数据、性能测试、大规模检查
住宅代理
中等（10-50 Mbps）
非常高
绕过反机器人系统、抓取社交媒体、电子商务、具有严格保护的网站
移动代理
中等（5-30 Mbps）
最大
处理网站的移动版本、社交媒体、需要移动IP验证的应用程序
选择建议：
对于抓取新闻网站、开放API、简单目录 — 数据中心代理是合适的。它们更便宜且更快。
对于Amazon、eBay、Google、社交媒体 — 仅使用住宅代理。这些平台积极封锁数据中心IP。
对于模拟移动用户或处理Instagram、TikTok — 移动代理是必不可少的。
对于地理定位测试 — 选择可以选择特定国家和城市的代理。
在Selenium中为Chrome设置代理
Chrome WebDriver是Selenium自动化中最受欢迎的选择。通过ChromeOptions对象设置代理。我们来看几种方法。
方法1：无身份验证的HTTP/HTTPS代理（Python）
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
# 设置代理
PROXY = "123.45.67.89:8080" # 替换为您的代理服务器
chrome_options = Options()
chrome_options.add_argument(f'--proxy-server=http://{PROXY}')
# 额外选项以提高稳定性
chrome_options.add_argument('--no-sandbox')
chrome_options.add_argument('--disable-dev-shm-usage')
# 启动驱动程序
driver = webdriver.Chrome(options=chrome_options)
# 检查IP
driver.get('https://httpbin.org/ip')
print(driver.page_source)
driver.quit()
方法2：SOCKS5代理（Python）
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
PROXY = "123.45.67.89:1080"
chrome_options = Options()
# 对于SOCKS5，明确指定协议
chrome_options.add_argument(f'--proxy-server=socks5://{PROXY}')
driver = webdriver.Chrome(options=chrome_options)
driver.get('https://httpbin.org/ip')
print(driver.page_source)
driver.quit()
重要： Chrome支持HTTP、HTTPS和SOCKS5代理。对于SOCKS4，可能需要额外的设置或使用扩展。
在Java中为Chrome设置代理
import org.openqa.selenium.WebDriver;
import org.openqa.selenium.chrome.ChromeDriver;
import org.openqa.selenium.chrome.ChromeOptions;
import org.openqa.selenium.Proxy;
public class ChromeProxyExample {
public static void main(String[] args) {
// 设置代理
Proxy proxy = new Proxy();
proxy.setHttpProxy("123.45.67.89:8080");
proxy.setSslProxy("123.45.67.89:8080");
ChromeOptions options = new ChromeOptions();
options.setProxy(proxy);
options.addArguments("--no-sandbox");
WebDriver driver = new ChromeDriver(options);
driver.get("https://httpbin.org/ip");
System.out.println(driver.getPageSource());
driver.quit();
}
}
在Selenium中为Firefox设置代理
Firefox WebDriver通过浏览器配置文件使用不同的代理设置方法。这提供了更多的灵活性，但需要理解配置参数。
Firefox的HTTP/HTTPS代理（Python）
from selenium import webdriver
from selenium.webdriver.firefox.options import Options
PROXY_HOST = "123.45.67.89"
PROXY_PORT = 8080
firefox_options = Options()
# 通过首选项设置代理
firefox_options.set_preference("network.proxy.type", 1)
firefox_options.set_preference("network.proxy.http", PROXY_HOST)
firefox_options.set_preference("network.proxy.http_port", PROXY_PORT)
firefox_options.set_preference("network.proxy.ssl", PROXY_HOST)
firefox_options.set_preference("network.proxy.ssl_port", PROXY_PORT)
# 禁用本地地址的代理
firefox_options.set_preference("network.proxy.no_proxies_on", "localhost,127.0.0.1")
driver = webdriver.Firefox(options=firefox_options)
driver.get('https://httpbin.org/ip')
print(driver.page_source)
driver.quit()
Firefox的SOCKS5代理（Python）
from selenium import webdriver
from selenium.webdriver.firefox.options import Options
PROXY_HOST = "123.45.67.89"
PROXY_PORT = 1080
firefox_options = Options()
firefox_options.set_preference("network.proxy.type", 1)
firefox_options.set_preference("network.proxy.socks", PROXY_HOST)
firefox_options.set_preference("network.proxy.socks_port", PROXY_PORT)
firefox_options.set_preference("network.proxy.socks_version", 5)
# 对于SOCKS5通过代理进行DNS
firefox_options.set_preference("network.proxy.socks_remote_dns", True)
driver = webdriver.Firefox(options=firefox_options)
driver.get('https://httpbin.org/ip')
print(driver.page_source)
driver.quit()
Firefox的优势： 参数network.proxy.socks_remote_dns允许通过代理执行DNS请求，从而提高匿名性并帮助绕过DNS级别的封锁。
处理需要身份验证的代理
大多数优质代理服务使用用户名和密码进行身份验证。Selenium不支持直接在Chrome的代理URL中传递凭据，因此需要绕过解决方案。
方法1：用于身份验证的Chrome扩展（推荐）
创建一个临时的Chrome扩展，当连接到代理时自动填充用户名和密码：
import os
import zipfile
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
PROXY_HOST = "123.45.67.89"
PROXY_PORT = 8080
PROXY_USER = "username"
PROXY_PASS = "password"
# 创建扩展的清单
manifest_json = """
{
"version": "1.0.0",
"manifest_version": 2,
"name": "Chrome Proxy",
"permissions": [
"proxy",
"tabs",
"unlimitedStorage",
"storage",
"webRequest",
"webRequestBlocking"
],
"background": {
"scripts": ["background.js"]
}
}
"""
# 身份验证脚本
background_js = """
var config = {
mode: "fixed_servers",
rules: {
singleProxy: {
scheme: "http",
host: "%s",
port: parseInt(%s)
},
bypassList: ["localhost"]
}
};
chrome.proxy.settings.set({value: config, scope: "regular"}, function() {});
function callbackFn(details) {
return {
authCredentials: {
username: "%s",
password: "%s"
}
};
}
chrome.webRequest.onAuthRequired.addListener(
callbackFn,
{urls: [""]},
['blocking']
);
""" % (PROXY_HOST, PROXY_PORT, PROXY_USER, PROXY_PASS)
# 创建扩展
plugin_path = 'proxy_auth_plugin.zip'
with zipfile.ZipFile(plugin_path, 'w') as zp:
zp.writestr("manifest.json", manifest_json)
zp.writestr("background.js", background_js)
# 启动带扩展的Chrome
chrome_options = Options()
chrome_options.add_extension(plugin_path)
driver = webdriver.Chrome(options=chrome_options)
driver.get('https://httpbin.org/ip')
print(driver.page_source)
driver.quit()
os.remove(plugin_path) # 删除临时文件
方法2：Firefox身份验证（更简单）
Firefox允许通过配置文件设置凭据：
from selenium import webdriver
from selenium.webdriver.firefox.options import Options
PROXY_HOST = "123.45.67.89"
PROXY_PORT = 8080
PROXY_USER = "username"
PROXY_PASS = "password"
firefox_options = Options()
firefox_options.set_preference("network.proxy.type", 1)
firefox_options.set_preference("network.proxy.http", PROXY_HOST)
firefox_options.set_preference("network.proxy.http_port", PROXY_PORT)
firefox_options.set_preference("network.proxy.ssl", PROXY_HOST)
firefox_options.set_preference("network.proxy.ssl_port", PROXY_PORT)
# 身份验证（并非总是有效，取决于Firefox版本）
firefox_options.set_preference("network.proxy.username", PROXY_USER)
firefox_options.set_preference("network.proxy.password", PROXY_PASS)
# 禁用身份验证请求
firefox_options.set_preference("network.automatic-ntlm-auth.trusted-uris", PROXY_HOST)
driver = webdriver.Firefox(options=firefox_options)
driver.get('https://httpbin.org/ip')
print(driver.page_source)
driver.quit()
注意： 如果您的代理提供商支持IP白名单，最简单的方法是将您的服务器IP添加到白名单中，并使用无需身份验证的代理。
在Selenium中轮换代理
在抓取大量数据时，轮换代理以避免封锁至关重要。存在两种方法：代码级轮换和使用轮换代理。
代码级轮换（创建新驱动）
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
import random
# 代理列表
PROXY_LIST = [
"123.45.67.89:8080",
"98.76.54.32:8080",
"11.22.33.44:8080",
]
def create_driver_with_proxy(proxy):
"""使用指定代理创建驱动"""
chrome_options = Options()
chrome_options.add_argument(f'--proxy-server=http://{proxy}')
chrome_options.add_argument('--no-sandbox')
return webdriver.Chrome(options=chrome_options)
# 轮换抓取
urls_to_parse = [
'https://example.com/page1',
'https://example.com/page2',
'https://example.com/page3',
]
for url in urls_to_parse:
# 选择随机代理
current_proxy = random.choice(PROXY_LIST)
# 创建带代理的新驱动
driver = create_driver_with_proxy(current_proxy)
try:
driver.get(url)
# 您的抓取逻辑
print(f"通过 {current_proxy} 抓取 {url}")
print(driver.title)
except Exception as e:
print(f"使用 {current_proxy} 时出错：{e}")
finally:
driver.quit() # 关闭驱动是重要的
使用轮换代理（更简单）
许多代理提供商提供轮换端点 — 一个URL，每次请求时自动更改IP或在特定时间间隔内更改。这简化了代码：
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
# 轮换代理端点（IP自动更改）
ROTATING_PROXY = "rotating.proxycove.com:8080"
chrome_options = Options()
chrome_options.add_argument(f'--proxy-server=http://{ROTATING_PROXY}')
driver = webdriver.Chrome(options=chrome_options)
# 每个请求将使用新的IP
urls = ['https://httpbin.org/ip'] * 5
for url in urls:
driver.get(url)
print(driver.find_element("tag name", "body").text)
# 每次输出将显示不同的IP
driver.quit()
建议： 对于大型项目，使用轮换代理 — 这节省了资源（不需要重新创建驱动）并简化了代码。住宅代理通常支持开箱即用的轮换。
常见错误及其解决方案
错误：“ERR_PROXY_CONNECTION_FAILED”
原因： Selenium无法连接到代理服务器。
解决方案：
检查代理的IP和端口是否正确
确保代理处于活动状态（通过curl检查：curl -x http://123.45.67.89:8080 https://httpbin.org/ip）
检查防火墙 — 可能阻止了到代理的出站连接
如果使用身份验证，请检查用户名/密码是否正确
错误：“ERR_TUNNEL_CONNECTION_FAILED”
原因： 通过代理的HTTPS连接出现问题。
解决方案：
确保代理支持HTTPS（CONNECT方法）
对于HTTPS网站，使用HTTPS代理或SOCKS5
添加忽略SSL错误的选项：chrome_options.add_argument('--ignore-certificate-errors')
错误：代理工作，但网站检测到机器人
原因： 网站使用高级检测方法（指纹识别、行为分析）。
解决方案：
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
chrome_options = Options()
chrome_options.add_argument(f'--proxy-server=http://{PROXY}')
# 禁用webdriver标志（自动化的主要特征）
chrome_options.add_experimental_option("excludeSwitches", ["enable-automation"])
chrome_options.add_experimental_option('useAutomationExtension', False)
driver = webdriver.Chrome(options=chrome_options)
# 删除navigator.webdriver
driver.execute_cdp_cmd('Page.addScriptToEvaluateOnNewDocument', {
'source': '''
Object.defineProperty(navigator, 'webdriver', {
get: () => undefined
})
'''
})
driver.get('https://bot.sannysoft.com/') # 检测网站
另外，建议使用库undetected-chromedriver，它自动应用多种反检测技术。
问题：通过代理加载页面缓慢
原因： 代理过载或地理位置较远。
解决方案：
选择离目标服务器更近的代理（例如，抓取美国网站时使用美国代理）
对于速度比匿名性更重要的任务，使用数据中心代理
在Selenium中设置超时以避免挂起：
from selenium.webdriver.support.ui import WebDriverWait
driver.set_page_load_timeout(30) # 最大30秒加载时间
driver.implicitly_wait(10) # 隐式等待元素
使用代理的最佳实践
1. 使用代理池
不要依赖单个代理服务器。创建一个包含10-50个代理的池并进行轮换。如果一个代理被封禁，抓取将继续使用其他代理。
2. 添加随机延迟
即使使用代理，过快的请求也会显得可疑。在请求之间添加2-5秒的随机延迟：
import time
import random
for url in urls:
driver.get(url)
# 抓取...
time.sleep(random.uniform(2, 5)) # 随机延迟2-5秒
3. 监控代理质量
在使用之前检查代理。排除那些没有响应或返回错误的代理：
import requests
def check_proxy(proxy):
"""检查代理的可用性"""
try:
response = requests.get(
'https://httpbin.org/ip',
proxies={'http': f'http://{proxy}', 'https': f'http://{proxy}'},
timeout=10
)
return response.status_code == 200
except:
return False
# 过滤可用代理
working_proxies = [p for p in PROXY_LIST if check_proxy(p)]
print(f"可用代理：{len(working_proxies)}/{len(PROXY_LIST)}")
4. 谨慎使用无头模式
无头浏览器更容易被检测。对于复杂的网站，使用常规模式启动浏览器或使用--window-size替代--headless。
5. 记录所有请求
保存每个请求使用的代理的信息。这将有助于识别问题代理并调试错误。
6. 遵守robots.txt和速率限制
即使使用代理，也要尊重网站的规则。激进的抓取可能导致整个代理子网被封锁，这会影响其他用户。
结论
在Selenium WebDriver中正确设置代理是稳定抓取和自动化的基础。我们讨论了为Chrome和Firefox集成代理的所有主要方法、处理身份验证、轮换IP地址和解决典型问题。最重要的是根据您的任务选择合适的代理类型：对于简单的抓取，数据中心代理就足够了，而对于需要保护的平台，则需要住宅或移动代理。
请记住最佳实践：使用代理池、添加随机延迟、监控连接质量并应用反检测技术。这将增加您脚本的稳定性，并将被封锁的风险降低数十倍。
如果您计划进行具有高匿名性和绕过反机器人系统要求的抓取自动化，建议尝试住宅代理 — 它们提供与任何网站（包括社交网络、电子商务平台和具有先进保护的服务）最大稳定性。对于处理大量数据的速度至关重要的任务，数据中心代理将是性价比最高的选择。
