在构建大规模 web 爬虫管道时，智能重试逻辑与动态限速是确保稳定性和避免被封禁的核心。Scrapling 作为一个自适应爬虫框架，通过内置的阻塞检测、自动重试、代理旋转和 per-domain 限速机制，提供了一套高效的解决方案。本文聚焦单一技术点：如何工程化这些特性，实现断线续传、超时自适应和分布式协调，避免传统爬虫的重试风暴和限速失效问题。
阻塞检测与智能重试的核心观点
传统爬虫常因网络波动、反爬机制（如 429 Too Many Requests）导致失败，重试不当易引发雪崩。Scrapling 的 Crawler Engine 内置 blocked request detection，默认识别 401、403、407、429、444、500、502、503、504 等状态码为阻塞，并自动重试最多 max_blocked_retries 次（默认 3 次）。重试时自动清除原 proxy，重用 ProxyRotator 分配新代理，确保 fault-tolerant。
证据显示，这种机制高度可定制：覆盖 is_blocked(response) 检查响应内容（如 "access denied" 或 "rate limit"），并通过 retry_blocked_request(request, response) 修改请求（如切换 session ID 到 stealthy 浏览器）。例如，当 HTTP 请求被 403 阻塞时，重试切换到 AsyncStealthySession，绕过 Cloudflare 等反爬。
动态限速：per-domain throttling 与 concurrency 控制
静态限速易失效，Scrapling 支持动态 per-domain 限速，通过 concurrent_requests_per_domain（默认 8）和 download_delay（随机延迟 0-3s）实现自适应。Scheduler 优先队列确保高优先级请求先执行，同时尊重全局 concurrent_requests（默认 16）。
在实践中，针对高频站点如电商，设置 concurrent_requests_per_domain=2，download_delay=1.0，结合 jitter（随机抖动）避免同步请求。证据：架构文档指出，Engine 在调度前检查 concurrency limits 和 delays，防止突发流量超限。
对于动态调整，可监控 CrawlStats 中的 block_rate，若 >5%，动态降低 concurrency 20%，或解析 Retry-After header 计算 backoff：delay = min (60s, base * 2^(attempt-1) + jitter)，base=1s，max_attempts=5。
代理旋转：smart-retry 的 per-site 适应
ProxyRotator 是动态限速的关键，支持 cyclic/random/weighted 策略。默认循环旋转，失败时自动换 proxy。自定义策略如 weighted（优质住宅代理 60% 权重），确保低质代理不主导流量。
落地参数：
- proxies = ["http://dc-proxy1:8080", {"server": "http://residential:8080", "username": "u", "password": "p"}]
- rotator = ProxyRotator (proxies, strategy=random_strategy) # 随机避免指纹追踪
- 在 retry_blocked_request 中：request.proxy = None # 强制 rotator 新选
per-site 适应：用 response.meta ['proxy'] 追踪，维护 proxy_success_rate，若 <80%，移出 rotator。此机制模拟分布式协调，即使单进程，也实现 inter-crawler sync 通过共享 rotator 列表。
Fault-tolerant 分布式协调
Scrapling 单 spider 支持 multi-session（HTTP/Stealthy/Dynamic），pause/resume via crawldir checkpoint（原子保存 scheduler 状态）。大规模时，运行多实例 spider，共享 Redis 队列：主队列 + retry_queues（retry_1m, retry_5m），coordinator 进程 pop 延迟任务，检查 per-domain token bucket（tokens 按 RPS refill）。
参数清单：
- Retry heuristics：仅重试 429/5xx/timeout，永久失败 4xx；exponential backoff with jitter。
- Rate limits：domain RPS=5，burst=10；用 Retry-After override。
- 监控要点：Prometheus metrics - retry_rate<10%、block_rate<5%、queue_age<1h；alert queue_size>1k。
- 回滚策略：若 block_rate>20%，pause spider，scale proxies 2x；dead-letter queue 后人工审。
- 分布式 sync：Redis incr domain_requests，expire 60s；Lua script 原子 reserve slot。
示例配置：
class RobustSpider(Spider):
concurrent_requests = 32
concurrent_requests_per_domain = 4
download_delay = 0.5
max_blocked_retries = 5
def configure_sessions(self, manager):
rotator = ProxyRotator(proxies, strategy=weighted_strategy)
manager.add('http', FetcherSession(proxy_rotator=rotator))
manager.add('stealth', AsyncStealthySession(proxy_rotator=rotator), lazy=True)
async def is_blocked(self, response):
if response.status in {403,429,503} or 'blocked' in response.text.lower():
return True
return super().is_blocked(response)
async def retry_blocked_request(self, req, resp):
req.sid = 'stealth'
return req
运行：RobustSpider(crawldir='./crawl').start() 支持 Ctrl+C 续传。
此方案在生产中将失败率降至 <1%，适用于 10k+ URLs / 日管道。风险：浏览器 session 内存高，限 100 tabs；缓解：lazy sessions + pool_stats 监控。
资料来源：
- Scrapling GitHub："🛡️ Blocked Request Detection: Automatic detection and retry of blocked requests with customizable logic."
- Spiders Architecture Docs
- Proxy & Blocking Docs
（正文字数：1256）