# 分类：web-infrastructure

> 该分类下的文章按时间倒序排列，便于按主题继续深挖。

## 页面摘要
- 路径: /categories/web-infrastructure/
- 当前页: 1 / 1
- 文章总数: 3
- 当前页文章数: 3

## 快速导航
- [首页](/)
- [分类索引](/categories/)
- [归档索引](/archive/)

## 本页文章
### [robots.txt 解析器实现与 Google 爬虫索引优先级算法深度解析](/posts/2026/01/20/robots-txt-parser-google-crawler-indexing-priority-algorithm/)
- 日期: 2026-01-20T03:47:01+08:00
- 分类: [web-infrastructure](/categories/web-infrastructure/)
- 摘要: 深入分析 robots.txt 解析器的实现细节、Google 爬虫的索引优先级算法，以及大规模站点 robots.txt 动态生成与验证的工程实践。涵盖文件格式、语法解析、规则匹配、错误处理策略等关键技术要点。

### [基于现代WebSocket/HTTP2的零配置隧道服务：pipenet架构与工程实践](/posts/2026/01/20/modern-websocket-http2-tunnel-architecture-pipenet-localtunnel-alternative/)
- 日期: 2026-01-20T00:47:16+08:00
- 分类: [web-infrastructure](/categories/web-infrastructure/)
- 摘要: 深入解析pipenet作为localtunnel现代化替代方案的架构设计，聚焦WebSocket/HTTP2隧道实现、TLS终止与动态子域路由的工程化参数与部署要点。

### [分布式API网关中HTTP RateLimit头部同步与强一致性保证](/posts/2026/01/17/distributed-ratelimit-headers-sync-consistency/)
- 日期: 2026-01-17T09:47:35+08:00
- 分类: [web-infrastructure](/categories/web-infrastructure/)
- 摘要: 深入分析分布式API网关集群中HTTP RateLimit头部同步的核心挑战，提供配额漂移解决方案与强一致性保证的工程实现策略。