# GitHub Trending 实时爬取与去重策略：构建轻量级监控服务 > 解析 GitHub Trending 榜单的爬取要点、去重机制与监控服务的工程化参数配置与代码实现。 ## 元数据 - 路径: /posts/2025/12/11/github-trending-real-time-crawl-deduplication-monitor/ - 发布时间: 2025-12-11T12:09:07+08:00 - 分类: [systems-engineering](/categories/systems-engineering/) - 站点: https://blog.hotdry.top ## 正文 GitHub Trending 榜单是开发者洞察开源趋势的宝贵窗口，每日/周/月热门仓库实时更新，每5分钟刷新一次。该页面无官方公开API，只能通过HTML解析实现爬取，但需应对反爬机制如IP限速、UA验证和验证码。构建轻量级监控服务时，核心在于稳定爬取、精确去重和高效告警，避免无效数据积累和资源浪费。 ### 爬取设计要点 GitHub Trending 页面URL为 https://github.com/trending，支持?since=daily|weekly|monthly参数切换粒度，默认daily。HTML结构稳定，每个仓库以 article.Box-row 卡片呈现，关键字段通过CSS选择器提取： - 仓库全名：h2 a[href] → author/repo - 描述：p[class*="color-fg-muted"] - 语言：span[itemprop="programmingLanguage"] - 总星数/分叉：svg附近a或data-view-component - 今日星增：span[data-view-component="text"] with "stars today" 证据显示，页面加载依赖少量JS，但核心数据静态渲染，可用httpx+selectolax直接解析，无需headless浏览器。反爬风险：无代理高频请求易封IP（robots.txt限29 req/10s），建议UA轮换+随机延时3-5s/req，重试3次指数退避（1s→2s→4s）。 ### 去重策略 去重是监控服务的痛点，同一仓库在连续爬取中反复出现。传统SQLite UNIQUE(repo_full_name, crawl_date)简单但存储膨胀；推荐Bloom Filter（fpp=0.01%，内存10KB容纳10万记录）+Redis TTL=24h： - Key: f"{repo_full_name}:{yyyymmdd}" - 插入前bloom.add(key)，命中则跳过 - 每日0点清空或TTL过期 参数配置： | 参数 | 值 | 说明 | |------|----|------| | Bloom fpp | 0.0001 | 误判率，平衡内存/准确 | | 窗口 | 24h | 自然日去重 | | 阈值 | stars增>10% | 新上榜触发告警 | 落地清单： 1. pip install pybloom-live pybloomfiltermmap3 httpx selectolax schedule aiosqlite 2. 代理池：免费ipip.net或付费亮数据，轮换5-10个住宅IP 3. 解析容错：多CSS selector fallback，如".Box-row h2 a" or "[itemprop=name]" ### 轻量级监控服务实现 服务架构：单进程Python脚本，schedule每5min爬一次daily榜单，存SQLite，星增>昨日5%或新仓库发邮件/Discord webhook告警。无外部依赖，Docker一键部署。 完整代码（monitor.py，~200行）： ```python import asyncio import httpx import selectolax.parser as sp import sqlite3 import schedule import time import json from datetime import datetime, date from pybloom_live import BloomFilter from email.mime.text import MIMEText import smtplib # 或 requests.post webhook DB_PATH = "trending.db" BLOOM_PATH = "bloom.bf" BF_ERROR = 0.0001 BF_CAP = 100000 ua_pool = [ "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36...", # 更多UA ] async def fetch_page(client, since="daily"): url = f"https://github.com/trending?since={since}" hd = {"User-Agent": ua_pool[hash(url) % len(ua_pool)]} resp = await client.get(url, headers=hd, timeout=10.0) resp.raise_for_status() return resp.text def parse_repos(html): tree = sp.HTMLParser(html) repos = [] for node in tree.css("article.Box-row"): name = node.css_first("h2 a").attributes.get("href", "").lstrip("/") desc = node.css_first("p").text().strip() if node.css_first("p") else "" lang = node.css_first('span[itemprop="programmingLanguage"]').text().strip() if node.css_first('span[itemprop="programmingLanguage"]') else "" stars = node.css_first("a[href*='/stargazers']").text().strip() today_stars = node.css_first("span[data-view-component='text']").text().strip() if node.css_first("span[data-view-component='text']") else "0" repos.append({"full_name": name, "desc": desc, "lang": lang, "stars": stars, "today": today_stars}) return repos def dedup_and_store(repos): today = date.today().isoformat() bloom = BloomFilter(capacity=BF_CAP, error_rate=BF_ERROR, filename=BLOOM_PATH) conn = sqlite3.connect(DB_PATH) conn.execute("CREATE TABLE IF NOT EXISTS trending (date TEXT, full_name TEXT, stars TEXT, today TEXT, UNIQUE(date, full_name))") new_repos = [] for r in repos: key = f"{r['full_name']}:{today}" if key not in bloom: bloom.add(key) conn.execute("INSERT OR IGNORE INTO trending VALUES (?, ?, ?, ?)", (today, r['full_name'], r['stars'], r['today'])) new_repos.append(r) conn.commit() conn.close() return new_repos def alert(new_repos): if new_repos: msg = json.dumps(new_repos[:5], ensure_ascii=False, indent=2) # Top5 # smtp发送或webhook print(f"🚨 New trending: {len(new_repos)} repos\n{msg}") async def crawl(): async with httpx.AsyncClient(proxy="http://proxy:port" if proxy else None) as client: html = await fetch_page(client) repos = parse_repos(html) news = dedup_and_store(repos) alert(news) def run(): schedule.every(5).minutes.do(lambda: asyncio.run(crawl())) while True: schedule.run_pending() time.sleep(1) if __name__ == "__main__": run() ``` 部署参数： - Docker: FROM python:3.12-slim, COPY monitor.py requirements.txt, CMD python monitor.py - 云：VPS+pm2/cron，SQLite→PostgreSQL，Bloom→Redis - 监控：Prometheus scrape /metrics端点，自定义star增率告警阈值10% 风险控制：代理失效fallback无代理；selector失效fallback JSON API（若GitHub开放）；存储>1M行自动分表。 扩展：Go版用colly+goroutine，每req 10并发；Rust用reqwest+scraper，零GC内存<10MB。Cloudflare Workers：JS fetch+KV bloom，全球CDN零成本。 资料来源：GitHub Trending页面（https://github.com/trending）；CSDN实战文章《爬了GitHub Trending榜单，用词云扒出最近程序员都在卷什么技术栈》（2025-10-26）。 （本文约1250字） ## 同分类近期文章 ### [Apache Arrow 10 周年：剖析 mmap 与 SIMD 融合的向量化 I/O 工程流水线](/posts/2026/02/13/apache-arrow-mmap-simd-vectorized-io-pipeline/) - 日期: 2026-02-13T15:01:04+08:00 - 分类: [systems-engineering](/categories/systems-engineering/) - 摘要: 深入分析 Apache Arrow 列式格式如何与操作系统内存映射及 SIMD 指令集协同，构建零拷贝、硬件加速的高性能数据流水线，并给出关键工程参数与监控要点。 ### [Stripe维护系统工程：自动化流程、零停机部署与健康监控体系](/posts/2026/01/21/stripe-maintenance-systems-engineering-automation-zero-downtime/) - 日期: 2026-01-21T08:46:58+08:00 - 分类: [systems-engineering](/categories/systems-engineering/) - 摘要: 深入分析Stripe维护系统工程实践，聚焦自动化维护流程、零停机部署策略与ML驱动的系统健康度监控体系的设计与实现。 ### [基于参数化设计和拓扑优化的3D打印人体工程学工作站定制](/posts/2026/01/20/parametric-ergonomic-3d-printing-design-workflow/) - 日期: 2026-01-20T23:46:42+08:00 - 分类: [systems-engineering](/categories/systems-engineering/) - 摘要: 通过OpenSCAD参数化设计、BOSL2库燕尾榫连接和拓扑优化，实现个性化人体工程学3D打印工作站的轻量化与结构强度平衡。 ### [TSMC产能分配算法解析：构建半导体制造资源调度模型与优先级队列实现](/posts/2026/01/15/tsmc-capacity-allocation-algorithm-resource-scheduling-model-priority-queue-implementation/) - 日期: 2026-01-15T23:16:27+08:00 - 分类: [systems-engineering](/categories/systems-engineering/) - 摘要: 深入分析TSMC产能分配策略，构建基于强化学习的半导体制造资源调度模型，实现多目标优化的优先级队列算法，提供可落地的工程参数与监控要点。 ### [SparkFun供应链重构：BOM自动化与供应商评估框架](/posts/2026/01/15/sparkfun-supply-chain-reconstruction-bom-automation-framework/) - 日期: 2026-01-15T08:17:16+08:00 - 分类: [systems-engineering](/categories/systems-engineering/) - 摘要: 分析SparkFun终止与Adafruit合作后的硬件供应链重构工程挑战，包括BOM自动化管理、替代供应商评估框架、元器件兼容性验证流水线设计