在构建多平台 AI 聚合器时,核心观点是利用 MCP(Model Context Protocol)协议来实现轻量级集成,从而支持实时趋势追踪、情感分析和相似搜索。这种方法避免了传统 API 调用的复杂性,转而通过标准化协议让 AI 模型直接与数据管道对话,确保系统响应时间控制在秒级。证据显示,这种架构在处理 35+ 平台数据时,能将部署时间压缩至 30 秒以内,同时保持数据新鲜度在小时级。通过 MCP 的工具链,系统可以动态调用 13 种分析功能,例如趋势预测和情感量化,避免了手动脚本的维护负担。
要落地这种聚合器,首先需要定义数据采集管道。TrendRadar 项目作为参考,采用 Docker 容器化部署,镜像大小控制在 200MB 以内。启动命令为 docker run -d --name trend-radar -v ./config:/app/config:ro -v ./output:/app/output -e FEISHU_WEBHOOK_URL="your_webhook" wantcat/trendradar:latest,其中 -v 挂载配置目录确保数据持久化。关键参数包括 CRON_SCHEDULE="*/30 * * * *" 设置 30 分钟爬取周期,RUN_MODE="cron" 启用定时模式。监控点:使用 docker logs -f trend-radar 检查爬取日志,阈值设定为如果 3 次连续失败则警报。风险控制:上游 API(如 newsnow)可能限流,建议设置重试机制,最大 5 次,间隔 10 秒。
接下来,配置关键词筛选是确保精准聚合的关键。使用 frequency_words.txt 文件,支持普通词、必须词(+)和过滤词(!)语法。例如,词组 "AI +技术 !广告" 表示必须包含 AI 和技术,但排除广告相关新闻。词组间用空行分隔,便于独立统计。参数建议:关键词数量不超过 20 个/组,避免正则匹配开销;优先级从上到下排序,高关注词置顶。证据表明,这种分层筛选能将无关数据过滤率提升至 90%,显著降低 AI 处理负载。在 MCP 集成中,配置 mcp_server.server 模块,端口默认 3333,支持 HTTP 或 STDIO 模式。客户端如 Claude Desktop 通过 JSON 配置连接,例如 {"mcpServers": {"trendradar": {"url": "http://localhost:3333/mcp"}}}。
AI 分析管道的工程化焦点在于 MCP 的 13 种工具调用。观点是优先实现核心功能:get_latest_news 用于实时追踪,analyze_sentiment 用于情感指标计算。落地清单:1) 安装依赖 uv run python -m mcp_server.server --transport http --port 3333;2) 数据积累至少 24 小时,确保历史查询可用;3) 工具参数标准化,如日期格式 YYYY-MM-DD,平台 ID 如 "zhihu";4) 情感分析阈值:正面 >0.5、中性 -0.5~0.5、负面 < -0.5,使用 VADER 或类似模型。相似搜索通过 find_similar_news 工具,参数 similarity_threshold=0.8,确保结果相关性。监控要点:API 调用频率不超过 10 次/分钟,超出则限流;回滚策略:若 MCP 连接失败,fallback 到静态报告生成。
推送机制是系统闭环的关键,支持多渠道如企业微信、飞书和 Telegram。配置 GitHub Secrets 或环境变量,例如 WEWORK_WEBHOOK_URL。三种模式:daily(小时汇总)、current(实时榜单)、incremental(仅新增)。参数:推送窗口 09:00-18:00,避免夜间干扰;分批发送阈值 1000 字符/批。证据显示,incremental 模式下,消息量可减少 70%,适合高频场景。潜在风险:Webhook 泄露,建议使用 Secret 存储并定期轮换。
优化建议包括自定义热点算法:rank_weight=0.6(排名优先)、frequency_weight=0.3(持续性)、hotness_weight=0.1(热度)。调整公式:score = rank_weight * (1/rank) + frequency_weight * count + hotness_weight * avg_rank。通过 A/B 测试,实时型用户可将 rank_weight 调至 0.8。部署后,监控 Docker 资源:CPU <20%、内存 <500MB,若超标则优化爬取平台数至 11 个默认。
总体而言,这种 MCP 驱动的聚合器适用于新闻热点监控场景,提供从采集到分析的全链路参数化支持。开发者可基于 Docker 快速迭代,结合情感指标实现智能警报。
资料来源:GitHub 项目仓库(https://github.com/sansan0/TrendRadar),底层数据接口(https://github.com/ourongxing/newsnow)。