在信息爆炸的时代,如何从海量热点中精准获取有价值的信息成为核心挑战。TrendRadar项目通过创新的MCP(Model Context Protocol)协议实现多平台热点聚合与AI分析,为舆情监控和新闻分析提供了工程化解决方案。
技术背景与问题重构
传统信息获取模式存在两大痛点:被动算法绑架和信息过载。用户被各平台的推荐算法牵着走,接收大量无关信息,同时分散在多个平台的热搜缺乏统一评估标准。TrendRadar将问题重构为多源数据聚合+智能筛选+AI分析的三层架构。
项目数据源基于newsnow项目,支持35个主流平台,包括知乎、抖音、B站、华尔街见闻、财联社等,覆盖社交媒体、新闻资讯、财经数据等多个维度。
五层架构设计
1. 数据聚合层(Data Aggregation Layer)
platforms:
- id: "zhihu"
name: "知乎"
- id: "douyin"
name: "抖音"
- id: "weibo"
name: "微博"
- id: "wallstreetcn"
name: "华尔街见闻"
采用模块化平台适配设计,每个平台作为独立数据源,通过统一的API接口获取热搜数据。关键设计原则是解耦性强,新增平台只需配置相应适配器,不影响整体架构。
2. 智能筛选引擎(Intelligent Filtering Engine)
实现三层关键词过滤机制:
基础语法规则:
- 普通词:包含任意匹配即捕获(如"华为")
- 必须词
+关键词:必须同时包含(如"+发布"限制新品发布)
- 过滤词
!关键词:包含即排除(如"!广告"排除营销内容)
**词组化功能:**通过空行分隔实现多主题独立统计
# 示例配置
iPhone # 第一组:手机新品类
华为
OPPO
+发布
A股 # 第二组:股市行情类
上证
深证
+涨跌
!预测
世界杯 # 第三组:足球赛事类
欧洲杯
亚洲杯
+比赛
3. 个性化算法层(Personalized Algorithm Layer)
基于多因子权重模型重新排序各平台热搜:
核心权重公式:
- 排名权重(rank_weight):60% - 看重平台热搜位置
- 频次权重(frequency_weight):30% - 关注持续热度
- 质量权重(hotness_weight):10% - 考虑排名稳定性
场景化配置:
weight:
rank_weight: 0.8
frequency_weight: 0.1
hotness_weight: 0.1
weight:
rank_weight: 0.4
frequency_weight: 0.5
hotness_weight: 0.1
4. MCP AI分析层(MCP AI Analysis Layer)
基于标准MCP协议实现13种分析工具:
工具分类架构:
- 基础查询:get_latest_news、get_news_by_date、get_trending_topics
- 智能检索:search_news、search_related_news_history
- 高级分析:analyze_topic_trend、analyze_data_insights、analyze_sentiment、find_similar_news、generate_summary_report
- 系统管理:get_current_config、get_system_status、trigger_crawl
传输层实现:
- HTTP模式:标准HTTP服务(端口3333),适合远程客户端
- STDIO模式:本地进程间通信,适合桌面IDE集成
5. 多渠道推送层(Multi-Channel Push Layer)
支持6种推送渠道的工程化集成:
推送配置矩阵:
- 企业微信/飞书/钉钉:基于Webhook的即时推送
- Telegram:Bot API集成,支持分批推送
- 邮件:支持主流邮箱服务商,SMTP自动识别
- ntfy:开源推送方案,支持自托管部署
时间窗口控制:
push_window:
enabled: true
time_range:
start: "09:00"
end: "18:00"
daily_only: true
部署与工程化参数
Docker环境变量覆盖机制
ENABLE_CRAWLER=true
REPORT_MODE=filtered
PUSH_WINDOW_ENABLED=true
PUSH_WINDOW_START=09:00
PUSH_WINDOW_END=18:00
MCP客户端集成配置
Claude Desktop配置:
{
"mcpServers": {
"trendradar": {
"command": "uv",
"args": ["--directory", "/path/to/TrendRadar", "run", "python", "-m", "mcp_server.server"],
"env": {},
"disabled": false
}
}
}
HTTP模式(推荐):
./start-http.sh
技术价值与架构创新
TrendRadar的核心价值在于将被动信息消费转化为主动精准获取。通过跨平台统一算法,解决了各平台热搜无法横向比较的问题。AI对话分析功能让复杂的新闻数据挖掘变得自然直观,用户可以用"分析最近7天特斯拉的热度变化趋势"这样的自然语言查询历史数据。
工程化亮点:
- 解耦架构:数据源、算法、分析三层独立演进
- 配置驱动:通过配置文件而非代码修改实现个性化
- 多协议支持:HTTP/STDIO双模式适配不同使用场景
- 快速部署:30秒GitHub Pages + 1分钟手机通知的工程化体验
这种基于MCP协议的多平台聚合架构为AI辅助的信息分析提供了新的范式,展示了AI在解决信息过载问题上的工程化路径。随着MCP协议的普及,类似架构将成为AI驱动的数据分析平台的标准模式。
参考资料: