Hotdry.
归档
ai-systems

多模型置信度校准：构建高可靠银行交易分类系统的工程实践

针对银行交易分类中的单一模型偏差问题，深入探讨多LLM投票机制、置信度校准技术及级联策略的工程实现，提供可落地的参数配置与监控方案。

引言：银行交易分类的挑战与机遇

银行交易数据是金融科技领域最具价值的资产之一，但交易描述的混乱性使得自动分类成为一项艰巨任务。典型的交易描述如 WHOLEFDS MKT 10847 SEATTLE WA、AMZN MKTP US*2K7X9、SQ *JOES COFFEE SEATTLE 等，对人类而言如同天书，对 AI 系统也构成了严峻挑战。

Tally AI 作为一个完全离线的银行交易分类工具，专为 AI 助手设计，采用纯英文规则文件的方式，为解决这一问题提供了新思路。然而，单一 LLM 模型在分类任务中面临两个核心问题：模型偏差和不确定性量化不足。当模型对 COSTCO 交易进行分类时，它可能无法区分燃料采购与日常杂货，导致分类错误。

多模型投票机制：从简单多数到加权共识

多数投票的基础实现

多数投票（Majority Voting）是最直接的多模型集成策略。其核心思想是：让多个 LLM 模型对同一交易进行分类，选择出现频率最高的类别作为最终结果。这种方法简单易实现，但存在明显的局限性。

# 基础多数投票实现示例
def majority_vote(predictions):
    """执行多数投票"""
    from collections import Counter
    vote_counts = Counter(predictions)
    return vote_counts.most_common(1)[0][0]

在实际应用中，我们通常采用三种投票策略：

  1. 跨架构集成：结合不同模型架构（如 GPT-4、Claude、Gemini）的优势
  2. 采样集成：同一模型在不同随机种子或温度设置下的多次运行
  3. 提示集成：使用不同提示模板获得多样化响应

加权投票的进阶策略

简单多数投票假设所有模型具有同等可靠性，这在实际中往往不成立。加权投票通过为每个模型分配权重来反映其置信度：

def weighted_vote(predictions, confidences):
    """基于置信度的加权投票"""
    weighted_scores = {}
    for pred, conf in zip(predictions, confidences):
        weighted_scores[pred] = weighted_scores.get(pred, 0) + conf
    
    return max(weighted_scores.items(), key=lambda x: x[1])[0]

权重的确定可以基于历史准确率、特定类别表现或实时置信度分数。Amazon Science 的研究表明，合理的权重分配可将分类准确率提升 15-25%。

置信度校准：从原始分数到可靠概率

校准误差的量化与优化

LLM 输出的原始置信度分数往往过于自信或过于保守，需要进行校准才能反映真实的预测可靠性。校准误差通常使用预期校准误差（Expected Calibration Error, ECE）来衡量：

ECE = Σ |acc(b) - conf(b)| * n(b) / N

其中，acc(b) 是第 b 个置信度区间的准确率，conf(b) 是该区间的平均置信度，n(b) 是区间内的样本数，N 是总样本数。

Amazon Science 的研究团队开发了基于 logit 的快速校准管道，通过创新的 "代理误差" 标签高效选择策略，将校准误差降低了 46%。这一成果的关键在于：

  1. 温度缩放（Temperature Scaling）：调整 softmax 温度参数使预测分布更平滑
  2. Platt 缩放（Platt Scaling）：使用逻辑回归模型校准二元分类置信度
  3. 直方图分箱（Histogram Binning）：将置信度分数分箱并调整每个箱的校准值

校准数据的优化选择

置信度校准需要标注数据，但获取高质量标注成本高昂。研究提出了两种高效的标注数据选择策略：

  1. 不确定性采样：选择模型最不确定的样本进行标注
  2. 多样性采样：确保标注数据覆盖不同的特征空间区域
  3. 校准误差最小化采样：专门针对降低校准误差选择样本

对于银行交易分类任务，建议的标注数据规模为 500-1000 个交易样本，覆盖所有主要类别和常见的边缘情况。

级联策略：成本效益的工程平衡

级联架构设计

多模型集成虽然能提高准确性，但推理成本可能呈线性甚至指数增长。级联策略通过智能路由机制，在保证准确性的同时控制成本：

class CascadingEnsemble:
    def __init__(self, models, cost_factors, confidence_thresholds):
        """
        models: 按成本升序排列的模型列表
        cost_factors: 各模型的相对成本因子
        confidence_thresholds: 触发下一级模型的置信度阈值
        """
        self.models = models
        self.cost_factors = cost_factors
        self.thresholds = confidence_thresholds
    
    def classify(self, transaction):
        total_cost = 0
        for i, model in enumerate(self.models):
            prediction, confidence = model.predict(transaction)
            total_cost += self.cost_factors[i]
            
            # 如果置信度足够高，直接返回结果
            if confidence >= self.thresholds[i]:
                return prediction, confidence, total_cost
            
            # 否则继续使用更昂贵的模型
            if i == len(self.models) - 1:
                return prediction, confidence, total_cost
        
        return None, 0.0, total_cost

阈值优化策略

置信度阈值的选择直接影响级联策略的效果。建议的优化方法：

  1. 基于验证集的网格搜索：在验证集上测试不同阈值组合
  2. 成本 - 准确率权衡曲线：绘制不同阈值下的成本与准确率关系
  3. 动态阈值调整：根据实时性能反馈调整阈值

研究表明，合理的级联策略可将推理成本降低 2 倍以上，同时保持或略微提升分类准确率。

银行交易分类的具体实现参数

模型选择与配置

对于银行交易分类任务，建议的多模型组合：

  1. 基础模型（低成本）：GPT-3.5 Turbo 或 Claude Haiku，用于处理简单明确的交易
  2. 中级模型（中等成本）：GPT-4 或 Claude Sonnet，处理中等复杂度的分类
  3. 高级模型（高成本）：GPT-4 Turbo 或 Claude Opus，仅用于最复杂的边缘情况

置信度阈值建议

基于实际测试数据，建议的置信度阈值配置：

  • 高置信度直接接受：置信度 ≥ 0.85
  • 中等置信度触发中级模型：0.65 ≤ 置信度 < 0.85
  • 低置信度触发高级模型：置信度 < 0.65
  • 投票分歧处理：当模型间分歧较大时（最大票数 < 总票数 60%），自动触发更高级模型

监控指标与告警

生产环境中需要监控的关键指标：

  1. 分类准确率：按类别细分的准确率，特别是高频类别
  2. 平均置信度：整体和各类别的平均置信度水平
  3. 级联触发率：各级模型被触发的频率分布
  4. 成本效率：每千次分类的平均成本
  5. 校准误差：定期评估的 ECE 指标

建议设置以下告警阈值：

  • 整体准确率下降超过 5%
  • 平均置信度异常波动（±0.15）
  • 高级模型触发率超过 15%
  • 校准误差超过 0.1

边缘情况处理与错误恢复

常见边缘情况

银行交易分类中常见的边缘情况包括：

  1. 多语言交易描述：同一交易可能包含多种语言的描述
  2. 拼写错误与缩写：WHOLEFDS 代表 Whole Foods，SQ * 代表 Square
  3. 商户名称变化：同一商户在不同交易中使用不同名称
  4. 类别模糊交易：某些交易可能属于多个类别

错误恢复策略

当系统检测到分类错误或低置信度时，应采取以下恢复措施：

  1. 人工审核队列：将低置信度交易放入人工审核队列
  2. 规则学习：从人工审核结果中学习新规则
  3. 模型重训练：定期使用新标注数据更新模型
  4. A/B 测试：对新策略进行小流量测试

性能优化与扩展性考虑

批处理优化

对于批量交易分类，可以采用以下优化策略：

def batch_classify(transactions, batch_size=50):
    """批量分类优化"""
    results = []
    for i in range(0, len(transactions), batch_size):
        batch = transactions[i:i+batch_size]
        
        # 并行调用基础模型
        base_predictions = parallel_predict(base_model, batch)
        
        # 筛选需要进一步处理的交易
        uncertain_indices = [
            j for j, (pred, conf) in enumerate(base_predictions)
            if conf < confidence_threshold
        ]
        
        if uncertain_indices:
            # 仅对不确定交易使用高级模型
            uncertain_transactions = [batch[j] for j in uncertain_indices]
            refined_predictions = advanced_model.predict(uncertain_transactions)
            
            # 合并结果
            for idx, refined in zip(uncertain_indices, refined_predictions):
                base_predictions[idx] = refined
        
        results.extend(base_predictions)
    
    return results

缓存策略

利用交易模式的重复性实施缓存：

  1. 精确匹配缓存：完全相同的交易描述直接返回缓存结果
  2. 模糊匹配缓存：相似交易描述使用最近邻搜索
  3. 商户缓存：同一商户的交易使用商户级缓存

水平扩展

随着交易量增长，系统需要支持水平扩展：

  1. 模型服务化：将模型部署为独立的微服务
  2. 负载均衡：在多台服务器间分配分类请求
  3. 异步处理：对非实时分类任务采用异步队列

结论与最佳实践

构建基于多模型置信度校准的银行交易分类系统需要综合考虑准确性、成本和可靠性。以下是最佳实践总结：

  1. 从简单开始：先实现多数投票，再逐步引入加权投票和级联策略
  2. 重视校准：置信度校准不是可选项，而是生产系统的必需品
  3. 监控驱动优化：基于监控数据持续优化阈值和策略
  4. 平衡成本效益：在准确性和成本之间找到业务可接受的最优平衡点
  5. 保持系统透明：确保决策过程可解释、可审计

随着 LLM 技术的不断发展，多模型集成和置信度校准技术将继续演进。银行交易分类作为金融科技的基础设施，其可靠性和准确性直接影响下游的风控、营销和客户服务应用。通过本文介绍的技术方案，企业可以在控制成本的同时，构建高可靠、可扩展的交易分类系统。

资料来源

  1. Tally AI 官网 (tallyai.money) - 完全离线的银行交易分类工具
  2. Amazon Science 论文：Effective Confidence Calibration and Ensembles in LLM-Powered Classification - 置信度校准与集成策略研究
  3. Medium 文章：Classifying bank transactions (Marc Deveaux) - 银行交易分类的实践案例

注：本文基于公开技术资料和研究成果，结合银行交易分类的实际需求，提供了可落地的工程实施方案。具体参数需要根据实际业务数据和资源约束进行调整优化。

查看归档