Verl 中 KL 正则化 PPO 的多 GPU 分片训练管道
面向 LLM 离线 RLHF，给出 Verl 中 KL 正则化 PPO 的多 GPU sharding 配置、阈值调优与监控要点。
2025-11-30ai-systems2025-11
Category
ai-systems
共 7658 篇文章。
构建审稿AI检测管道：LLM指纹提取与统计阈值实战
针对会议peer review AI生成洪水，设计LLM指纹提取、统计异常阈值及人工复核队列，提供工程化参数与落地清单。
2025-11-30ai-systems2025-11
使用 Call-Center-AI SDK 一键触发 AI 电话代理：实时对话管理与断线重连工程实践
基于 Microsoft call-center-ai，通过 API 一键发起 AI 电话代理，支持实时流式对话、断线重连、多轮 claim 收集与 Azure 号码直拨部署参数。
2025-11-30ai-systems2025-11
Milvus 云原生亿级向量 ANN 搜索：HNSW/IVF/DiskANN 索引与动态分片实践
Milvus 通过 HNSW/IVF/DiskANN 索引、动态分片和混合搜索，支持亿级向量的高吞吐低延迟 ANN 检索，给出参数调优与监控要点。
2025-11-30ai-systems2025-11
Hachi：自托管图像检索引擎的嵌入索引与相似检索
详解 Hachi 自托管图像搜索引擎的 CLIP 嵌入分片存储、余弦相似阈值与元数据融合参数，提供一键部署清单与性能调优策略。
2025-11-29ai-systems2025-11
Hachi 自托管图像搜索引擎：嵌入相似检索、自定义索引与 web 查询接口
剖析 Hachi 自托管图像搜索的核心：CLIP 嵌入向量分片索引、RetinaFace 面部聚类、Nim 元索引，附 Docker 部署、阈值调优与性能监控清单。
2025-11-29ai-systems2025-11
Magiclip浏览器端多模型AI工作室：视频剪辑、语音合成与流式UI管道集成
浏览器端集成多AI模型管道，实现视频剪辑生成、语音叠加与模型链式调用，提供流式UI参数优化与工程落地清单。
2025-11-29ai-systems2025-11
ChatGPT 流式响应中的非阻塞广告插播工程实践
LLM流式输出中实现上下文相关广告插入，支持A/B测试与断线续传，确保用户感知延迟低于50ms的关键参数与监控要点。
2025-11-29ai-systems2025-11
Hachi：自托管图像搜索引擎的嵌入式检索与高效索引实践
面向个人媒体库，给出Hachi图像搜索引擎的嵌入检索、索引分片与人脸聚类工程化参数与监控要点。
2025-11-29ai-systems2025-11
LLM流式响应中非阻塞广告插入：上下文渲染、A/B测试与用户体验优化实践
针对ChatGPT广告 rollout泄露，剖析LLM流式输出中非阻塞广告插入工程：上下文匹配渲染、A/B测试框架、用户跳过率阈值与体验监控参数。
2025-11-29ai-systems2025-11
ADK-Go 代理评估管道：工具追踪与检查点恢复工程实践
基于ADK-Go构建AI代理灵活评估管道，详解自定义指标、工具调用追踪及长任务检查点恢复的参数配置与监控要点。
2025-11-29ai-systems2025-11
ADK-Go：代码优先的 AI Agent 工具包设计与工具集成
基于 ADK-Go 的代码优先方法，实现工具调用、多代理系统与部署的工程化参数与最佳实践。
2025-11-29ai-systems2025-11
使用 ADK-Go 灵活部署复杂 AI 代理：工程化参数与评估管道
基于 ADK-Go 的代码优先方法，部署多代理系统与工具集成，提供容器化配置、Cloud Run 阈值、监控清单和评估管道参数。
2025-11-29ai-systems2025-11
LightRAG 双图索引构建与查询融合蒸馏：低资源动态自适应工程实践
低资源RAG场景下LightRAG双图（实体-关系）索引构建、hybrid查询融合及小模型蒸馏工程，动态阈值/权重自适应参数与监控要点，提升检索精度与速度。
2025-11-29ai-systems2025-11
VERL中多GPU分片策略与KL正则化PPO调优实践
针对VERL的离线RLHF流水线，剖析多GPU分片策略与KL正则化PPO的关键参数配置，实现高效扩展与策略稳定。
2025-11-29ai-systems2025-11
LightRAG 查询融合：蒸馏权重与 Chunk 阈值调优
Dual-graph RAG中query fusion权重调优与chunk阈值选择，结合distillation实现低资源高效检索。
2025-11-29ai-systems2025-11
LightRAG 双图查询融合与低资源蒸馏实践：融合权重调优、块阈值与检索增益评估
低资源RAG环境下，利用LightRAG双图索引实现查询融合与蒸馏，调优融合权重0.6/0.4、块阈值800-1200，评估召回提升20-30%，提供参数清单与监控要点。
2025-11-29ai-systems2025-11
TrendRadar MCP AI 新闻分析管道：多平台热点聚合与 14 工具深度挖掘
基于 MCP 的 TrendRadar AI 分析管道：热点聚合、趋势情感相似检索工具配置与落地参数。
2025-11-29ai-systems2025-11
工程化运行时护栏：评估管道与检查点恢复框架
针对长运行AI代理，构建运行时护栏、评估管道及检查点恢复harnesses，实现超出基本恢复的规模化可靠性，提供阈值参数、监控清单。
2025-11-29ai-systems2025-11
Twilio 流式 STT/TTS 通话代理：对话状态管理与重连机制
基于 Twilio Media Streams 构建实时 STT/TTS 语音代理，给出 WebSocket 对话状态持久化、重连循环及关键参数配置。
2025-11-29ai-systems2025-11
ADK-Go 代理评估管道：工具调用与结构化测试实现
基于 ADK-Go Go SDK，构建 AI 代理工具调用评估管道，提供轨迹验证、响应质量评分及可靠性指标配置参数。
2025-11-29ai-systems2025-11
VERL 中多 GPU 分片 PPO：数据/模型并行、梯度同步与超越 DDPPO 的扩展性
VERL 框架下 KL 正则化 PPO 的多 GPU 分片策略，包括 FSDP/Megatron 并行、3D-HybridEngine resharding 和高效梯度同步，实现 offline RLHF 高扩展性。
2025-11-29ai-systems2025-11
Anthropic 长运行 Agent 有效 Harness：运行时检查点与故障恢复工程实践
借鉴 Anthropic 实践，实现长运行 AI Agent 的检查点机制、故障恢复和监控框架。通过 Git、进度文件和功能清单，确保跨会话稳定进展。
2025-11-29ai-systems2025-11
精选 4300+ 开源 n8n 工作流 JSON 模板：构建代理 AI 管道、API 链与数据 ETL
基于 Zie619/n8n-workflows 仓库，整理 4343 个生产就绪模板，支持 JSON 导入 n8n 快速组装代理 AI 管道、ETL 链路，内置错误重试、并行执行与 Docker 导出参数。
2025-11-29ai-systems2025-11
Memori：多代理 LLM 系统中的日志结构化合并树持久化记忆层
借鉴 LSM 树思想，Memori 实现多代理 LLM 的可扩展持久化分层记忆，提供 compaction 参数、检索阈值与多代理协作清单。
2025-11-29ai-systems2025-11
LightRAG 双图索引下的无 LLM 查询融合与蒸馏实践
LightRAG 通过双层图索引实现 LLM-free 查询融合与知识蒸馏，提供低资源高效 RAG，详解参数配置、落地清单与监控要点。
2025-11-29ai-systems2025-11
本地 RAG：多嵌入器混合检索与动态融合重排
本地 RAG 栈中，使用 Ollama/nomic 等多嵌入器实现关键词+向量混合检索、动态融合与重排，优化分块以提升无云精准召回。
2025-11-29ai-systems2025-11
本地 RAG 检索去重：近似重复度量与动态阈值调优
本地 RAG 系统中，针对检索结果的近重复去重，使用嵌入相似度指标与动态阈值策略，配置参数与监控要点，减少上下文冗余引发幻觉。
2025-11-29ai-systems2025-11
LightRAG 双图索引查询融合权重调优与低资源蒸馏实践
LightRAG 双图索引下查询融合权重调优与蒸馏实践，实现低资源场景高效召回与精度提升。
2025-11-29ai-systems2025-11
构建28M HN评论向量嵌入搜索数据集：ClickHouse工程实践
详解ClickHouse上28M Hacker News评论数据集构建：爬取清洗、批量嵌入生成、HNSW索引与相似度查询基准，提供可复现参数。
2025-11-29ai-systems2025-11
API驱动电话机器人集成：实时语音交互与呼叫中心自动化
基于 Microsoft Call Center AI，通过 API 发起 AI 代理电话，实现实时语音流处理与呼叫中心自动化的工程参数与监控要点。
2025-11-29ai-systems2025-11
LLM 调试简单 JS Bug 的提示工程策略：CoT、工具与迭代精炼
基于真实案例，探讨 CoT、工具调用与迭代提示策略如何暴露 LLM 在简单 JS bug 定位中的局限，并构建鲁棒代码调试管道。
2025-11-29ai-systems2025-11
LightRAG 双图索引与查询融合：阈值选择与工程参数
LightRAG 双图索引构建知识图，查询融合 hybrid 模式参数调优，实现低资源高效 RAG，提升复杂查询精度。
2025-11-29ai-systems2025-11
LLM生产反模式：构建鲁棒管道的验证、重试与路由策略
工程化LLM管道，避免提示脆弱、上下文溢出、输出不一致，通过验证层、重试逻辑和混合模型路由实现鲁棒性。
2025-11-29ai-systems2025-11
用 ADK-Go 构建工具调用 AI 代理：多代理协作与部署参数指南
代码优先的 Go SDK ADK-Go，用于 AI 代理的工具调用、多代理协作、评估与部署控制的最佳实践参数。
2025-11-29ai-systems2025-11
Anthropic 长运行 Agent 可靠支架实现：自动回滚、评估驱动恢复与故障分类
基于 Anthropic Claude Agent SDK，构建长运行 Agent 的工程化支架，包括双 Agent 架构、Git 回滚、JSON 评估循环与常见故障模式处理参数。
2025-11-29ai-systems2025-11
将 28M HN 评论导入 ClickHouse：原生 ANN 索引的语义搜索实践
基于 28M HN 评论数据集，利用 ClickHouse 原生 ANN 索引实现高效向量嵌入语义搜索，给出表设计、索引参数与 SQL 查询优化要点。
2025-11-29ai-systems2025-11
通过分数蒸馏采样、高斯溅射和可微网格优化的文本到3D网格生成
工程化文本条件3D网格生成管道：SDS指导下高斯溅射表示结合可微优化，实现高质量可编辑3D资产的关键参数与监控要点。
2025-11-29ai-systems2025-11
LLM驱动PCB网表分析自动检测原理图错误：netlist.io工程参数
利用LLM解析KiCad/Altium网表与数据手册，自动识别缺失连接、无效元件等原理图错误，提供prompt模板、置信阈值与验证清单。
2025-11-29ai-systems2025-11
本地RAG工程实践：嵌入模型选型、向量DB搭建与幻觉优化
自托管RAG系统工程指南：BGE嵌入部署、Chroma/FAISS向量库、检索融合与幻觉缓解参数。
2025-11-29ai-systems2025-11
TrendRadar 无代码 Docker 部署与多渠道推送实现
TrendRadar 30s Docker 一键部署，多平台热点聚合与 AI 分析，支持企业微信/飞书/Telegram/ntfy 等多渠道推送的关键参数与配置清单。
2025-11-29ai-systems2025-11
LightRAG 查询融合中的 Chunk 阈值调优与蒸馏权重实践
LightRAG低资源RAG场景下，query fusion的chunk thresholds调优参数与distillation权重设置，实现高效融合检索与资源优化。
2025-11-28ai-systems2025-11
LightRAG 查询融合与模型蒸馚：低资源 RAG 的块阈值与融合权重调优
在低资源环境下，利用 LightRAG 双图索引实现查询融合与模型蒸馏，详细调优 chunk 阈值与融合权重，提升检索精度。
2025-11-28ai-systems2025-11
代码优先的 Go AI 代理工具包：工具调用与评估管道实战
基于 Google ADK-Go，以代码定义构建复杂 AI 代理的核心工具调用机制、评估管道配置参数，以及部署运行时灵活控制要点。
2025-11-28ai-systems2025-11
整合 Nari Labs Dia2 Apache 2.0 TTS 模型：低延迟流式对话音频实时推理管道与分块波形生成
基于Dia2构建低延迟流式TTS系统，给出prefix条件、CUDA graph优化、Mimi chunk参数与监控阈值清单。
2025-11-28ai-systems2025-11
LightRAG双图索引查询融合蒸馏：低资源RAG动态chunk阈值与实体优化
LightRAG通过双图索引融合local/global查询，实现低资源RAG：动态chunk阈值选择、实体关系检索阈值优化及高效部署参数清单。
2025-11-28ai-systems2025-11
Beads：编码代理的持久记忆升级
为 coding agents 注入 graph-based episodic memory，通过 beads 链式 issue tracker 存储代码 diff、推理与上下文，实现无 token 重置的迭代开发。
2025-11-28ai-systems2025-11
Jotunn-8 神经向量流水线在 ARM SoC 低功耗推理中的工程实践
基于 5nm 节点，剖析 Jotunn-8 neurovector 流水线的分片策略、低功耗阈值调优及 ARM SoC 集成参数，实现高效分片推理部署。
2025-11-28ai-systems2025-11
TPU ICI 实现低延迟全对全集体操作：优于 NVLink 的海量多 Pod AI 训练
剖析 TPU ICI 在带宽、延迟、容错上的优势，针对海量多 Pod AI 训练提供全对全集体操作的参数阈值、融合优化与监控清单。
2025-11-28ai-systems2025-11
剖析 Vsora Jotunn-8 5nm 推理 SoC 的 NeuroVector 流水线设计、低功耗调度与 ARM 集成优化
聚焦欧洲首款 5nm HBM 推理 SoC，解析 NeuroVector 流水线的高吞吐机制、低功耗调度阈值及 ARM 主机集成参数，实现高效推理部署。
2025-11-28ai-systems2025-11
聚合 n8n Workflows 构建低代码 AI Agent 编排库：故障容错与多平台集成
基于 Zie619/n8n-workflows 库，快速组装数千开源 workflows 实现 AI agent 管道，支持 Docker 多平台部署、自动重试机制与 node-graph 监控参数。
2025-11-28ai-systems2025-11
LightRAG 双图查询融合与知识蒸馏优化：低资源 RAG 的 chunk 阈值选择与实体关系索引工程实践
LightRAG 通过双知识图索引与查询融合机制，结合小模型知识蒸馏优化，实现低资源场景下高效 chunk 阈值调优与实体关系索引实践，提升 RAG 检索精度与生成质量。
2025-11-28ai-systems2025-11
Go 语言代码优先的 AI Agent 工具包：adk-go 的构建与部署实践
adk-go 作为代码优先的 Go 工具包，支持无依赖工具调用、灵活运行时和评估流水线，给出工程参数与部署清单。
2025-11-28ai-systems2025-11
欧洲5nm AI推理SoC Jotunn-8：无晶圆厂设计与低功耗边缘部署工程实践
剖析Vsora Jotunn-8的fabless设计流程、5nm自定义NPU架构与ARM集成参数，助力低功耗边缘AI推理落地。
2025-11-28ai-systems2025-11
KPN 滤波在猫图像生成管道中的滤波器预测与多尺度融合
将 Kernel Prediction Network (KPN) 集成到猫图像生成管道，实现像素级滤波核预测与多尺度融合，提升生成效率与细节质量，提供落地参数。
2025-11-28ai-systems2025-11
VERL中KL正则化PPO的多GPU数据并行：离线RLHF偏好蒸馏与千卡扩展
VERL框架下KL正则化PPO的多GPU数据并行训练，支持离线RLHF偏好蒸馏，提供高效扩展到千卡规模的工程参数与监控要点。
2025-11-28ai-systems2025-11
TPU ICI 互连 vs NVLink：AI 集群扩展瓶颈与生态锁定工程考量
对比 TPU 3D Torus ICI 与 NVLink CLOS 在 AI 集群 scaling 的瓶颈与生态锁定，剖析工程选型参数及 Google 长期竞赛优势。
2025-11-28ai-systems2025-11
LightRAG 查询融合与知识蒸馏：低资源高效RAG工程实践
LightRAG 通过双图索引与查询融合机制，实现实体检索与关系聚合的动态融合；结合知识蒸馏优化小模型KG提取，提供低成本、高效RAG pipeline参数与部署清单。
2025-11-28ai-systems2025-11
verl中KL正则化PPO的多GPU数据并行离线RLHF偏好对齐蒸馏实现
详解verl框架下KL-regularized PPO的多GPU数据并行配置，用于离线RLHF偏好对齐蒸馏，提供工程参数清单、监控要点与稳定性优化策略。
2025-11-28ai-systems2025-11
DeepSeekMath-V2：通过多阶段验证生成实现自验证数学推理
基于DeepSeek-V3.2-Exp-Base的多模型MoE架构，工程化verifier-generator闭环与meta-verification，提升IMO金牌级定理证明，提供落地参数与监控要点。
2025-11-28ai-systems2025-11
API驱动的AI电话机器人：外呼与呼入集成实现
通过API触发AI代理外呼或处理呼入电话，提供电话机器人工程化参数与部署清单。
2025-11-28ai-systems2025-11
Memori：AI代理的分层记忆引擎
Memori通过SQL-native分层记忆架构，为LLM/AI代理提供短/长期记忆层，支持embedding-like检索、多代理共享及高效更新查询操作。
2025-11-28ai-systems2025-11
TPU 自定义互连与生态锁定 vs GPU 扩展瓶颈：Google 长期 AI 集群策略关键参数
工程剖析 TPU ICI/OCS 3D torus 高效 scaling 与 GPU NVLink/InfiniBand 瓶颈，揭示生态锁定下 Google 集群 TCO 优化与长期 AI 竞赛定位参数。
2025-11-28ai-systems2025-11
TrendRadar：基于MCP的多平台热点AI分析工具
TrendRadar聚合35平台热点，利用MCP协议集成13种AI分析工具，实现趋势追踪、情感分析与相似检索，支持Docker部署与多渠道推送。
2025-11-28ai-systems2025-11
Milvus 云原生亿级向量 ANN 搜索：HNSW/IVF-PQ 分片索引与查询分布工程参数
针对亿级向量低延迟 ANN 检索，Milvus 云原生架构通过 HNSW/IVF-PQ 索引结合分片与查询分布，提供可扩展参数配置与监控清单。
2025-11-28ai-systems2025-11
Runprompt：CLI 执行可复用 LLM Prompt 模板文件
Runprompt CLI 工具详解：通过 .prompt 文件实现 LLM 提示模板的变量替换、模型路由、结构化输出与链式调用，支持工程化 prompt 管理。
2025-11-28ai-systems2025-11
TPU脉动阵列对比GPU张量核：HBM效率与Google长期AI训练路径
对比TPU systolic array与GPU tensor cores在HBM带宽与功率效率的优势，剖析Google长期AI训练的工程参数与扩展策略。
2025-11-27ai-systems2025-11
TPU 脉动阵列与 HBM 带宽对比 GPU 张量核：稠密矩阵乘法与动态负载下的能效扩展
剖析 TPU 脉动阵列在稠密矩阵乘法中的 HBM 带宽利用与能效优势，对比 GPU 张量核在动态负载下的灵活性与长期训练热功耗挑战，提供集群参数与监控清单。
2025-11-27ai-systems2025-11
ADK-Go 零依赖运行时：无 Shim 工具调用与并发 Context 缓存
Go 代码优先的零依赖 AI 代理运行时，实现 shimless 工具调用与并发 context 缓存，支持多代理低延迟协调的参数配置。
2025-11-27ai-systems2025-11
通过 n8n 节点图编排容错代理式 AI 流水线：LLM 链式、条件分支、重试逻辑与凭证隔离
利用 n8n 可视化节点图构建生产级代理式 AI 流水线，详解 LLM 链式调用、API 编排、条件分支、重试机制及凭证隔离的最佳参数与监控要点。
2025-11-27ai-systems2025-11
LM辅助编码：本质与事故复杂性的工程平衡
工程化LM辅助编码实践：平衡本质复杂性（形式正确性验证）与事故复杂性（实用迭代部署、错误容忍），提供工具链集成、参数配置与监控框架。
2025-11-27ai-systems2025-11
LightRAG 双图实体关系索引与查询融合：简易低资源 RAG 实现
LightRAG 通过双图索引、查询融合与 chunk 参数优化，实现低资源高效 RAG，结合蒸馏技术超越稠密检索基线。
2025-11-27ai-systems2025-11
训练时令牌注入实现 GPL 许可元数据嵌入 AI 模型权重：蒸馏传播检查与合规审计
针对 GPL copyleft 在 AI 模型训练中的传播不确定性，提出通过训练时特殊令牌注入嵌入可验证许可元数据的技术方案，实现蒸馏传播检查与合规审计机制。
2025-11-27ai-systems2025-11
攻克 AI 代理工程陷阱：稳健规划循环、可靠工具调用与持久状态管理
针对 AI 代理设计核心痛点，提供规划循环、工具调用及状态管理的工程参数、阈值与监控清单，实现生产级可靠性。
2025-11-27ai-systems2025-11
通过 Azure /call API 工程化 AI Agent 主动拨打电话
利用 Microsoft Call Center AI 的 /call API 派遣 AI agent 主动拨出电话，支持 GPT-4o-mini 流式语音、RAG 检索、中断感知工具调用，实现呼叫中心 outbound 自动化。
2025-11-27ai-systems2025-11
Fara-7B LoRA 高效微调：屏幕解析到动作执行的低延迟代理管道
基于Fara-7B的LoRA微调方案，实现屏幕截图解析、动作预测与执行的工程化优化，提供参数配置、训练清单与低延迟推理要点。
2025-11-27ai-systems2025-11
VERL中多GPU数据并行KL正则化PPO：可扩展离线RLHF偏好排名蒸馏实现
VERL框架下，利用FSDP实现多GPU数据并行KL-PPO，支持离线RLHF偏好排名蒸馏。详解配置参数、3D-HybridEngine优化与监控要点，确保高效训练大模型对齐。
2025-11-27ai-systems2025-11
LightRAG 双图查询融合：低资源环境下的快速检索
LightRAG 通过实体-关系双图与 hybrid 查询融合，实现低资源 RAG 的 chunk 阈值优化、边提炼与快速检索参数。
2025-11-27ai-systems2025-11
Memori：工程化多代理分层记忆系统——嵌入层次与 episodic recall 实现长期会话持久化
基于 Memori 的分层记忆机制，支持 multi-agent 长期会话的 episodic recall 与高效 SQL 检索，提供工程化配置参数与用户隔离策略。
2025-11-27ai-systems2025-11
Fara-7B 代理模型训练：屏幕解析、动作标记化与 LoRA 多 GPU 适配
详解微软 Fara-7B 7B 代理模型高效训练路径：合成数据管道、屏幕视觉解析与动作令牌化设计，以及 LoRA 在多 GPU 上的参数配置、监控要点与回滚策略。
2025-11-27ai-systems2025-11