基于硬件计数器的LLM推理能耗剖析：集成预测模型估算可扩展部署碳足迹
针对LLM推理能耗，使用硬件计数器剖析关键指标，并集成预测模型估算碳足迹，提供参数阈值与监控策略。
2025-10-06ai-systems2025-10
Category
ai-systems
共 7658 篇文章。
构建带有确定性因子的前向链规则引擎：模仿 Mycin 系统诊断细菌感染
基于经典 Mycin 系统，探讨前向链规则引擎结合确定性因子在细菌感染诊断中的工程化实现参数与监控要点。
2025-10-06ai-systems2025-10
BitNet 的 TVM 优化移动部署：位串行操作与低延迟内核融合
整合 TVM 编译器传递以支持 BitNet 中的位串行操作，实现移动端低延迟的 1 位 LLM 推理，包括内核融合和运行时调度。
2025-10-06ai-systems2025-10
通过GPT-OSS反刍模式推断OpenAI训练数据组成与比例
分析开源GPT模型输出中的反刍模式，以逆向工程推断OpenAI训练数据的具体来源和比例，提供高效自定义LLM数据集 curation 的指导参数和清单。
2025-10-06ai-systems2025-10
工程化 LLM 分词器处理变体选择符与规范化管道：对抗性海马表情序列缓解
针对对抗性 Unicode 变体选择符序列，如海马表情变体，探讨 LLM 分词器的处理机制、规范化管道设计，以及工程参数与监控要点，以提升鲁棒性。
2025-10-06ai-systems2025-10
文本到3D代理的混合VLM-扩散架构：模块化检索与生成优化
探讨文本到3D代理中混合视觉语言模型与扩散架构的集成，通过模块化检索和生成实现高效管道优化与可扩展3D资产生成。
2025-10-06ai-systems2025-10
调优 UTF-8 规范化阈值以提升分词器对海马表情符号的鲁棒性
针对海马表情符号引发的 OOV 峰值和不稳定输出，讨论在 LLM 分词器中添加多字节解码回退和规范化阈值调优的工程实践。
2025-10-06ai-systems2025-10
LLM 分词器中实现多字节 UTF-8 解码回退与规范化：处理对抗性海马表情序列
面向对抗性海马表情序列，给出 LLM 分词器中多字节 UTF-8 解码回退与 Unicode 规范化的工程化实现与参数配置。
2025-10-06ai-systems2025-10
工程化 LLM 分词器对抗海马等表情符号的对抗输入
探讨 LLM 分词器如何处理对抗性表情符号输入，如海马 emoji 引发的异常输出和安全绕过，提供工程化缓解参数和监控要点。
2025-10-06ai-systems2025-10
Custom ASIC Design for BitNet Ternary Logic Accelerators
针对 BitNet 的三进制逻辑单元和位串行乘法器，设计自定义 ASIC 以实现边缘 IoT 设备上超低功耗 1-bit LLM 推理，提供工程参数和优化策略。
2025-10-06ai-systems2025-10
FPGA上BitNet 1-bit LLM推理的位串行乘法器实现：超低功耗边缘部署与HLS流水线
本文探讨在FPGA上使用位串行乘法器加速BitNet 1-bit LLM推理，通过自定义HLS流水线实现边缘设备的超低功耗部署。提供设计参数、优化策略和落地清单，帮助工程师快速构建高效推理系统。
2025-10-06ai-systems2025-10
BitNet 与 TVM 编译器集成：跨硬件 1-bit LLM 优化部署
将 BitNet 1-bit LLM 推理框架与 TVM 编译器集成，实现 CPU/GPU/边缘设备的优化编译与自动调优，提供最小框架变更的部署参数。
2025-10-06ai-systems2025-10
使用 Airweave 工程化模块化 LLM 代理：动态 API Schema 集成实现应用搜索
基于 Airweave 构建模块化 LLM 代理，支持动态 API 集成，实现跨多样应用的自动化搜索与交互，提供工程参数与落地清单。
2025-10-06ai-systems2025-10
RAG 管道中 LLM 解析的 11 种表格格式基准测试
基准测试 11 种表格格式在 LLM 解析中的性能，优化提取阈值和格式选择以最小化 RAG 向量检索中的幻觉。
2025-10-06ai-systems2025-10
BitNet 在边缘设备上的部署：使用自定义位串行操作实现低功耗实时推理
针对资源受限边缘设备，使用 BitNet 框架与自定义位串行操作优化 1-bit LLM 推理，提供部署参数、监控要点与最佳实践。
2025-10-06ai-systems2025-10
构建统一的 Rust/Python 客户端实现免费多 LLM 访问
基于 gpt4free 库，开发支持 GPT-4o、Gemini 2.5 和 DeepSeek 的 Rust 和 Python 客户端，集成率限和故障转移机制，确保稳定访问免费层服务。
2025-10-06ai-systems2025-10
使用 Pathway 构建实时 RAG 同步管道：向量存储动态更新与低延迟查询优化
在 LLM 应用中，利用 Pathway 框架的实时 ETL 管道实现动态数据同步到向量存储，优化嵌入更新以支持低延迟 RAG 查询，提供工程化参数和监控要点。
2025-10-06ai-systems2025-10
在 Raspberry Pi 上优化 BirdNET 的实时音频捕获与 ML 推理管道
针对边缘设备鸟类识别，优化音频捕获、噪声抑制与低延迟推理管道，提供参数配置与监控策略。
2025-10-06ai-systems2025-10
BitNet 中 bit-serial 矩阵乘法内核实现：资源受限设备上的高效 1-bit LLM 推理与量化感知训练整合
探讨在 BitNet 中实现 bit-serial 矩阵乘法内核，以支持资源受限设备上的 1-bit LLM 高效推理。重点整合量化感知训练，确保无损精度，提供内核参数、阈值和部署清单。
2025-10-06ai-systems2025-10
Reverse-Engineering OpenAI's Data Curation Pipelines via GPT-OSS Outputs
分析 GPT-OSS 嵌入向量揭示 OpenAI 数据预处理中的去重阈值和合成增强比率，提供高效 LLM 预训练的可操作参数。
2025-10-06ai-systems2025-10
在 AMD CDNA4 上利用 MFMA 指令和波前调度优化 GEMM 内核：针对 MI300X 的 AI 推理吞吐量
针对 AMD CDNA4 架构的 MI300X 加速器，利用 MFMA 指令和波前调度优化 GEMM 内核，提升 AI 推理吞吐量的工程实践与参数配置。
2025-10-06ai-systems2025-10
BitNet 中三元权重量化管道工程化：自定义损失缩放与梯度裁剪下的稳定 LLM 训练收敛
面向 LLM 训练，给出 BitNet 三元权重量化管道的工程实现、自定义损失缩放与梯度裁剪策略，确保稳定收敛的监控要点。
2025-10-06ai-systems2025-10
Claude 工具调用上下文优化：长多轮交互中的工程实践
探讨 Claude 平台中上下文窗口优化策略，支持代理工作流中的工具调用与状态维护。
2025-10-06ai-systems2025-10
通过针对性提示探针 GPT-OSS 记忆数据 regurgitation：推断 OpenAI 数据过滤与去重技术
利用动态对抗提示提取 GPT-OSS 训练片段，分析 regurgitation 模式以推断 OpenAI 的数据处理策略，包括过滤阈值和去重参数，提供工程化监控要点。
2025-10-06ai-systems2025-10
Dissecting NIST's DeepSeek Benchmark Flaws
剖析 NIST 对 DeepSeek 的评估缺陷：选择性指标、夸大双重用途风险以及开源模型偏见，提出更安全的 AI 评估实践。
2025-10-06ai-systems2025-10
使用 BitNet 构建 Python REST API 服务 1-bit LLM 推理
本文详述如何利用 BitNet 框架在边缘硬件上构建高效 Python REST API，实现端点路由、量化模型缓存以及低延迟 1-bit LLM 推理服务，提供实用参数配置和监控要点。
2025-10-06ai-systems2025-10
通过监督学习框架耦合隐式Actor-Critic：稳定视觉-语言奖励建模与政策优化
在RLVR框架下，使用监督学习实现Actor-Critic隐式耦合，提升视觉-语言奖励建模的稳定性和政策优化效率。
2025-10-06ai-systems2025-10
ComfyUI API 后端优化：分布式推理与自定义节点集成
针对 ComfyUI 图基 API 后端，给出模块化扩散模型推理的优化策略，实现可扩展分布式执行和自定义节点集成，提供工程参数与监控要点。
2025-10-06ai-systems2025-10
使用 Pathway 增量 ETL 构建 LLM 实时数据摄取管道：容错机制与参数优化
基于 Pathway 的增量视图计算，从 Kafka 流源实现动态 LLM 数据摄取的实时 ETL 管道，提供故障恢复参数和监控清单。
2025-10-06ai-systems2025-10
构建基于ML的Python代码氛围分析器：审美与创意评分
面向AI生成代码的质量检查，介绍如何构建ML驱动的Python linter，评估代码的审美与创意，并集成CLI工具与pre-commit钩子。
2025-10-05ai-systems2025-10
Claude 开发者平台 API 中的多轮上下文编排：状态管理、缓存与跨会话连续性
探讨 Claude Developer Platform API 如何通过 Messages API、Context Editing 和 Memory Tool 等功能，实现高效的多轮对话状态管理、提示缓存以及跨会话连续性，避免内存 API 重叠，提供生产级部署参数与最佳实践。
2025-10-05ai-systems2025-10
LLM表格格式解析基准测试：11种格式在RAG管道中的准确率与优化
基准测试11种表格格式在LLM解析中的准确率，分析RAG管道结构化提取错误率，提供优化参数与工程实践建议。
2025-10-05ai-systems2025-10
Multi-Agent LLM Trading Agents for Chinese Financial Analysis
探讨如何使用多代理LLM框架如TradingAgents-CN进行协作金融分析，包括中文新闻情绪提取、实时股票预测和风险感知交易模拟，强调共享内存与共识机制的工程实践。
2025-10-05ai-systems2025-10
在 Airweave 中工程化模块化 LLM 代理：动态 API 模式推断与自适应工具发现
面向动态 API 交互，给出 Airweave 中 LLM 代理的模块化工程化方案与验证机制。
2025-10-05ai-systems2025-10
LLM 表格格式解析基准：RAG 管道中的准确率评估
基准测试 11 种表格格式（Markdown、CSV、HTML 等）在 LLM 解析中的准确性，强调结构化提取的错误率，提供 RAG 管道优化参数和监控要点。
2025-10-05ai-systems2025-10
游戏 2D Spine 角色动画 AI 工程管道：姿势估计、扩散内绘与运行时混合
工程化 AI 管道用于 2D 游戏中基于 Spine 的角色动画，集成姿势估计、扩散内绘和运行时混合，实现动态资产生成，提供参数配置与监控要点。
2025-10-05ai-systems2025-10
ComfyUI：基于节点的扩散模型工作流设计与自定义扩展
利用 ComfyUI 的节点系统设计扩散模型工作流，支持 Stable Diffusion 推理、ControlNet 集成和自动化图像生成管道，提供实用参数与扩展指南。
2025-10-05ai-systems2025-10
使用 Anthropic Memory API 工程化跨会话记忆持久化：版本控制与冲突解决
本文探讨如何利用 Anthropic 的 Claude 模型结合记忆层，实现 AI 助手的跨会话个性化记忆管理，包括版本控制机制和冲突解决策略，确保可扩展性和数据一致性。
2025-10-05ai-systems2025-10
使用 Anthropic Memory API 实现选择性记忆检索与上下文压缩
利用 Anthropic 的 Claude API 记忆功能，优化可扩展 AI 聊天应用中的长期对话处理，提供选择性检索和压缩的工程实践。
2025-10-05ai-systems2025-10
集成 Anthropic Memory Tool 实现 LLM 持久记忆存储
详解 Anthropic Memory Tool 的集成与命令使用，提供安全存储参数与动态知识管理清单。
2025-10-05ai-systems2025-10
LLM 定理证明中的 Z3 反馈校正
在多步定理证明过程中，引入迭代 Z3 反馈循环，实现动态错误检测与校正，提供工程参数与最佳实践。
2025-10-05ai-systems2025-10
Optimizing BitNet for ARM NEON Mobile Inference
探讨如何利用 ARM NEON intrinsics 优化 BitNet 框架，实现高效的 1.58-bit LLM 在移动 CPU 上的推理，包括量化矩阵操作的加速和内存足迹减少的工程实践。
2025-10-05ai-systems2025-10
Tunix中基于JAX集成的分片TPU后训练：DPO对齐的all-reduce梯度同步与容错检查点
在Tunix框架下，利用JAX的pmap和pjit实现TPU上的分片DPO训练，详细阐述all-reduce同步与故障恢复检查点的落地参数。
2025-10-05ai-systems2025-10
ProofOfThought 中的 Z3 反馈循环：迭代定理验证与安全关键代码错误校正
面向安全关键代码证明，给出 ProofOfThought 中 Z3 反馈循环的工程化实现、迭代参数与验证监控。
2025-10-05ai-systems2025-10
使用 Microsoft Agent Framework 编排 Python 和 .NET 混合 AI 代理：共享状态与跨语言部署
面向混合语言 AI 代理，给出 Microsoft Agent Framework 的共享状态、可观测性和部署工程化参数。
2025-10-05ai-systems2025-10
使用 Microsoft Agent Framework 实现 Python 与 .NET 混合 AI 代理编排：共享状态与可观察性
探讨 Microsoft Agent Framework 在跨语言 Python/.NET AI 代理编排中的应用，重点共享状态同步和可观察性监控，以支持可扩展企业工作流。
2025-10-05ai-systems2025-10
工程化 LLM 代码变换管道：混淆、匿名与检测逃避
面向 OSS 贡献，使用 LLM 实现代码混淆与变体生成，提供管道参数、阈值设置与监控策略。
2025-10-05ai-systems2025-10
ProofOfThought: Z3-Integrated Chain-of-Thought for Formal Proofs in Safety-Critical Code Analysis
ProofOfThought 框架将 Z3 定理证明器嵌入 LLM 思维链中，实现安全关键代码的自动化正式证明生成与实时验证，提升推理可靠性和可解释性。
2025-10-05ai-systems2025-10
ROCm中波前同步与混合精度矩阵核心操作的工程化：面向低延迟边缘AI
探讨AMD Instinct加速器上ROCm框架下波前同步机制与混合精度矩阵运算的工程实践，针对边缘AI低延迟张量计算的优化策略与参数配置。
2025-10-05ai-systems2025-10
LLM推理中的迭代Z3反馈循环：动态证明调整与错误纠正
面向LLM与Z3的混合推理，给出迭代反馈循环的工程化参数与监控要点。
2025-10-05ai-systems2025-10
使用 BitNet 框架部署 1-bit LLM：三元权重量化、LUT 矩阵乘加速与 GPU 运行时优化
面向 1-bit LLM 部署，给出 BitNet 框架下的三元量化、LUT 加速与 GPU 优化参数及低延迟管道配置。
2025-10-05ai-systems2025-10
Agent-S：基于VLM引导的代理式计算机模拟框架
Agent-S 框架通过视觉语言模型引导 API 调用和屏幕解析，实现人类般的计算机交互，支持多步任务在模拟环境中的编排。提供安装配置、参数优化和安全监控要点。
2025-10-05ai-systems2025-10
Agent-S 中 VLM 驱动的 grounding 机制：从 LLM 计划到可执行 Python 代码
探讨 Agent-S 框架中 VLM 驱动的 grounding 机制，实现 LLM 计划到桌面交互的可执行代码转换，提供参数配置与优化策略。
2025-10-05ai-systems2025-10
将 Z3 集成到 LLM 推理循环中实现定理证明的动态错误检测与修正
在多步定理证明任务中，引入 Z3 SMT 求解器到 LLM 推理流程，提供实时错误反馈、路径回溯机制及自动化修正策略，提升推理鲁棒性。
2025-10-05ai-systems2025-10
Motia 多语言后端统一：通过核心原语集成 API、后台任务、工作流与 AI 代理
Motia 框架通过 Step 原语统一多语言后端开发，集成 APIs、后台作业、工作流和 AI 代理，提供内置可观察性和状态管理，实现可扩展开发。
2025-10-05ai-systems2025-10
应用缩放定律进行 LLM 知识注入微调：合成数据比例与阈值优化
利用缩放定律指导 LLM 微调中的知识注入，优化合成数据比例与阈值，实现高效领域适应并最小化计算开销。
2025-10-05ai-systems2025-10
使用 Tunix 在 JAX 中向量化 DPO 和蒸馏：高效分布式 LLM 对齐与 TPU 量化
探讨 Tunix 如何利用 JAX 的 vmap 和 pmap 实现 DPO 和知识蒸馏的向量化与分布式训练，提供 TPU 上 LLM 对齐和量化的工程参数与最佳实践。
2025-10-05ai-systems2025-10
使用 ProofOfThought 从 LLM 解析代码规范生成 SMT 约束：安全关键软件不变量的自动化验证
探讨 ProofOfThought 如何利用 LLM 解析代码规范生成 SMT 约束，实现安全关键软件不变量的自动化验证，提供工程参数和最佳实践。
2025-10-05ai-systems2025-10
利用 Tunix 的 JAX 原语实现矢量化 RLHF 对齐：DPO 在后训练中的高效偏好优化
面向 LLM 后训练，给出 Tunix 中 JAX 矢量化 DPO 的工程参数与偏好优化要点。
2025-10-05ai-systems2025-10
利用AI图神经网络预测IBD炎症路径中抗生素结合位点
通过图神经网络结合分子动力学模拟，预测抗生素在IBD炎症路径中的结合机制，并给出in silico验证的工程化参数与再利用策略。
2025-10-05ai-systems2025-10
ProofOfThought 的 Z3 混合推理：神经符号程序合成实现鲁棒可解释推理
基于 NeurIPS 2024 论文，介绍 ProofOfThought 的神经符号方法，提升 LLM 推理的可靠性和可解释性。
2025-10-05ai-systems2025-10
Proof-of-Thought：链式 LLM 提示生成逻辑定理并用 Z3 验证
Proof-of-Thought 框架通过链式 LLM 提示生成逻辑定理，利用 Z3 SMT 求解器逐步验证，支持一般推理任务的可靠证明构建。提供高层 API 简化集成，并给出工程参数如迭代阈值和监控策略。
2025-10-05ai-systems2025-10
模块化神经系统桥接统计推理到涌现智能
使用图神经网络设计模块化AI代理系统，实现从统计推断到可扩展推理与规划的跃迁，提供工程参数与落地指南。
2025-10-05ai-systems2025-10
将 Lean 定理证明器策略与 LLM 提示集成：验证代码生成证明的逐步数学推理
通过 LLM 提示生成 Lean tactics 序列，实现对代码生成中数学推理证明的逐步验证，提供提示工程参数和迭代优化策略。
2025-10-05ai-systems2025-10
集成定理证明器验证与修正LLM推理步骤：多跳任务逻辑一致性保障
在LLM多跳推理中集成Z3或Lean定理证明器，提供验证与修正机制的工程参数、阈值设置及监控要点，确保逻辑一致性。
2025-10-05ai-systems2025-10
通过缩放定律分析优化 LLM 预训练数据混合以实现知识注入
基于实证缩放定律分析，探讨知识注入的 LLM 预训练数据混合优化策略，实现性能与效率的平衡提升。
2025-10-05ai-systems2025-10
通过合成结构化数据注入实现知识注入：利用预训练中的幂律缩放提升10倍效率
在LLM预训练中注入合成结构化数据，实现领域适应的10倍效率，利用幂律缩放避免完整重训练，提供参数配置与实施指南。
2025-10-05ai-systems2025-10
使用 Pathway 部署 Docker 友好 RAG 模板：实时多源数据同步与企业搜索
通过 Pathway 的 Docker 友好 RAG 模板，实现从 SharePoint、Google Drive、S3 等多源的实时数据同步，支持企业级 AI 管道和搜索。
2025-10-05ai-systems2025-10
微软代理框架中多代理 AI 工作流的编排：Python 与 .NET 集成及可扩展部署
探讨微软代理框架如何通过 Python 和 .NET 支持多代理工作流的编排，包括状态管理、DevUI 调试和可扩展部署策略。
2025-10-05ai-systems2025-10
将 BitNet 三元查找表集成到自定义 Triton 内核中：GPU 加速 1-bit LLM 推理
面向服务器端 1-bit LLM 推理，给出 BitNet LUT 与 Triton 内核集成的工程参数、优化要点与监控策略。
2025-10-05ai-systems2025-10
低功耗ASIC上1位LLM推理的位串行矩阵乘法内核设计：移位-加法流水线优化
针对1位LLM推理，设计位串行矩阵乘法内核，利用移位-加法流水线优化低功耗ASIC，实现亚1W边缘部署。讨论硬件参数、流水线配置与功耗监控要点。
2025-10-05ai-systems2025-10
利用 JAX vmap/pmap 实现分布式 LLM 蒸馏与量化感知后训练
探讨如何在资源受限硬件上使用 Tunix 库和 JAX 的并行机制优化 LLM 后训练，包括蒸馏和量化策略的参数配置与工程实践。
2025-10-05ai-systems2025-10
BitNet 中使用直通估计器工程化三元权重训练：针对资源受限硬件的 1-bit LLM 优化
面向资源受限硬件的 1-bit LLM，探讨 BitNet 三元权重训练的工程实践，使用 STE 实现高效梯度传播，提供参数配置与监控策略。
2025-10-04ai-systems2025-10
BitNet 在边缘设备部署优化：三元权重的低功耗推理与内核配置
针对电池供电的 IoT 设备，利用 BitNet 的三元权重和 bitnet.cpp 自定义内核，实现内存高效的 1-bit LLM 推理优化。
2025-10-04ai-systems2025-10
BitNet 中使用直通估计器的三元权重量化训练
探讨 BitNet 中三元 {-1,0,1} 权重的量化训练机制，利用 STE 优化梯度流，并提供激活缩放与收敛参数的工程实践。
2025-10-04ai-systems2025-10
使用 BitNet 构建 1-bit LLM 推理管道
面向 1-bit LLM 的边缘部署，给出三元权重量化管道、自定义内核和运行时优化的工程参数与配置要点。
2025-10-04ai-systems2025-10
资源受限边缘设备上部署 1-bit LLM：BitNet 量化感知推理优化
利用 BitNet b1.58 框架，在边缘设备上部署 1-bit 大模型，实现低延迟移动 AI，精度损失最小。
2025-10-04ai-systems2025-10
BitNet 三元权重量化训练工程：直通估计器与梯度裁剪实践
面向 1.58-bit BitNet 模型训练，给出直通估计器实现与梯度裁剪参数的工程化指南。
2025-10-04ai-systems2025-10
Motia：多语言后端统一框架，Step 原语整合 API、工作流与 AI 代理
探讨 Motia 如何以 Step 为核心原语统一多语言后端，整合 API、后台作业、工作流及 AI 代理的工程参数与可观察性要点。
2025-10-04ai-systems2025-10
Agent-S：桌面代理模拟框架的工程实现
面向复杂桌面任务，给出 Agent-S 框架的 UI 自动化、API 集成与状态管理的工程参数与优化要点。
2025-10-04ai-systems2025-10