PyTorch Monarch 中的块对角低秩注意力优化：移动 NPU 高效注意力计算工程实践
深入剖析 PyTorch Monarch 矩阵的块对角近似与低秩因式分解技术，用于工程化融合内核，实现移动 NPU 上注意力机制的低延迟、高吞吐计算。涵盖参数配置、优化策略及潜在风险。
2025-10-24ai-systems2025-10
Category
ai-systems
共 7658 篇文章。
PyTorch Monarch 中的块对角低秩注意力优化
探讨 PyTorch Monarch 矩阵中块对角近似和低秩因式分解在高效移动 NPU 注意计算中的工程化融合内核实现，提供参数调优和监控要点。
2025-10-24ai-systems2025-10
PyTorch Monarch Mixer 在移动 NPU 上的边缘加速：融合内核与块对角近似工程
针对 Monarch 矩阵操作，介绍融合内核设计与块对角近似方法，实现 PyTorch Mobile 部署中移动 NPU 上的 sub-10ms 推理优化。
2025-10-23ai-systems2025-10
使用 Sherpa-ONNX 构建嵌入式关键词 spotting 系统
利用自适应 VAD、模型量化和 IoT 微控制器集成，实现低延迟唤醒词检测。
2025-10-23ai-systems2025-10
基于 CRDT 的离线同步：Deta Surf 中使用 Yjs 和 ONNX Runtime 实现本地优先 AI 笔记本
探讨 Deta Surf 如何通过 Yjs 的 CRDT 机制实现协作离线同步，并集成 ONNX Runtime 支持无云依赖的 AI 模型原型与实验。
2025-10-23ai-systems2025-10
使用 Sherpa-ONNX 在边缘设备上构建实时说话人分割管道
面向噪声音频的多说话人场景，给出 Sherpa-ONNX 实时说话人 diarization 管道的低延迟 VAD 集成、参数优化与监控要点。
2025-10-23ai-systems2025-10
Monarch 矩阵实现：块对角与低秩分解用于高效线性变换
通过块对角加低秩分解实现 Monarch 矩阵，用于 ML 模型的参数高效线性变换，减少 FLOPs 和内存，支持边缘设备 Transformer 训练。
2025-10-23ai-systems2025-10
使用 ONNX Runtime Web、Yjs 和无锁入同步工程化离线 AI 笔记本
探讨在 AI 笔记本中实现离线推理，使用 ONNX Runtime Web 运行本地模型，Yjs 基于 CRDT 的实时协作，以及无缝本地-云同步策略，避免供应商锁入。
2025-10-23ai-systems2025-10
Sherpa-ONNX 源分离与 VAD 在嵌入式系统中的实时多说话人解纠缠实现
面向实时嵌入式系统，给出 Sherpa-ONNX 源分离、VAD 与低延迟梁形成集成的工程参数、监控要点及实施清单。
2025-10-23ai-systems2025-10
Transformer 中蝴蝶因子分解用于低秩注意力近似
探讨在Transformer中使用蝴蝶结构矩阵近似低秩注意力，实现大模型在消费级GPU上的内存优化训练，提供工程参数与实现要点。
2025-10-23ai-systems2025-10
在 PyTorch 中集成 Monarch 矩阵：Transformer 的结构化低秩近似优化
探讨 Monarch 矩阵在 PyTorch 中的集成，用于 Transformer 的结构化低秩近似，优化大型模型训练的内存和计算效率，同时最小化准确性损失。
2025-10-23ai-systems2025-10
浏览器中集成 Fish Speech 与 SSE 实现实时多语言 TTS 流式输出
将 Fish Speech 扩散模型与 SSE 结合，在浏览器环境中实现低延迟多语言 TTS 流式合成，支持部分音频处理和连接重连。
2025-10-23ai-systems2025-10
构建电子书到有声书管道：零-shot语音克隆与多语言支持
基于ebook2audiobook，介绍零-shot语音克隆、多语言TTS管道的构建，包含语调转移、多说话者混合的参数配置与优化要点。
2025-10-23ai-systems2025-10
Gemini CLI 与 Shell 管道集成：上下文命令生成
通过将 Shell 输出管道输入 Gemini CLI，实现基于上下文的 AI 辅助命令生成，提升终端工作流效率，无需完整 REPL 状态管理。
2025-10-23ai-systems2025-10
Claude Cookbook：基于 Jupyter 的多步推理配方工程
工程化 Jupyter 配方，用于 Claude API 工具调用、状态持久化和代理工作流中的错误处理，实现可重现的多步推理链。
2025-10-23ai-systems2025-10
Fish Speech 中非自回归扩散 Transformer 的工程实现：并行多语言 TTS 生成、VQ-VAE 标记化和边缘低延迟合成
探讨 Fish Speech 中 DiT 架构的工程实践，支持并行多语言 TTS、VQ-VAE 令牌化和 RTF <0.2s 的低延迟合成。
2025-10-23ai-systems2025-10
Ovi 双骨干中令牌级同步：低延迟跨模态生成实现
探讨 Ovi 模型中 token-level 同步机制，通过双 DiT 骨干的跨模态融合实现音频视频对齐，避免帧缓冲开销的工程参数与优化策略。
2025-10-23ai-systems2025-10
在 Parlant 中构建容错 LLM 代理用于边缘实时控制系统
利用 Parlant 框架工程化容错 LLM 代理，聚焦模块化错误恢复、状态同步和边缘部署，实现可靠低延迟的实时控制操作。提供实用参数和监控要点。
2025-10-23ai-systems2025-10
RAG系统中DeepSeek-OCR的混合像素-文本嵌入适应：精确子文档检索与幻觉减少
面向视觉增强LLM的RAG应用，给出DeepSeek-OCR混合嵌入的集成策略、参数配置与监控要点。
2025-10-23ai-systems2025-10
Ovi 双骨干低延迟同步：帧对齐与缓冲管理工程实践
针对 Ovi 双骨干架构，工程化实现低延迟帧对齐和自适应缓冲管理，确保实时交互音视频生成的同步与稳定性。
2025-10-23ai-systems2025-10
Willow 芯片中表面码纠错的实现：阈值解码与逻辑量子比特参数
探讨 Willow 量子芯片中使用表面码和阈值解码创建逻辑量子比特，实现超越经典计算的容错操作的关键参数和监控要点。
2025-10-23ai-systems2025-10
使用 Fish Speech 实现零样本多语言语音克隆管道
基于扩散变换器构建低延迟、多语言 TTS 的零样本语音克隆管道，针对边缘设备优化，保留韵律并支持实时合成。
2025-10-23ai-systems2025-10
Ovi 双骨干低延迟同步工程化：实时跨模态音视频生成的无漂移融合
面向实时跨模态音视频生成，剖析 Ovi 双骨干的低延迟同步机制，包括块级融合与时间对齐参数，确保无漂移融合。
2025-10-23ai-systems2025-10
Open Notebook 中多模态播客生成的 TypeScript 管道工程实践
面向开源 Notebook LM 实现，给出 TypeScript 管道工程从多模态来源笔记到音频播客生成的实践参数与要点。
2025-10-23ai-systems2025-10
Unity 中基于 Webcam 的头跟踪实现无眼镜 3D
本文探讨在 Unity 中使用 Webcam 进行实时头姿势估计，驱动视差屏障渲染，实现低延迟的无眼镜 3D 显示。提供工程化参数和优化建议。
2025-10-23ai-systems2025-10
使用 Jupyter 构建 Claude 多步推理链：工具调用与状态管理
在 Jupyter 中利用 Claude API 构建多步推理链，整合工具调用、状态管理和可视化，支持 AI agent 迭代实验。
2025-10-23ai-systems2025-10
Semantic Art：使用 CLIP 进行自然语言嵌入检索真实艺术品
利用 CLIP 模型嵌入自然语言提示，从未标记艺术图像数据库中通过余弦相似度排名检索匹配作品，提供工程参数与实现要点。
2025-10-23ai-systems2025-10
OVI中双骨干模型音频视频流同步工程实践：低延迟连贯多模态生成管道
面向双骨干多模态生成，工程化音频视频同步机制，实现低延迟连贯输出管道的关键参数与策略。
2025-10-23ai-systems2025-10
Gemini CLI 中实现有状态 REPL：迭代代码执行与实时调试
探讨 Gemini CLI 的有状态 REPL 功能，支持迭代代码执行、工具链集成和实时调试，提升 AI 辅助开发工作流效率。提供配置参数、操作清单和最佳实践。
2025-10-23ai-systems2025-10
通过双骨干跨模态融合实现音频视频同步生成：Ovi 项目
面向实时 AI 头像，探讨 Ovi 的双骨干跨模态融合技术，实现唇同步与手势对齐的工程参数与优化策略。
2025-10-23ai-systems2025-10
VortexNet 中实现涡度守恒的神经算子
在 VortexNet 中，通过神经算子实现涡度传输方程，用于物理信息视频预测模型中守恒角动量，提供工程参数和监控要点。
2025-10-23ai-systems2025-10
VortexNet：将流体力学融入神经网络用于时空视频预测
基于 Navier-Stokes 方程的 VortexNet 架构，提供物理信息 CNN 替代，用于时空视频预测的稳定模拟层与工程参数。
2025-10-23ai-systems2025-10
LLM像素输入 vs 文本提取：DeepSeek-OCR提升文档解析效率的评估
比较像素输入与文本提取在LLM中的OCR功效，提供工程参数以优化文档解析和多模态效率。
2025-10-23ai-systems2025-10
ML 框架中硬件感知优化：边缘设备高效推理
基于 CS249r 课程，探讨在 ML 框架中实现硬件感知优化，平衡量化、稀疏性和自定义加速器，以实现边缘设备高效推理。
2025-10-23ai-systems2025-10
VortexNet：基于流体动力学涡旋传播的神经网络层设计
通过涡旋粒子方法启发神经传播层，支持物理信息学习在模拟中的应用，无需传统PDE求解器。
2025-10-23ai-systems2025-10
VortexNet：基于流体动力学的神经传播模拟时空动态
探讨VortexNet如何将流体动力学方程融入神经网络层，用于视频预测和物理建模中的时空传播模拟，提供工程参数和实现要点。
2025-10-23ai-systems2025-10
使用 Parlant 构建模块化 LLM 代理管道：实时控制系统中的状态管理和工具链
在工业自动化领域，利用 Parlant 框架构建 LLM 代理管道，实现高效的状态管理、工具链集成和容错决策，提升实时控制系统的可靠性。
2025-10-23ai-systems2025-10
实现非自回归扩散 Transformer 多语言 TTS：低延迟推理、语音克隆与边缘部署训练管道
基于 Fish-Speech，介绍非自回归扩散 Transformer 在多语言 TTS 中的工程实现，强调低延迟推理优化、语音克隆机制及边缘设备训练管道的参数配置。
2025-10-23ai-systems2025-10
双骨干跨模态融合架构：Ovi 模型的音频视频同步生成工程实践
Ovi 模型采用双骨干架构，通过潜在空间跨模态融合实现音频与视频的同步生成。文章探讨其工程设计、对齐优化及实时推理参数配置，提供部署清单与监控策略。
2025-10-23ai-systems2025-10
集成 Cuq 实现 Rust GPU 内核的并行安全验证
探讨如何集成 Cuq 框架对 Rust GPU 内核进行形式化验证，重点关注并行安全检查和计算着色器中的错误界限，以提升 AI 加速的可靠性。
2025-10-23ai-systems2025-10
利用 Helion DSL 在 PyTorch 中编写高性能可移植 ML 内核
Helion DSL 提供 PyTorch 风格语法编写 ML kernels，自动优化跨 CPU/GPU backend，无需低级调优。介绍核心特性、autotuning 参数及部署清单。
2025-10-23ai-systems2025-10
使用 Dyad 构建本地 AI 应用的模块化 TypeScript 管道
以 Dyad 为 v0/Bolt 替代，构建模块化 TypeScript 管道，实现本地 AI 应用的模型服务、UI 生成与部署集成，提供工程化参数与监控要点。
2025-10-23ai-systems2025-10
非对角 SSM 在 RNN 中的并行计算：无需稳定化的新型矩阵公式
探讨非对角状态空间模型在 RNN 中的并行计算技术，通过结构化矩阵公式消除稳定化需求，实现高效可扩展的 AI 序列建模。
2025-10-23ai-systems2025-10
本地大模型量化加速与侧信道防御的性能安全权衡
探讨本地LLM量化技术如何提升推理速度，同时引入侧信道攻击风险如模型提取。分析内存加密和时序混淆等防御措施的参数配置与性能开销，提供工程化落地清单。
2025-10-23ai-systems2025-10
Engineering Modular TypeScript Pipelines for Local AI App Scaffolding
探讨使用 Dyad 工程化模块化 TypeScript 管道，实现本地 AI 应用 scaffolding，包括离线模型推理、动态 UI 生成和持久状态管理，支持无云快速原型开发。
2025-10-23ai-systems2025-10
Claude API 代理集成 Jupyter 配方工程：工具链、状态管理和错误恢复
通过 Jupyter notebooks 实现 Claude API 在代理中的工程实践，涵盖工具链构建、状态管理、错误恢复及多轮推理的关键参数与工作流。
2025-10-23ai-systems2025-10
工程化机器学习系统：硬件-软件协同设计实现高效推理与分布式训练
探讨硬件-软件协同设计在机器学习系统中的应用，聚焦高效推理、数据移动优化以及可扩展分布式训练管道的工程实践与参数配置。
2025-10-23ai-systems2025-10
Willow芯片实现可扩展量子优势工程：表面码纠错与RCS基准
Willow的105量子比特处理器通过表面码实现低于阈值纠错，逻辑保真度提升，并在随机电路采样中以5分钟完成超算需10^25年的任务，提供工程化参数与监控要点。
2025-10-22ai-systems2025-10
Transformer解码器中脉冲神经动态优化：事件驱动注意力和阈值适应用于能效边缘推理
针对Transformer解码器的脉冲神经动态优化，介绍事件驱动注意力机制与自适应阈值神经元，实现边缘设备上的低功耗推理。
2025-10-22ai-systems2025-10
Dragon Hatchling：桥接Transformer与大脑模型的脉冲混合架构
Dragon Hatchling (BDH) 融合脉冲神经网络与Transformer，实现离散令牌处理与连续脑-like动态的桥接，支持能量高效的序列建模与推理。
2025-10-22ai-systems2025-10
用脉冲神经动态替换Transformer注意力：面向能效的类脑LLM推理与训练
面向能效优化的类脑LLM，通过脉冲神经替换注意力机制，给出工程参数与落地清单。
2025-10-22ai-systems2025-10
Parlant LLM 代理在控制系统中的模块化管道工程化
利用 Parlant 框架构建可靠、可部署的 LLM 代理模块化管道，聚焦实时决策和容错编排，提供工程参数与监控要点。
2025-10-22ai-systems2025-10
Nvidia Starcloud 中分布式 GPU 调度与容错模型服务的工程实践
面向可扩展 AI 推理集群，探讨 Nvidia Starcloud 的分布式 GPU 调度机制、容错策略及工程化参数配置。
2025-10-22ai-systems2025-10
Fish Speech：非自回归扩散 Transformer 在多语言 TTS 中的工程实践
面向 SOTA 多语言 TTS，分析 Fish Speech 的非自回归扩散模型工程要点，包括低延迟推理参数和高保真合成策略。
2025-10-22ai-systems2025-10
工程化模块化管道：部署 LLM 代理于控制系统
探讨 Parlant 框架如何构建模块化管道，实现 LLM 代理在控制系统中的实时编排、容错机制及零-shot 适应，适用于工业自动化场景，提供工程参数与监控要点。
2025-10-22ai-systems2025-10
构建非自回归扩散Transformer实现SOTA多语言TTS
基于语义token和flow matching，在10万小时数据上构建非自回归扩散Transformer，用于SOTA多语言TTS系统，提供工程化参数和落地指南。
2025-10-22ai-systems2025-10
Kyutai Mimi 神经音频编解码器的低延迟流式优化：自适应缓冲、帧预测与抖动补偿
工程化 Kyutai Mimi 的流式低延迟传输，通过自适应缓冲、帧预测和抖动补偿，实现实时 LLM 音频摄取的无感知延迟。
2025-10-22ai-systems2025-10
Skyvern 中基于 LLM 的浏览器自动化错误检测与恢复
工程化 Skyvern 中的错误恢复机制，使用 VLM 识别 UI 失败，LLM 执行回退动作，并通过验证确保动态 web 工作流鲁棒性。
2025-10-22ai-systems2025-10
Kyutai Mimi：低比特率下语义保真度的神经音频编解码工程
工程化 Kyutai Mimi 以在超低比特率下维持语义内容，用于高效 LLM 集成和多模态音频分词化。
2025-10-22ai-systems2025-10
使用神经音频编解码器实现实时语义分词：直接馈入 LLM 的低延迟多模态处理
探讨神经音频编解码器在实时语义分词中的应用，直接将音频 token 馈入 LLM，绕过传统 ASR，实现低延迟多模态处理。提供工程参数、延迟优化和边缘部署指南。
2025-10-22ai-systems2025-10
PaddleOCR PP-OCRv4 混合 CNN-Transformer 架构工程化：扫描文档弯曲手写文本检测与边缘优化
探讨 PP-OCRv4 在扫描文档中处理弯曲和手写文本的混合 CNN-Transformer 架构，聚焦检测与识别优化，并提供动态量化及轻量推理的边缘部署参数与策略。
2025-10-22ai-systems2025-10
AutoLearn：自改进AI代理的模块化技能获取框架
AutoLearn框架使AI代理在运行时自主学习、组合和精炼技能，实现适应性任务解决。讨论工程参数与最佳实践。
2025-10-22ai-systems2025-10
Skyvern 中使用 YOLO 检测和 LLM 置信度阈值的闭环视觉反馈：动态动作纠正与错误恢复
在 Skyvern 浏览器自动化中，工程化闭环视觉反馈，使用 YOLO 检测 UI 元素并通过 LLM 置信度阈值实现动态动作纠正和错误恢复机制。
2025-10-22ai-systems2025-10
边缘推理的硬件感知机器学习优化
基于CS249r指南，实现混合精度量化和缓存感知批处理等硬件优化，提升边缘设备ML推理效率。
2025-10-22ai-systems2025-10
电子书到有声书零-shot跨语言语音克隆端到端管道：章节感知自然叙述生成
利用零-shot语音克隆、韵律转移和多说话者混合，实现电子书到有声书的端到端合成，支持1100+语言的自然章节叙述，提供工程化参数与优化要点。
2025-10-22ai-systems2025-10
ebook2audiobook 中的零样本跨语言语音克隆：韵律转移与多说话人融合
利用 XTTSv2 的零样本克隆功能，实现跨语言韵律转移和多说话人融合，工程化生成高质量多语言有声书。
2025-10-22ai-systems2025-10
Claude 多步代理工作流工程化：链式工具调用与状态管理
探讨使用 Claude API 构建自主多步推理代理的工程实践，包括工具链管理、状态持久化、错误恢复机制和 API 编排要点。
2025-10-22ai-systems2025-10
ChatGPT Atlas 中实时想法聚类与关系提取的工程实践：构建交互式知识地图
在 ChatGPT Atlas 中工程化实时想法聚类与关系提取，用于从用户输入构建交互知识地图，提供参数配置与监控要点。
2025-10-22ai-systems2025-10
Kyutai Mimi 神经音频编解码器与 LLM Token 条件音频解码集成
探讨将 Kyutai Mimi 神经音频编解码器与 LLM token 条件集成，实现直接音频到 token 转换，支持低延迟多模态生成和实时语音合成。
2025-10-22ai-systems2025-10
Skyvern 中视觉反馈循环的工程实践：LLM 驱动浏览器自动化适应动态 UI
Skyvern 通过迭代视觉修正和代理反馈循环，适应动态网页变化，实现可靠的浏览器自动化。
2025-10-22ai-systems2025-10
Skyvern：多模态工作流编排实现自主浏览器自动化
探讨 Skyvern 如何利用 LLM 与 CV 模型协同编排多步浏览器工作流，包括动态适应机制、错误处理策略及外部 API 集成实践。
2025-10-22ai-systems2025-10
使用重放缓冲区和弹性权重整合缓解LLM中的灾难性遗忘
在LLM持续微调过程中，通过重放缓冲区和EWC检测并缓解灾难性遗忘，保持跨任务知识完整性，提供工程参数与监控要点。
2025-10-22ai-systems2025-10
Engineering Modular TypeScript Pipelines in Open Notebook for Flexible Multi-Modal Sourcing
探讨 Open Notebook 项目中如何利用模块化 TypeScript 管道实现灵活的多模态内容来源、扩展的 LLM 链式调用以及丰富的播客生成功能，作为开源 Notebook LM 替代方案的工程实践。
2025-10-22ai-systems2025-10
使用 ChatGPT 构建交互式知识图谱：实时想法聚类与关系提取
利用 LLM 驱动的提示链和图可视化技术，实现实时想法聚类、关系提取及协作知识探索的工程实践。
2025-10-22ai-systems2025-10
神经音频编解码器与 LLM 令牌条件化的集成：直接多模态音频处理
通过令牌化原始音频为语义单元，并条件化 LLM 层，实现无中间 ASR 的直接多模态处理。探讨工程化管道、参数配置与监控要点。
2025-10-22ai-systems2025-10
低比特率神经音频编解码器：优化语义保真度用于实时LLM摄取
面向边缘多模态系统，给出低比特率神经音频编解码器的设计参数与语义-感知权衡要点。
2025-10-22ai-systems2025-10
CVD 金刚石薄膜在多芯片let AI 加速器热界面材料中的工程化集成
面向多芯片let AI 加速器的高功率热管理，使用 CVD 金刚石薄膜作为热界面材料，实现高效热扩散与低梯度温度控制。
2025-10-22ai-systems2025-10
在嵌入式设备上部署 Sherpa-ONNX 实现多语言离线 STT
探讨在 Raspberry Pi、iOS 和 Android 等嵌入式设备上使用 Sherpa-ONNX 部署离线多语言语音转文本，支持说话者分离和 VAD，提供工程化参数与优化要点。
2025-10-22ai-systems2025-10
LLM 脑腐：低质量训练数据导致性能衰退及选择性再训练缓解策略
探讨 LLM 训练数据质量诱发的脑腐现象，并给出选择性再训练的工程参数与风险监控。
2025-10-22ai-systems2025-10
在NVIDIA上暴力部署DeepSeek-OCR：Claude代码生成优化GPU推理，实现边缘实时OCR
利用brute-force超参数调优和Claude AI辅助编码，在NVIDIA GPU上部署DeepSeek-OCR，实现高效文档解析。提供优化参数、监控要点，适用于边缘硬件实时OCR场景。
2025-10-22ai-systems2025-10