Tunix 中使用 JAX pmap 实现多 TPU LLM 后训练分布式管道
在 Tunix 框架下，利用 JAX pmap 构建分布式 LLM 后训练系统，实现多 TPU 同步、梯度聚合及容错扩展，提供工程参数与监控要点。
阅读全文 →
←所有分类
ai-systems
机器智能
动态张量重排与微批处理：实现多租户LLM服务中的100% GPU利用率
基于CRFM Splinter的硬件优化策略，聚焦动态张量重排和微批处理在多租户LLM推理中的应用，提升GPU利用率至近100%，并给出工程参数与风险控制。
阅读全文 →
使用 Pathway Python API 实现流式数据管道中的增量嵌入更新与近似最近邻索引
面向流式 RAG 查询，给出 Pathway 中增量嵌入更新与 ANN 索引的 Python API 实现参数与监控要点。
阅读全文 →
多租户 LLM 服务中的 Tensor Core 调度与内存带宽分区优化
探讨在多租户 LLM 服务中，通过 Tensor Core 调度和内存带宽分区最大化 GPU 利用率，减少空闲周期的具体工程参数和监控要点。
阅读全文 →
Integrating Neutral-Atom Processors with Superconducting Qubits for Hybrid Quantum Systems
探讨 Google 与 QuEra 合作下，中性原子处理器与超导量子比特的整合，实现可扩展错误校正和 AI 加速量子模拟的工程参数与监控要点。
阅读全文 →
精选 LLM 微调、RAG 实现与代理系统部署的实用 Colab 笔记本资源
基于 AI 工程实践，汇集 Colab 笔记本资源，涵盖 LLM 高效微调、RAG 高级检索与代理系统构建，帮助开发者快速原型到生产。
阅读全文 →
Gemini 3.0 Pro 多模态能力基准测试：自定义评估套件与错误分析
通过API集成自定义评估套件，测试Gemini 3.0 Pro在代码生成、数学推理和视觉语言任务上的表现，提供工程化参数和错误分析要点。
阅读全文 →
MoneyPrinterTurbo: Building Modular LLM-Driven Pipelines for Automated Short Video Creation
探索MoneyPrinterTurbo的AI视频生成管道，整合脚本生成、TTS、视觉素材和唇同步渲染，提供低延迟优化的工程参数和监控要点。
阅读全文 →
动态张量重排与微批处理：实现多租户LLM服务中的100% GPU利用率
通过动态张量重排和微批处理技术，在多租户LLM服务中实现并发模型打包，提升GPU利用率至100%。本文探讨工程参数、监控要点及落地清单。
阅读全文 →
构建终端 AI 编码代理：Claude Code 的自然语言任务执行与 Git 集成
面向终端开发环境，介绍 Claude Code 如何通过自然语言解析代码库、执行任务、集成 Git 工作流，并提供解释机制，以加速开发周期。
阅读全文 →
LTX-Video 中张量并行与动态批处理的优化：实现亚秒级视频生成延迟
探讨 LTX-Video 扩散视频合成管道中，通过张量并行和动态批处理优化 GPU 资源利用，实现 sub-second 延迟的工程实践与参数配置。
阅读全文 →
LTX-Video GPU加速推理优化：生产低延迟视频生成
针对LTX-Video模型，提供GPU加速推理优化策略，支持低延迟视频生成与实时编辑工作流，包括量化配置、多尺度管道和性能监控要点。
阅读全文 →
OpenTSLM 在实时 IoT 异常检测中的流式推理工程化
探讨 OpenTSLM 构建实时 IoT 异常检测流式推理管道，强调低延迟 token 流式、自适应 KV 缓存管理和边缘部署优化。
阅读全文 →
使用 Sim 工程化模块化 AI 代理工作流
Sim 平台以 TypeScript 为基石，提供低代码工具快速构建多代理工作流，支持实时协作和自托管部署。本文聚焦工程实践，给出组成、执行和优化的可操作参数。
阅读全文 →
使用 Handy 构建可扩展离线语音识别：Silero VAD 与 Whisper 集成
基于 Handy 项目，探讨 Silero VAD 的噪声鲁棒声活动检测、Whisper 的离线转录集成，以及 cpal 实时低延迟音频优化的工程参数与实现要点。
阅读全文 →
Design of Multi-Hop Agent Pipelines Replacing RAG
Design multi-hop agent pipelines to replace RAG for complex queries, leveraging expanded context windows for direct reasoning over full documents without chunked retrieval overhead.
阅读全文 →
Claude SDK 多代理工具编排：任务分解、并行执行与动态切换工程实践
基于 Claude Agent SDK，探讨多代理协调机制，包括任务分解、并行工具调用与冲突解决，提供工程参数和监控要点，实现复杂工作流的高效落地。
阅读全文 →
Immich V2 Stable Migration
探讨 Immich v2.0.0 稳定版的工程升级，包括自动化数据库模式迁移、ML 模型兼容性检查和 API 版本化，实现无停机自托管照片库过渡。
阅读全文 →
AI_NovelGenerator 中的多代理系统：情节弧管理与角色一致性
探讨 AI_NovelGenerator 如何通过多代理协作管理情节发展、解决伏笔并维持章节间角色一致性，利用专用代理角色和共享内存机制。
阅读全文 →
使用 Immich 实现自托管照片库：ML 驱动的面部聚类、对象搜索与自动标签
探索 Immich 自托管照片管理解决方案，利用服务器端 ML 功能实现隐私优先的备份，包括面部识别、对象检测和 CLIP 搜索。提供部署参数、监控要点和优化策略。
阅读全文 →
OpenTSLM 多变量融合集成在供应链需求预测中的应用：交叉验证与错误传播处理
利用 OpenTSLM 的多模态能力，融合多源异构时间序列进行实时供应链需求预测，涵盖集成权重、交叉验证及错误传播管理，提供实用参数和最佳实践。
阅读全文 →
工程化 Vision Transformer 用于精确方程图像到 LaTeX 转换：符号识别与束搜索解码
基于 pix2tex 的 ViT 工程实践，详述符号识别机制、beam search 解码及符号级错误修正的参数配置与优化要点。
阅读全文 →
从 Cursor、Devin、Copilot 和 v0 提取系统提示并适应多轮 AI 编码代理
提取 Cursor、Devin、Copilot 和 v0 的原始系统提示，分析关键设计元素，并提供适应自定义多轮编码代理的策略，包括工具调用集成、上下文链管理和幻觉防护机制。
阅读全文 →
openpilot 神经模型的安全 OTA 更新实现：差分补丁、验证与回滚策略
针对 openpilot 的神经模型 OTA 更新，介绍安全部署管道，包括差分补丁生成、完整性验证和故障回滚机制，确保嵌入式汽车系统的连续优化。
阅读全文 →
企业级 GitHub Copilot 的模块化提示配置与 VS Code 扩展工程
探讨如何利用 awesome-copilot 仓库的社区配置，工程化模块化提示和 VS Code 扩展，实现企业代码生成工作流的标准化，并集成自定义 guardrails 以提升安全性和一致性。
阅读全文 →
MoneyPrinterTurbo 并行多模型推理管道：低延迟脚本到视频合成的工程实践
在 MoneyPrinterTurbo 中工程化分布式 LLM 推理管道，通过负载均衡和异步编排实现 2 倍生成吞吐加速，聚焦低延迟视频合成参数与监控策略。
阅读全文 →
MoneyPrinterTurbo 中 LLM 提示优化与低延迟视频渲染集成
探讨 MoneyPrinterTurbo 的 LLM 提示工程优化策略与 FFmpeg 驱动的低延迟视频渲染技术，实现高效短视频生成管道的端到端延迟最小化。
阅读全文 →
Engineering Quantization and KV Cache Pruning for OpenTSLM on Edge Devices
通过量化与 KV 缓存剪枝优化 OpenTSLM，实现 <1GB RAM 边缘设备的实时时间序列预测，提供参数配置与监控要点。
阅读全文 →
LaTeX-OCR 后轻量 NLP 模型解析模糊数学符号
在 LaTeX-OCR 基础上集成规则和嵌入匹配的 NLP 后处理，解决手写 delta 和 sigma 等符号歧义，提升教育工具转换准确性。
阅读全文 →
利用百万级令牌上下文的代理工作流取代 RAG：工具调用与低延迟推理
探讨如何通过 1M+ 令牌长上下文构建代理工作流，集成工具调用实现按需检索，以及多步推理在 500ms 延迟下解析查询的工程实践。
阅读全文 →
从 RAG 到利用大上下文窗口的代理系统的工程迁移
本文探讨从传统 RAG 向代理系统的工程迁移策略，利用扩展上下文窗口直接处理长形式查询，降低检索延迟并简化索引维护。提供可落地参数和监控要点。
阅读全文 →
Lobe Chat 中工程化 RAG 管道：文件上传知识库的向量搜索与多 LLM 编排
探讨 Lobe Chat 中 RAG 管道的工程实践，包括文件处理、向量嵌入、检索优化及多模型集成，提供可落地配置与监控要点。
阅读全文 →
优化 OpenTSLM 用于 IoT 边缘部署：量化与流式推理实现实时时间序列异常检测
通过量化压缩和流式推理优化 OpenTSLM，实现 IoT 边缘实时异常检测，提供关键参数与部署清单。
阅读全文 →
使用 Colab 笔记本 curation LLM 学习路径：动手微调、RAG 实现与 Agent 构建
基于 llm-course 的 Colab 笔记本，提供 LLM 微调、RAG 与 Agent 构建的实用路径与参数指南。
阅读全文 →
MoneyPrinterTurbo 中 LLM 驱动的音频视频同步工程实践
探讨 MoneyPrinterTurbo 项目中通过时间戳对齐实现音频与视频同步的工程细节，包括 TTS、字幕生成和 moviepy 合成的最佳参数配置。
阅读全文 →
工程化模块化系统提示：Cursor 和 Devin 等 AI 工具的多轮推理与工具调用
探讨如何设计模块化系统提示，支持 Cursor 和 Devin 等 AI 工具的多轮推理、工具调用模式及上下文管理，实现生产级代理工作流的关键参数与最佳实践。
阅读全文 →
使用 Claude Agent SDK 构建可扩展 AI 代理：工具集成与多步工作流编排
利用 Claude Agent SDK 集成工具、管理跨步骤状态，并处理生产工作流中的任务分解，实现可扩展 AI 代理构建。
阅读全文 →
部署 Vision Transformer 模型实现方程图像到 LaTeX 代码转换：束搜索解码与符号校正后处理
本文介绍基于 ViT 的 LaTeX-OCR 模型部署，聚焦束搜索解码策略与符号校正后处理的技术实现与参数优化，提升手写与打印方程识别准确性。
阅读全文 →
利用 Unix 文件系统访问提升 Claude Code 的模块化实时代码生成
通过 MCP Filesystem 服务器，Claude Code 实现直接文件访问，遵循 Unix 哲学，促进模块化、流式交互，实现高效开发工作流中的实时代码生成与解释。
阅读全文 →
初学者构建模块化 AI 代理：使用 Python 和 LangChain 在 Jupyter 中集成工具、记忆与规划
通过 Jupyter notebooks 和 LangChain，学习构建多工具 AI 代理，涵盖工具集成、记忆管理和规划策略，实现高效任务自动化。
阅读全文 →
使用 OpenTSLM 工程化紧凑时间序列语言模型：领域特定分词与合成数据预训练
探讨如何通过领域特定分词、合成时间数据预训练和针对预测/异常任务的微调，构建紧凑的 LLM 用于时间序列，支持低延迟推理。
阅读全文 →
工程化 LLM 链式调用实现 AI_NovelGenerator 多章节小说生成：上下文连续性与检索增强提示优化
基于 AI_NovelGenerator 工具，工程化 LLM 链式生成多章节小说，确保情节连续、伏笔衔接和角色一致，通过上下文窗口管理和 RAG 提示。
阅读全文 →
使用 Claude Python SDK 实现多步 AI 代理工作流：工具调用、状态持久化和错误恢复编排
使用 Claude 的 Python SDK 构建多步 AI 代理，聚焦工具调用机制、状态持久化策略以及错误恢复的工程化实践。
阅读全文 →
AI-Driven Novel Serialization: Maintaining Multi-Chapter Context via Prompt Chaining
面向多章节小说生成，给出提示链与状态管理的技术参数与工程实践要点。
阅读全文 →
部署 Vision Transformer 模型实现图像到 LaTeX 公式转换：IM2LaTeX 数据集训练与优化推理
基于 LaTeX-OCR 项目，使用 ViT 模型将数学公式图像转换为 LaTeX 代码，涵盖 IM2LaTeX 数据集训练、tokenization 管道及高效推理部署要点。
阅读全文 →
构建 ChartDB 驱动的 AI 代理：交互式数据库 Schema 可视化与迭代优化
利用 ChartDB 和自然语言接口，构建 AI 代理实现数据库 Schema 的交互可视化、自动建议及迭代精炼。涵盖图查询、提示工程及落地参数，提升设计效率。
阅读全文 →
MoneyPrinterTurbo模块化AI视频生成流水线架构分析
深入解析MoneyPrinterTurbo的模块化AI视频生成流水线架构，重点研究多模态资产检索、LLM编排和合成优化技术实现机制。
阅读全文 →
Cursor 1.7 AI代码助手架构：实时建议流式传输与IDE集成技术栈
深入解析Cursor 1.7版本的AI代码助手架构，重点分析其实时建议流式传输机制与IDE插件集成技术栈的实现细节。
阅读全文 →
GitHub Copilot提示工程配置策略：系统化优化代码补全质量的工程实践
深入探讨GitHub Copilot提示工程的系统化配置方法，包括项目级别指令文件、工作区设置和代码内注释指令，提供优化代码补全质量与开发效率的工程实践指南。
阅读全文 →
LobeChat多AI提供商编排层：统一API差异与流式响应处理
深入解析LobeChat如何构建多AI提供商统一编排层，处理OpenAI/Claude/Gemini/DeepSeek/Ollama/Qwen等42+提供商的API差异与流式响应，提供工程化的配置参数与最佳实践。
阅读全文 →
Handy离线语音识别实时性能优化：VAD滤波与Whisper硬件加速集成
深入分析Handy项目的离线语音识别架构，提供VAD滤波参数优化与Whisper模型硬件加速的工程实践方案，实现亚秒级响应延迟。
阅读全文 →
AI代理循环中的容错恢复机制：工具调用失败时的多层恢复策略
针对AI代理循环中20-40%的工具调用失败率，设计三层容错架构：工具级重试、工作流级恢复和系统级回退，提供具体参数配置与实现细节。
阅读全文 →
Handy离线语音识别中VAD算法与噪声过滤模块的优化实践
针对Handy开源语音转写工具的VAD模块，深入解析Silero VAD参数调优与噪声过滤策略，提供多场景配置模板与性能优化指南。
阅读全文 →
构建模块化AI视频生成流水线：MoneyPrinterTurbo架构解析与工程实践
深入解析MoneyPrinterTurbo的模块化AI视频生成流水线架构，涵盖多模态合成、资产检索与质量评估组件的工程化实现方案。
阅读全文 →
WiFi信号逆散射成像算法：从CSI数据到高分辨率室内场景重建
深入探讨基于WiFi信道状态信息的逆散射成像算法，包括MUSIC超分辨率技术、正则化方法和压缩感知重构，实现从射频测量数据到高分辨率室内场景图像的重建。
阅读全文 →
Databricks Kubernetes智能负载均衡架构解析
深入分析Databricks在Kubernetes环境中实现智能负载均衡的技术架构，包括基于工作负载特征的动态路由算法和资源感知调度机制。
阅读全文 →
动态环境中epsilon-greedy与UCB bandit算法的regret分析与优化策略
针对动态环境下的多臂老虎机问题，深入分析epsilon-greedy和UCB算法的regret表现，并提出自适应参数调整策略。
阅读全文 →
Claude Python SDK工具调用实现：异步回调与错误恢复机制
深入解析Anthropic Python SDK工具调用功能的异步回调处理、参数验证和错误恢复机制，提供工程化实现方案。
阅读全文 →
Genie世界模型推理加速：KV缓存优化与并行采样策略
针对Google DeepMind Genie世界模型的推理性能优化，深入分析KV缓存内存瓶颈与并行采样策略，提供工程化实现方案与性能调优参数。
阅读全文 →