用PyTorch从零实现Transformer-based LLM：GPT架构、下一token预测训练与LoRA聊天微调
本文基于PyTorch从头构建GPT-like大型语言模型，详述架构设计、预训练流程及LoRA参数高效微调，实现交互式响应生成。
2025-09-28ai-systems2025-09
Category
ai-systems
共 7658 篇文章。
量化 MP4 元数据索引：移动设备语义搜索优化
在 MP4 元数据轨道嵌入量化 ANN 索引，实现无数据库依赖的子 100ms 移动语义搜索，优化压缩比与查询效率。
2025-09-28ai-systems2025-09
利用 Supervision 可组合工具构建可扩展标注管道：对象跟踪、过滤与指标计算
利用 Supervision 的 Detections、Annotators 和 trackers 构建 scalable 标注管道，支持跟踪、过滤和 metrics 计算，简化 CV 数据集 curation 与模型评估。
2025-09-28ai-systems2025-09
Onyx 中动态 LLM 路由与共享上下文缓存工程化
在 Onyx 平台上实现动态 LLM 路由与共享上下文缓存，支持混合模型切换和持久对话，提供工程化参数与监控要点。
2025-09-28ai-systems2025-09
使用 Dynamo 编排异构 GPU 上的数据中心规模 LLM 推理：Rust 异步调度与零拷贝优化
探讨 Dynamo 在异构 GPU 环境下的编排机制，包括 Rust 异步调度、Raft 领导选举和零拷贝张量共享的工程实践与参数调优。
2025-09-28ai-systems2025-09
在 MP4 元数据轨道中实现量化 ANN 索引：面向边缘设备的无数据库向量搜索
探讨如何将近似最近邻索引嵌入 MP4 元数据轨道，实现资源受限边缘设备上的高效语义搜索，结合 Memvid 理念与量化技术，避免外部数据库依赖。
2025-09-28ai-systems2025-09
使用Dynamo协调异构GPU上的数据中心规模LLM推理：Rust分片与动态路由
Dynamo框架通过Rust-based sharding、动态路由和零拷贝张量共享，实现异构GPU环境下的低延迟LLM服务。探讨核心架构与工程参数配置。
2025-09-28ai-systems2025-09
NVIDIA Dynamo 中的零拷贝节点间张量共享
利用 Rust 的所有权模型和共享内存，在数据中心规模 GPU 集群中实现零拷贝张量传递，显著降低分布式 LLM 推理的序列化开销。
2025-09-28ai-systems2025-09
RAG-Anything 中自定义多模态索引管道：融合文本-图像嵌入的混合检索工程实践
在 RAG-Anything 框架中工程自定义多模态索引，融合文本与图像嵌入，实现混合检索以提升跨域 QA 准确性。
2025-09-28ai-systems2025-09
FlashAttention-4 中的 IO 感知块分块策略
探讨 FlashAttention-4 中 IO-aware 块分块策略的工程实现，通过重叠计算与 HBM 访问，在 A100 GPU 上实现长序列 MQA 推理的 2 倍吞吐量提升。提供参数调优与监控要点。
2025-09-28ai-systems2025-09
实施针对性提示注入模拟和行为漂移监控以提升LLM对抗鲁棒性
在生产环境中，通过模拟提示注入攻击和监控行为漂移来量化LLM对对抗输入的鲁棒性，提供工程参数和监控要点。
2025-09-28ai-systems2025-09
AI 发音反馈与自适应缩放：英语学习应用的模块化实现
通过 TypeScript 模块化组件集成 Web Speech API，实现实时发音评分、自适应练习调整和 AI 反馈循环，提升英语学习 app 的可访问性和互动性。
2025-09-28ai-systems2025-09
Integrate Supervision's Modular CV Postprocessing Tools for Real-Time Multi-Model Inference
在计算机视觉管道中集成 Supervision 的可组合工具，实现高效后处理，包括非最大抑制、跟踪持久性和标注渲染，优化低延迟视频流，支持任意模型无 YOLO 依赖。
2025-09-28ai-systems2025-09
用 Handy 在 Rust 中工程化跨平台实时语音转文本
探讨 Handy 开源项目中用 Rust 构建的异步音频管道、Whisper 集成和低延迟缓冲策略，适用于桌面/移动转录应用。
2025-09-28ai-systems2025-09
HumanLayer 中基于图的导航与 Pub-Sub 协议的多代理协调
探讨 HumanLayer 框架如何通过图导航和发布-订阅协议实现 AI 编码代理在复杂代码库中的高效协调，提供工程参数和最佳实践。
2025-09-28ai-systems2025-09
在 RAG-Anything 中使用 IVF-PQ 索引和重排序优化混合检索
针对 RAG-Anything 的混合稠密-稀疏检索，应用 IVF-PQ 量化索引减少内存消耗，同时集成 Cross-Encoder 重排序提升跨域 QA 精度，提供生产级参数配置和监控要点。
2025-09-28ai-systems2025-09
使用 Memvid 在 MP4 中缩放向量嵌入：边缘设备上的百万级语义搜索优化
探讨 Memvid 如何处理数百万文本块的向量嵌入缩放，提供无数据库的 MP4 语义搜索优化参数与索引策略。
2025-09-28ai-systems2025-09
利用 Windows ML API 运行 ONNX 模型：桌面应用跨设备推理集成
通过 Windows ML API 在桌面应用中集成 ONNX 模型推理，支持 CPU/GPU 加速，实现高效的本地 ML 部署。
2025-09-28ai-systems2025-09
HumanLayer 中的基于图的代码库导航系统
构建图基导航和动态上下文检索系统，帮助 AI 编码代理高效处理大型代码库的重构任务，提供工程化参数。
2025-09-28ai-systems2025-09
反向工程 Flash Attention 4 的专有融合注意力内核：复制商品 GPU 上的高吞吐多查询 Transformer 推理
探讨反向工程 Flash Attention 4 专有融合内核的技术，针对多查询 Transformer 推理，提供在消费级 GPU 上的复制实现，包括内核融合策略、内存优化参数和性能监控要点。
2025-09-28ai-systems2025-09
工程化 FlashAttention-4 内核移植到 ROCm：HIP 迁移与多查询推理优化
面向 AMD GPU 的 FlashAttention-4 移植，给出 HIP 迁移步骤、内存优化要点与多查询推理工程参数。
2025-09-28ai-systems2025-09
工程化模块化 TypeScript 组件：AI 驱动英语练习的实时发音反馈与自适应难度
探讨使用 TypeScript 构建模块化组件，实现 AI 英语学习工具的实时发音反馈和自适应难度调整。提供工程参数、监控要点和落地清单，帮助开发者高效集成交互式语言模块。
2025-09-28ai-systems2025-09
在 RAG-Anything 中集成混合稠密-稀疏检索器：模块化管道与 IVF-PQ 索引
探讨如何在 RAG-Anything 框架中结合稠密和稀疏检索器、reranking 以及 IVF-PQ 索引，实现高效的跨域检索增强生成。提供工程参数和最佳实践。
2025-09-28ai-systems2025-09
逆向工程 Flash Attention 4 的融合注意力内核：针对 GPU 多查询 Transformer 推理优化
通过逆向分析 Flash Attention 4 的融合内核，探讨其在多查询注意力下的内存访问优化与内核融合技术，提供工程参数与监控要点，实现高效的 Transformer 推理。
2025-09-28ai-systems2025-09
使用 Rust 构建跨平台语音转文本应用：异步音频捕获与 Whisper 模型集成
基于 Handy 开源项目，探讨 Rust 中实现跨平台 STT 的关键技术，包括异步音频捕获、Whisper 模型集成及实时低延迟转录的工程实践与参数配置。
2025-09-28ai-systems2025-09
树搜索增强的思维链：结合自我反思与价值对齐的模块化LLM推理
探讨如何通过树搜索、自我反思和价值对齐工程化思维链，实现可扩展的多步问题求解。
2025-09-28ai-systems2025-09
Dynamo 中异构 GPU 集群的零停机自动缩放
探讨 NVIDIA Dynamo 如何使用 Rust 实现零停机滚动更新和自动缩放策略，支持数据中心规模 AI 推理的无缝扩展，提供工程参数和监控要点。
2025-09-28ai-systems2025-09
使用 Rust 和 Whisper 构建跨平台实时语音转文本应用
面向跨平台实时 STT，给出 Rust 中异步音频处理、Whisper 集成与低延迟转录的实现参数与优化策略。
2025-09-28ai-systems2025-09
HumanLayer 中多代理协调：复杂代码库的 Pub-Sub 协议与代理专精设计
在 HumanLayer 框架中设计 Pub-Sub 通信协议和代理角色专精，实现多代理协作导航与重构复杂遗留代码库，避免完整代码摄入。
2025-09-28ai-systems2025-09
Dynamo 中基于 Rust 的异步 GPU 调度器：异构环境动态任务分配
探讨 Dynamo 项目中 Rust 异步调度器的设计，用于数据中心规模 AI 推理的异构 GPU 任务分配，包括 failover 和负载感知调度参数。
2025-09-28ai-systems2025-09
在 WinUI 应用中集成 ONNX 模型实现低延迟本地推理：利用 DirectML GPU 加速
面向 WinUI 应用，给出使用 Windows ML 集成 ONNX 模型的工程化步骤、DirectML 配置参数与性能优化要点。
2025-09-28ai-systems2025-09
MoneyPrinterTurbo的模块化AI视频生成管道工程实践
基于MoneyPrinterTurbo，工程化设计链式LLM脚本生成、TTS配音与视频合成的模块化管道，提供参数优化与监控要点。
2025-09-28ai-systems2025-09
使用 OpenTelemetry 仪器化 LLM 服务管道：端到端追踪与指标捕获
利用 OpenTelemetry 标准实现 LLM 应用的端到端可观测性，捕获 token 指标、延迟分解和分布式错误传播。
2025-09-28ai-systems2025-09
实现 MCP 服务器与客户端的 TypeScript SDK：类型安全的 AI 模型-工具交互
本文探讨如何使用 TypeScript SDK 实现 Model Context Protocol (MCP) 的服务器和客户端，支持类型安全的资源、工具和提示交互。涵盖安装、核心概念、传输配置及实际示例，帮助开发者构建标准化 AI 上下文提供系统。
2025-09-28ai-systems2025-09
树莓派无加速器AI模型优化：内存高效实时边缘推理
针对树莓派资源限制，探讨AI模型量化与部署策略，实现实时边缘推理，提供实用参数和监控清单。
2025-09-28ai-systems2025-09
构建多代理协作系统处理复杂代码库重构：基于 HumanLayer 的 LLM 推理与迭代优化
面向复杂代码库重构，介绍 HumanLayer 多代理编排框架的核心机制，包括协作推理、上下文分区与迭代精炼，提供实用参数与实施清单。
2025-09-28ai-systems2025-09
Engineering Extensible Tool Plugins and Streaming Integration for Onyx AI Chat Platform
Onyx AI 聊天平台通过 MCP 和 Actions 实现工具插件的扩展性，支持多 LLM 流式响应集成，提供自定义工作流的高级工程实践与配置参数。
2025-09-28ai-systems2025-09
使用 Memvid 在 MP4 中嵌入语义搜索：边缘设备优化
Memvid 通过将文本块编码为 MP4 中的 QR 帧，并将向量索引置于元数据，实现无数据库的亚 100ms 语义搜索。针对边缘设备，提供压缩参数、检索阈值和监控要点，确保高效离线运行。
2025-09-28ai-systems2025-09
将向量索引嵌入 MP4 文件：边缘 RAG 的轻量级 on-device 语义搜索
利用 memvid 将嵌入向量索引整合到 MP4 文件，实现资源受限边缘设备上的 RAG 管道高效查询，提供参数配置与优化要点。
2025-09-27ai-systems2025-09
Dynamo中异构GPU集群的容错副本选举与自动扩展策略
面向异构GPU集群，给出Dynamo框架中容错副本选举机制与自动扩展策略的工程化参数与监控要点。
2025-09-27ai-systems2025-09
supervision-composable-pipelines-for-object-detection-annotation-tracking-and-evaluation
探索 Supervision 库如何构建 YOLO 工作流中的模块化管道，包括检测标注、对象跟踪和性能评估，提供实用参数和最佳实践。
2025-09-27ai-systems2025-09
Dynamo 框架下容错分片、动态负载均衡与异构 GPU 编排工程实践
针对多节点 LLM 推理服务，分析 Dynamo 的容错分片、动态负载均衡及异构 GPU 编排，提供工程参数与监控策略。
2025-09-27ai-systems2025-09
工程化一键AI高清短视频生成管道：MoneyPrinterTurbo的LLM脚本自动化与扩散模型合成
基于MoneyPrinterTurbo，详解一键生成高清短视频的工程管道：从LLM驱动脚本到扩散模型合成，再到模块化后处理的可落地参数。
2025-09-27ai-systems2025-09
工程化可扩展 YOLOv8 管道：多尺度特征金字塔网络与优化 NMS
面向实时目标检测，探讨 YOLOv8 中多尺度特征融合与 NMS 优化的工程实践与参数配置。
2025-09-27ai-systems2025-09
Onyx 中用于流式多 LLM 响应的可扩展工具插件工程化
在 Onyx 平台中，通过 MCP 协议实现可扩展工具插件，支持流式多 LLM 响应集成，实现自定义函数与实时聊天的无缝融合，适用于混合本地-远程 AI 工作流。
2025-09-27ai-systems2025-09
Moondream3 边缘推理自定义 CUDA 内核：分组查询注意力优化
针对 Moondream3 的分组查询注意力，工程自定义 CUDA 内核，实现边缘 GPU 上 2 倍加速的实时推理，提供无精度损失的低功耗参数与监控要点。
2025-09-27ai-systems2025-09
public-apis工程实践：构建大规模API集合的数据架构与自动化维护系统
深入分析超20万星标public-apis项目的三层架构设计、数据管理策略和自动化维护流水线，探讨大规模API集合系统的工程实践要点。
2025-09-27ai-systems2025-09
使用 Exo 框架在异构家庭设备上编排分布式 AI 推理：容错与低延迟优化
针对异构家庭设备如手机和手表，使用 Exo 框架进行故障容忍、低延迟的分布式 AI 推理编排，给出动态负载均衡和任务迁移的工程参数。
2025-09-27ai-systems2025-09
Building Modular Terminal AI Agents with Gemini CLI
探讨 Gemini CLI 的核心架构，支持流式响应、动态工具调用和 MCP 插件扩展，实现无缝 CLI 集成。提供工程化参数和配置指南，帮助开发者构建高效的终端 AI 工作流。
2025-09-27ai-systems2025-09
Dolphin 中的异构锚点融合技术：集成布局解析与多模态线索实现精确表格提取
探讨 Dolphin 模型中异构锚点融合工程技术，用于文档图像的布局解析与多模态线索整合，实现表格提取和表单理解的精确性，提供可落地参数和监控要点。
2025-09-27ai-systems2025-09
RAG-Anything 中的模块化 RAG 编排：混合检索与重排序管道
基于 LightRAG 的 RAG-Anything 框架，通过模块化管道实现 hybrid dense-sparse 检索、重排序和 LLM 生成，支持可插拔索引与评估钩子，用于构建可扩展 QA 系统。
2025-09-27ai-systems2025-09
人形机器人灵巧性学习：模仿与强化学习的传感器运动管道工程
探讨工程传感器运动管道，结合模仿学习从人类演示获取初始技能，并用强化学习优化，实现人形机器人在动态非结构化环境中的精细操纵，提供实用参数和策略。
2025-09-27ai-systems2025-09
Moondream 3 中分组查询注意力与内核融合的工程实践：边缘设备高吞吐量推理
针对Moondream 3的视觉推理任务，介绍GQA机制与内核融合的集成，实现边缘设备上50+ tokens/sec的吞吐量优化，同时保持准确性。
2025-09-27ai-systems2025-09
Moondream 3 中的量化感知训练与分组查询注意力：边缘设备 OCR/VQA 亚秒级延迟优化
针对 Moondream 3 管道，工程化量化感知训练和 GQA 以实现移动边缘设备上的亚秒级延迟 OCR/VQA，提供参数配置与监控要点。
2025-09-27ai-systems2025-09
使用 Gemini Cookbook 示例构建可扩展的多模态管道：提示链、视觉语言集成与评估
基于 Gemini Cookbook 的官方示例，探讨如何通过提示链实现多模态输出管道，集成视觉语言模型，并使用 grounding 和 batch mode 进行评估，确保 AI 系统的高可靠性和可扩展性。
2025-09-27ai-systems2025-09
Engineering Scalable Batch Processing Pipelines with SimpleFold for High-Throughput Protein Predictions in Drug Discovery
本文探讨如何利用 SimpleFold 构建高效批处理管道，实现药物发现工作流中的大规模蛋白质结构预测。重点包括分布式推理配置、HPC 集成和性能优化参数，确保高通量和可靠性。
2025-09-27ai-systems2025-09
Engineering LLM Chaining for Infinite Wikipedia Generation
探讨使用 LLM 链式生成无限扩展的百科页面，包括主题分支、引用生成和 RAG 一致性保障的工程实践与参数配置。
2025-09-27ai-systems2025-09
SimpleFold 中使用几何先验和减少采样步骤的简化扩散蛋白质折叠实现
探讨 SimpleFold 如何通过几何约束和流匹配技术简化蛋白质折叠过程，提供高效的结构预测参数和工程实践要点。
2025-09-27ai-systems2025-09
构建Gemini提示的模块化评估管道
利用Gemini Cookbook指标如忠实度和相关性，构建模块化评估管道，实现自动化基准测试与迭代优化，提升生产AI应用提示工程质量。
2025-09-27ai-systems2025-09
SimpleFold 的 GPU 批处理优化：蛋白质折叠的高通量筛选
在资源受限的药物发现环境中，通过优化 SimpleFold 的 Transformer 层和流匹配，实现 GPU 加速的批量蛋白质折叠，支持高通量筛选的关键工程实践。
2025-09-27ai-systems2025-09
Dolphin 中多模态融合表格提取：视觉-语言锚点工程化
探讨 Dolphin 模型中多模态融合机制，用于复杂文档布局下的精确表格检测、单元格对齐与结构化数据提取的工程实践。
2025-09-27ai-systems2025-09
Suno Studio 中链式多生成音频模型的模块化工作流工程化实践
在 Suno Studio DAW 中工程化模块化工作流，链式调用多生成音频模型，支持实时协作与迭代作曲的版本控制参数与监控要点。
2025-09-27ai-systems2025-09
工程化GRAPE的actor-critic机制用于多代理RL协调
在任务分解管道中，探讨GRAPE的actor-critic机制如何通过共享奖励和策略同步提升多代理协调效率。
2025-09-27ai-systems2025-09
Gemini CLI 插件扩展：基于 MCP 的模块化终端命令开发
介绍 Gemini CLI 的 MCP 插件架构，实现用户自定义 AI 命令和工作流集成，提供配置、开发指南与工程实践。
2025-09-27ai-systems2025-09
HumanLayer AI 代理协作：自动化复杂单体遗留代码重构
探讨 HumanLayer 如何通过 AI 代理协作、动态上下文检索和迭代验证，实现复杂单体遗留代码的自动化重构，显著减少人工干预。提供工程化参数和监控要点。
2025-09-27ai-systems2025-09
构建 RNA 二级结构预测的混合 DP-ML 管道：疗效 mRNA 设计与折叠动力学模拟中的准确性权衡
探讨混合动态规划与机器学习管道在 RNA 二级结构预测中的应用，评估准确性权衡，并提供 mRNA 设计与折叠模拟的可落地参数。
2025-09-27ai-systems2025-09
GRAPE 策略梯度方法在 LLM 训练中可扩展 RLHF 的集成：奖励塑造与离策略更新
探讨 GRAPE 框架的轨迹级偏好优化如何提升 LLM RLHF 的可扩展性，焦点在于奖励塑造和离策略更新以确保稳定收敛，提供工程化参数和监控要点。
2025-09-27ai-systems2025-09
Moondream 3：实现前沿推理的高速紧凑视觉语言模型
Moondream 3 通过 9B MoE 架构，仅 2B 活跃参数，实现前沿视觉推理能力，支持长上下文和 grounding。优化推理引擎确保边缘部署的高速运行，提供对象检测、OCR 等功能的参数配置与集成指南。
2025-09-27ai-systems2025-09
Modular Prompt Chaining and Multimodal Input Handling with Gemini API
基于 Gemini Cookbook 示例，探讨如何通过模块化提示链构建可扩展 AI 应用，并处理多模态输入如文本与图像。提供工程参数、代码指南与监控要点。
2025-09-27ai-systems2025-09
Exo 中实现容错设备编排与聚类：异构家庭设备分布式 AI 推理
探讨 Exo 框架下设备编排与聚类技术，实现异构设备间的容错调度与资源池化，支持无中央协调的 scalable AI 推理。
2025-09-27ai-systems2025-09
Dolphin 中锚点融合布局解析机制：混合文档提取工程实践
针对混合布局文档，Dolphin 的融合锚点机制实现鲁棒解析，支持嵌入表格与文本的结构化提取，适用于下游 RAG 索引，提供工程参数与监控要点。
2025-09-27ai-systems2025-09
RAG-Anything中多源检索器编排：跨域问答的自适应查询融合与相关性评分
在RAG-Anything框架下，探讨多源检索器的编排策略，针对跨域QA场景，实现自适应查询融合和相关性评分，提供工程参数与监控要点。
2025-09-27ai-systems2025-09
在 RAG-Anything 中构建 RAG 评估管道：使用 faithfulness、relevance 和 precision 指标与 LLM-as-judge 基准测试
面向 RAG 性能基准测试，给出在 RAG-Anything 中使用 faithfulness、relevance 和 precision 指标构建评估管道的工程化参数与监控要点。
2025-09-27ai-systems2025-09
编码代理中上下文瓶颈优化：混合压缩-检索管道工程实践
针对编码代理的长运行任务，介绍混合压缩-检索管道的实现，扩展上下文窗口并优化性能参数。
2025-09-27ai-systems2025-09
Onyx 中自定义工具插件与流式响应工程化集成
在 Onyx 平台中，通过 OpenAPI 和 MCP 配置自定义工具插件，实现动态函数调用；结合流式响应处理，支持本地硬件上的实时 AI 交互，提供工程参数与监控要点。
2025-09-27ai-systems2025-09
模块化流形插值：用于AI推理路径的动态组合
介绍低维流形插值技术在多代理AI系统中实现模块化推理路径组合的方法，支持高效状态转换与动态路径构建。
2025-09-27ai-systems2025-09
Gemini CLI 中集成流式响应与动态工具调用：终端实时 AI 代理工程实践
Gemini CLI 通过流式响应和动态工具调用，实现终端环境下的实时交互 AI 代理，提供高效命令行工作流优化参数与集成清单。
2025-09-27ai-systems2025-09
使用 SimpleFold 实现简化蛋白质折叠：高效算法在药物发现中的部署
探讨 SimpleFold 的流匹配与 Transformer 架构，在低资源环境下实现快速蛋白质结构预测的参数配置与优化策略。
2025-09-27ai-systems2025-09
在 RAG-Anything 中集成混合检索器：稠密-稀疏结合重排序与 IVF-PQ 优化
在 RAG-Anything 框架中集成稠密和稀疏混合检索器，结合重排序机制和 IVF-PQ 索引优化，以及 LLM 反馈机制，实现生产级知识库的可扩展语义搜索。
2025-09-27ai-systems2025-09
Suno Studio 实时流式音频合成：低延迟管道优化
探讨 Suno Studio 中实时生成音频的工程实现，包括模型推理加速和缓冲管理要点。
2025-09-27ai-systems2025-09