📝
ai-systems
•2025年
热门构建多代理协作系统处理复杂代码库重构：基于 HumanLayer 的 LLM 推理与迭代优化
面向复杂代码库重构，介绍 HumanLayer 多代理编排框架的核心机制，包括协作推理、上下文分区与迭代精炼，提供实用参数与实施清单。
阅读全文
3分钟阅读
🔥每日更新技术干货 · 已更新 1915 篇文章
欢迎来到
Hotdry Blog
技术热点，干货分享。 专注云原生、CDN、AI等前沿技术的实战经验和深度思考
1915
技术文章
60
技术分类
365
天更新
∞
持续学习
📝最新文章
查看全部📝
ai-systems
•2025年
热门Rust 中离线量化 Whisper 集成：移动端电池高效低延迟语音转文字工程实践
在 Handy 框架下探讨 Rust 集成量化 Whisper 模型，实现移动端离线 STT 的电池优化与实时推理参数配置。
阅读全文
3分钟阅读
📝
web
•2025年
热门优化 Gin 的流式响应处理以实现实时 API 的亚毫秒延迟
探讨使用分块传输编码和零拷贝缓冲区优化 Gin 框架的流式响应处理，在数据密集型 Web 服务中实现低延迟。
阅读全文
3分钟阅读
📝
ai-systems
•2025年
热门在 RAG-Anything 中使用 IVF-PQ 索引和重排序优化混合检索
针对 RAG-Anything 的混合稠密-稀疏检索，应用 IVF-PQ 量化索引减少内存消耗，同时集成 Cross-Encoder 重排序提升跨域 QA 精度，提供生产级参数配置和监控要点。
阅读全文
3分钟阅读
📝
ai-systems
📝
ai-systems
•2025年
热门OpenAI o1 模型中链式思考优化的工程实践：多步推理的延迟降低与准确提升
针对 OpenAI o1 模型的链式思考（CoT）优化，提供 AI agents 中多步推理的结构化分解策略、延迟阈值参数及准确率监控要点。
阅读全文
3分钟阅读
📝
ai-systems
•2025年
热门PyTorch 构建 LLM 的推理优化：KV 缓存融合、动态批处理与量化实现亚百毫秒延迟
在 PyTorch 从零实现的 LLM 中，探讨 KV 缓存融合、动态批处理和量化技术如何优化推理，实现实时应用的亚百毫秒延迟，提供工程参数与监控清单。
阅读全文
3分钟阅读
📝
compilers
📝
blockchain-security
•2025年
热门优化 zk-SNARK 证明生成：以太坊 L2 Rollups 中的隐私保护交易
针对隐私保护交易，优化 zk-rollups 中的 zk-SNARK 证明生成，并集成 EVM 以实现高效零知识验证。
阅读全文
3分钟阅读
📝
ai-systems
•2025年
热门使用Dynamo协调异构GPU上的数据中心规模LLM推理：Rust分片与动态路由
Dynamo框架通过Rust-based sharding、动态路由和零拷贝张量共享，实现异构GPU环境下的低延迟LLM服务。探讨核心架构与工程参数配置。
阅读全文
3分钟阅读
📝
ai-systems
•2025年
热门使用 Dynamo 编排异构 GPU 上的数据中心规模 LLM 推理：Rust 异步调度与零拷贝优化
探讨 Dynamo 在异构 GPU 环境下的编排机制，包括 Rust 异步调度、Raft 领导选举和零拷贝张量共享的工程实践与参数调优。
阅读全文
3分钟阅读
📝
systems
📝
ai-systems
•2025年
热门PyTorch从零实现解码器Transformer：高效KV缓存与长上下文注意力缩放
从scratch构建PyTorch decoder-only Transformer，集成KV cache实现长上下文高效生成，并自定义注意力缩放参数。
阅读全文
3分钟阅读
📝
ai-systems
•2025年
热门用PyTorch从零实现Transformer-based LLM：GPT架构、下一token预测训练与LoRA聊天微调
本文基于PyTorch从头构建GPT-like大型语言模型，详述架构设计、预训练流程及LoRA参数高效微调，实现交互式响应生成。
阅读全文
3分钟阅读
📝
ai-systems
📝
systems
•2025年
热门SSH3 中基于 QUIC 流的文件传输：并发高吞吐上传下载与零拷贝优化
探讨在 SSH3 中利用 HTTP/3 QUIC 流实现 SFTP-like 文件传输，支持并发 I/O、高吞吐量、无 HOL 阻塞，并提供零拷贝缓冲参数与工程实践要点。
阅读全文
3分钟阅读
📝
systems
•2025年
热门SSH3 中基于 QUIC 的可恢复 SFTP 实现：检查点机制与不稳定网络传输
在 SSH3 中利用 QUIC 流实现 SFTP 的断点续传，支持部分上传检查点，确保大文件在不稳定网络下的可靠传输。提供工程参数和监控要点。
阅读全文
3分钟阅读
📝
ai-systems
•2025年
热门反向工程 Flash Attention 4 的专有融合注意力内核：复制商品 GPU 上的高吞吐多查询 Transformer 推理
探讨反向工程 Flash Attention 4 专有融合内核的技术，针对多查询 Transformer 推理，提供在消费级 GPU 上的复制实现，包括内核融合策略、内存优化参数和性能监控要点。
阅读全文
3分钟阅读
📝
ai-systems
•2025年
热门逆向工程 Flash Attention 4 的融合注意力内核：针对 GPU 多查询 Transformer 推理优化
通过逆向分析 Flash Attention 4 的融合内核，探讨其在多查询注意力下的内存访问优化与内核融合技术，提供工程参数与监控要点，实现高效的 Transformer 推理。
阅读全文
3分钟阅读
📝
ai-systems
•2025年
热门Dynamo 中基于 Rust 的异步 GPU 调度器：异构环境动态任务分配
探讨 Dynamo 项目中 Rust 异步调度器的设计，用于数据中心规模 AI 推理的异构 GPU 任务分配，包括 failover 和负载感知调度参数。
阅读全文
3分钟阅读