MinerU:复杂 PDF 解析到 LLM 友好 Markdown 的布局分析与表格提取实践
利用 MinerU 的 pipeline 和 vlm 后端,实现复杂 PDF 的布局分析、表格提取和 OCR,支持 LLM 友好输出格式,确保 RAG 管道高效摄入。
Latest Essays
继续沿着时间线阅读近期的工程实践与技术观察。
近期的思考与工程笔记。
利用 MinerU 的 pipeline 和 vlm 后端,实现复杂 PDF 的布局分析、表格提取和 OCR,支持 LLM 友好输出格式,确保 RAG 管道高效摄入。
针对生产 AI 系统,提供 Diffusers 管道并行、LoRA 微调和自定义噪声调度器的参数配置与优化策略。
Qt 的元对象编译器 (MOC) 为 C++ 提供运行时反射,支持动态属性绑定、方法调用和信号槽机制,助力工程化开发。
基于 Zig 的 Bun 运行时,提供 Bun.serve 快速 HTTP、SQLite 集成及 Web API 兼容的实现要点与参数配置。
面向 AI 生成代码的安全执行,给出 Daytona 的容器隔离、动态缩放和政策执行的工程化参数与监控要点。
面向 Java 开发者,利用 Spring AI Alibaba 的 Graph 框架构建响应式多代理系统,实现 LLM 协调与实时工作流。
探讨 Together AI 的 Inference Engine,利用内核融合、量化感知训练和 GPU Tensor Core 优化,实现实时应用的 4x LLM 推理加速,提供工程参数与监控要点。
探讨Coral协议中代理注册的语义搜索与能力匹配协议,用于去中心化AI代理网络的动态发现与协商,提供工程参数与监控要点。
探讨如何利用 Claude Code 构建终端代理,实现代码库的语义理解、自然语言 Git 工作流以及自动化例行任务的工程参数与最佳实践。
探讨如何利用Supermemory API在多模型AI系统中实现会话状态持久化,通过zero-copy共享和增量更新确保低延迟回忆,提升推理链效率。
面向个人服务器的自托管 PaaS 部署工程,给出 Blossom 中 git-push 流程、Docker 编排参数、自动缩放阈值与零宕机迁移清单。
利用 PostgreSQL 18 的扩展查询协议实现流水线,减少高吞吐应用中的网络延迟,提供工程化参数和错误处理要点。
针对隐私优先的习惯戒除应用,介绍 Core Data 本地持久化、静默通知每日提醒及 CSV 数据导出的 iOS 实现要点与参数配置。
探讨 PostgreSQL 18 如何通过扩展查询协议增强 psql 流水线功能,实现异步命令队列、结果缓冲和减少网络往返,提升客户端-服务器交互效率。提供工程化参数和监控要点。
探讨在 Coral Protocol 中使用 libp2p 构建 P2P 网络,并结合 DID 认证实现协议无关的消息路由与安全通信的工程参数和监控要点。
探讨Iceberg和Delta Lake中利用分区裁剪与清单文件扫描的无索引查询优化策略,提供工程参数与监控要点。
在 macOS 平铺窗口管理器 Rift 中,通过热键驱动的工作区切换、自动窗口重新分配以及浮动模式转换,实现高效的多任务处理。
基于 Timelinize 项目,探讨本地 SQLite 数据库结合 Merkle 树实现多源事件同步、聚合与去重的工程实践,包括关键参数配置与监控策略。
探讨 Cubyz 项目中使用 Zig 实现的多线程体素地形生成和 Vulkan 渲染技术,实现高 FPS 大世界沙盒游戏的工程实践。
在AI编码扩展中,通过regex模式和AST解析实现动态提示过滤,检测并阻挡注入负载,防止CamoLeak漏洞导致的私有代码泄露。