使用 markitdown 构建 Python ETL 管道:解析 Word/PDF 为结构化 Markdown,支持 RAG 和 LLM 微调
介绍如何利用 markitdown 在 Python ETL 中转换 Office 文档和 PDF,保留表格和图像结构,便于 RAG 数据摄取和 LLM 训练,提供实现参数与最佳实践。
Latest Essays
继续沿着时间线阅读近期的工程实践与技术观察。
近期的思考与工程笔记。
介绍如何利用 markitdown 在 Python ETL 中转换 Office 文档和 PDF,保留表格和图像结构,便于 RAG 数据摄取和 LLM 训练,提供实现参数与最佳实践。
Murex 作为内容感知 Shell,提供原生结构化数据支持,助力高效 CLI 自动化。通过智能管道和类型推断,轻松处理 JSON、YAML、CSV 文件,实现现代命令行工作流优化。
利用 Anthropic Claude API 在 VSCode 中构建上下文感知代码生成扩展,聚焦多轮推理和减少幻觉的实现策略。
通过 Docker 容器化 Irssi,实现轻量级运行、会话持久化和安全网络隔离,提供工程化参数与最佳实践。
针对 RTL 硬件验证,介绍自定义 Z3 策略以优化位向量算术,提升等价性检查和 bug 检测效率,提供工程参数与监控要点。
基于 DeepCode 框架,探讨构建多代理管道以从研究论文和规范生成可执行代码,包括解析、规划与迭代细化,提供工程参数与落地清单。
通过顶级规划代理协调子代理,实现深度研究查询的自动化分解、证据收集与综合。
面向边缘设备,给出 PaddleOCR 模型量化、ONNX 转换与实时部署的工程参数与优化要点。
探讨构建运行时扫描器和沙箱化构建来检测 Shai-Hulud 通过 NPM 的蠕虫传播,重点关注依赖图遍历和基于异常的隔离策略。
基于 Stategraph,实现 Terraform state 的分布式存储与同步,使用 CRDT 合并冲突和 Raft 共识确保多区域一致性,支持零停机状态迁移。
使用 React 上下文钩子实现 'your' 和 'my' 代词的动态替换,个性化账户仪表盘等 UI 元素,而无需完整重渲染。
探讨 MLX 框架如何利用 Apple Silicon 的统一内存和优化内核,实现低延迟 LLM 微调与边缘 AI 部署。
基于 Midnight Commander 实现跨平台文本界面文件管理,覆盖 VFS 远程访问、双面板操作和插件扩展的工程实践。
探讨分层多代理系统中的代理间移交协议设计与冲突解决策略,强调容错任务委托机制与实时同步,确保深度研究任务高效执行,提供工程参数与监控要点。
构建多代理 LLM 系统,用于自治对冲基金的实时再平衡、风险模拟和 API 交易执行的工程指南。
在多用户无代码环境中,工程化 NocoDB 的 REST API 实现实时数据同步,并通过视图级访问控制确保安全协作。
基于乐观并发控制的并行交易执行、PBS 内存池管理和零 gas 抽象,实现 Monad 高性能 EVM 的工程参数与监控要点。
针对旧金山机场高流量区无人驾驶挑战,探讨实时高精地图更新、多传感器融合及监管合规故障转移的工程参数与监控要点。
基于DeepResearchAgent框架,工程化顶级规划代理实现复杂研究任务的自动化分解与多子代理协调,提供设计参数、配置指南与执行清单。
在DeepResearchAgent框架中工程化顶级规划代理,实现复杂研究任务的自动化分解与子代理协作,提供设计参数、协调机制与落地实践。