TOOLv0.4.7
vid2note｜视频笔记生成器
面向公开课与技术视频的智能笔记工作流，自适应提取板书/PPT关键帧并生成结构化 Markdown 与 MCP 服务。
全栈开发者 / 计算机视觉算法与 MCP 架构
2024.10 - 2025.01
6 Tech Stacks
Python 3.11OpenCVFFmpegFaster-WhisperMCP (Model Context Protocol)Markdown AST
像素 UI 架构与运行效果预览vid2note.render
[INIT] vid2note: Video-to-Markdown & Keyframe Tool :: Runtime Initialized
- Architecture: Python 3.11 + OpenCV + FFmpeg
- Status: Active Verified Pipeline (v0.4.7)
Core Metric: 双重梯度检验（Canny + Hu Moments）自适应关键帧算法，过滤讲师晃动
Python 3.11 · OpenCV · FFmpegTOOL · 2024.10 - 2025.01
地块背景 (Background)
大学期间刷 B 站名校公开课（如 CS61A、MIT 18.06）时，频繁暂停截图、手动录入板书公式严重破坏专注度。市面现有的 AI 摘要工具仅依赖字幕文本，完全丢失了理工科课件最关键的公式板书与拓扑图。
我的工作 (My Work)
编写了基于 OpenCV 帧间直方图差异与 SSIM 的画面变化检测器；利用 FFmpeg 硬件加速分块抓取画面；结合本地离线 Faster-Whisper 提取讲师口述；按 Markdown AST 语法树结构化拼装图文，并封装为标准 MCP Tool 接口。
双重梯度检验（Canny + Hu Moments）自适应关键帧算法，过滤讲师晃动
集成 Faster-Whisper 本地音轨识别，自动打上秒级时间戳与章节标记
首批原生接入 Model Context Protocol (MCP)，可被 Claude Desktop 与 Agent 直接调用
一键导出包含高精板书缩略图、图文对应排版的 Obsidian / Notion 兼容 Markdown
关键难点与解法 (Key Challenges & Solutions)
讲师在讲台前走动或轻微手势会引发画面大量像素突变，导致生成数百张冗余重复截图。通过对画面进行人体语义遮罩（Masking）并引入 OCR 文本增量变化阈值，使得有效关键帧准确率从 42% 提升至 93.6%。
收获与心得 (Takeaways)
真正做到了'用自己的工程解决自己的痛点'，同时积累了音视频流水线和当下前沿 MCP 智能体协议的工程落地经验。
地垄回音 (访客探讨)
0还没有评论，来做第一个留言探讨的访客吧！🌾