VideoMind 👍 usable（一遍过）
数据集
yeliudev/VideoMind-Dataset HF 公开，覆盖 27 个 grounding/QA benchmark（Charades-STA, NExT-GQA, QVHighlights, MLVU, …）- Annotation 文件 ~MB 级，免费下载
- 视频两种格式：
videos.tar.gz（原始，单数据集 ~50 GB+）/ videos_3fps_480_noaudio.tar.gz（压缩，单数据集 ~10 GB）。本次没拉全套
- 用 HF Space
yeliudev/VideoMind-2B 上的 demo 视频（~6 MB/个）验通路
环境踩坑
0 个。Conda env videomind (Python 3.11) + pip install -r requirements.txt 一遍过。
- torch 2.4.0+cu121
- transformers 4.45.2
- peft 0.14.0
- decord 0.6.0
- deepspeed 0.15.4
- nncore 0.4.5
推理验证
- HF 拉模型：
yeliudev/VideoMind-2B（1.9 GB，LoRA adapters for planner/grounder/verifier + 小 regression head）+ base Qwen/Qwen2-VL-2B-Instruct（4.2 GB）
- 加载时间：9.3s（H100）
- 自写
test_inference.py 跑 grounder role 单样本
输出片段：
Video duration: 63.43s
Query: 'Why did the old man stand up?'
Generated in 1.5s
=== GROUNDER RESPONSE ===
The relevant moment happens in <|reg|>.
=========================
Grounded moments (top 5):
[0] 00:00:20 - 00:00:28 conf=0.403
[1] 00:00:04 - 00:00:13 conf=0.357
[2] 00:00:16 - 00:00:25 conf=0.355
[3] 00:00:23 - 00:00:30 conf=0.352
[4] 00:00:08 - 00:00:16 conf=0.351
符合论文：文本响应嵌入 <|reg|> token，路由到 regression head 输出 ranked normalized [start, end] + 置信度（clamp 到视频时长）。Top-1 (20-28s) 与"老人站起来"语义吻合。
VideoMind 👍 usable（一遍过）
2503.13444，ICLR 2026 accepted6721d25"Fix file name"（2026-02-08，3 个月前）CUDA_VISIBLE_DEVICES=1（H100）数据集
yeliudev/VideoMind-DatasetHF 公开，覆盖 27 个 grounding/QA benchmark（Charades-STA, NExT-GQA, QVHighlights, MLVU, …）videos.tar.gz（原始，单数据集 ~50 GB+）/videos_3fps_480_noaudio.tar.gz（压缩，单数据集 ~10 GB）。本次没拉全套yeliudev/VideoMind-2B上的 demo 视频（~6 MB/个）验通路环境踩坑
0 个。Conda env
videomind(Python 3.11) +pip install -r requirements.txt一遍过。推理验证
yeliudev/VideoMind-2B（1.9 GB，LoRA adapters for planner/grounder/verifier + 小 regression head）+ baseQwen/Qwen2-VL-2B-Instruct（4.2 GB）test_inference.py跑 grounder role 单样本输出片段：
符合论文：文本响应嵌入
<|reg|>token，路由到 regression head 输出 ranked normalized[start, end]+ 置信度（clamp 到视频时长）。Top-1 (20-28s) 与"老人站起来"语义吻合。