视频领略的 CoT 推理才能，怎样评？
中科大等团队冷漠了评估基准—— VCR-Bench，内部包含七个沉寂评估维度的任务框架，每个维度针对性地锤真金不怕火模子的不同才能（如时空推理、因果推断等）。为确保评估的全面性和可靠性，每个维度齐缠绵了 100 余条高质地样本。
效果发现现时多模态模子在视频复杂推理任务上证明精深欠安——
最优模子 o1 仅赢得 62.8 的 CoT 得分和 56.7% 的准确率，大多数模子两技俩标均低于 40 分，且闭源模子优于开源模子，大模子优于小模子。
具体来看。
多模态视频领略
在多模态商讨规模，视频数据因其丰富的语义信息和全面的场景细节，为构建复杂的想维链（Chain-of-Thought,CoT）推理任务提供了假想载体。
然则，现时多模态商讨社区面对一个症结挑战：
穷乏系统化的评估设施来考据模子在视频领略中的 CoT 推理才能，这严重制约了视频复杂推理任务的商讨进展。
针对这一商讨空缺，中科大等的商讨团队翻新性地冷漠了首个面向视频 CoT 推理进程的多模态评估基准（Benchmark）。
该基准通过开荒标准化的评估体系，显赫提高了视频领略任务中推理才能的考据效度。
此项使命自觉布以来赢得了学术界的高度护士，
在 HuggingFace 的 4 月 11 日 Daily Papers 评比中荣登榜单第二位，展现了其重要的学术价值和哄骗出路。
商讨者觉得，现时视频领略规模的评测基准主要存在两个症结性局限：
最初，现存设施精深仅护士模子输出的最终效果，而忽视了对推理进程的评估。这种评估容貌可能导致"假阳性"风景——即便模子在领略或推理关节存在无理，仍可能通过预想或刚巧赢得正确的最终谜底。
其次，现存基准穷乏对模子推理才能的多维度解构，无法精确识别模子在复杂推理任务中的才能瓶颈（如视觉感知不足与逻辑推理错误的远离）。
这两个局限性严重制约了对视频领略模子真确推理才能的科学评估。而针对这些问题所冷漠的 VCR-Bench，则大概很好的完了视频 CoT 进程评估，填补现存不足。
△图 1 效果评估的局限性首个面向视频 CoT 推理的 Benchmark
具体而言，商讨团队最初构建了包含七个沉寂评估维度的任务框架，每个维度针对性地锤真金不怕火模子的不同才能（如时空推理、因果推断等）。
为确保评估的全面性和可靠性，每个维度经心缠绵了 100 余条高质地样本，最终形成包含 859 个精选视频和 1034 组问答对的大范围数据集。
这种多维度的评估体系大概对模子的详细推理才能进行全面会诊，不仅遮蔽了视频领略的各个症结关节，还能有用揭示模子在不同才能维度上的强弱项。
△图 2 不同维度样例
其次，关于数据聚首的每一条样本，商讨团队不仅提供了标准问答对，还稀零标注了经过东谈主工考据的详备 CoT 推理标准算作参考标准。
在评估进程中，最初对被测模子生成的推理执行进行结构化解析，将其领会为破裂的推理标准。随后，基于事前界说的才能维度框架，包括视觉感知（perception）和逻辑推理（reasoning）两大类别，对这些标准进行分类标注。为保险评估的客不雅性，接纳 GPT-4o 算作自动评分器，通过比对模子生成的推理标准与东谈主工标注的黄金标准，分别计较标准类别的调回率（Recall）和精确率（Precision），最终以 F1 分数算作模子 CoT 得分。这一评估决议既保证了评分的可讲解性，又能有用反馈模子在不同推理维度上的真确证明。
临了，接纳 GPT4o 从模子的输出执行中索取出最终效果，并于正确效果进行匹配，从而得到模子在 VCR-Bench 上推理的效果准确性。
△图 3VCR-Bench 的评估进程
商讨者在 VCR-Bench 上进行了无数实验，考据了其评估体系的有用性，并得到了多条阔气启发兴味的论断：
现时多模态模子在视频复杂推理任务上证明精深欠安，最优模子 o1 仅赢得 62.8 的 CoT 得分和 56.7% 的准确率，大多数模子两技俩标均低于 40 分，且闭源模子优于开源模子，大模子优于小模子。
通过对感知才能和推理才能的对比分析发现，大多数测试模子的视觉感知得分齐低于其推理才能得分，至极是在性能较差的模子中，这种差距证明得更为显赫。这一功令线路地标明，视觉感知才能的不足照旧成为制约多模态模子性能提高的首要要素。
△图 4 不同模子在 VCR-Bench 中的 CoT 得分
模子在时空定位（TSG）维度证明最差，多数模子无法正确回答相干问题，知道出料理时空变化任务的严重不足。
△图 5 不同模子在 VCR-Bench 上的准确率效果
△图 6TSG 任务样例
模子的 CoT 得分和准确率呈现高度正相干（r=0.89），讲解正确有用的 CoT 的推理标准大概匡助模子更好的回答对问题。
部分模子如 LLaVA 系列诚然能达到尚可的准确率，但其 CoT 得分却线路偏低，深远分析发现这些模子存在提醒受命不充分的问题，其输出执行每每过于节略，穷乏必要的推理标准；比拟之下，Qwen2.5-VL 等证明较好的模子大概严格受命提醒条款，生成愈加齐全、细巧的推理进程，因而赢得更高的 CoT 评分。
模子在中等长度视频上证明最好，短视频和长视频相对较差。长视频因执行复杂度高带来领略挑战；而短视频关于东谈主类标注员而言也较容易领略，大概标注出更有深度的问题，此外一些荒谬的维度（TSG）以短视频为主，亦然形成短视频性能欠安的原因。这一风景突显了模子对不同期长视频的稳健才能仍需提高。
△图 7 更多实验效果展示。
（左侧：模子在不同期长视频上的准确率；右上：模子在不同实验缔造下的准确率；右下：模子 CoT 得分与准确率的相干性统计）
Paper： https://arxiv.org/abs/2504.07956
Project Page： https://vlm-reasoning.github.io/VCR-Bench/
Dataset： https://huggingface.co/datasets/VLM-Reasoning/VCR-Bench
Code： https://github.com/zhishuifeiqian/VCR-Bench
一键三连「点赞」「转发」「留意心」
接待在批驳区留住你的办法！
— 完 —
学术投稿请于使命日发邮件到：
ai@qbitai.com
标题注明【投稿】，告诉咱们：
你是谁，从哪来，投稿执行
附上论文 / 技俩主页运动，以及筹办容貌哦
咱们会（尽量）实时回话你
� � 点亮星标 � �
科技前沿进展逐日见开云体育