NeurIPS 2024 Oral | 还原所见！揭秘从脑信号重建高保真流畅视频

AIxiv专栏是本站发布学术、技术内容的栏目。过去数年，本站AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果% k Z您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱[ 4 O #：liyazhou@jiqiA i 5 @ C E @zhixin.com；zhaoyunfeng@jiqizhixin.com

本篇论文的工作已被 NeurlPS（Conference on Neural Information Processing Systems）2024 会议接收为 Oral Presentatioh J , t = ; #n (64/15671=0.4%) 。本文主要作者来自同济大学苗夺谦，张奇团队，其余作者来自俄亥俄州州立大学、悉尼科技大学、中科院自动化所、北京安定医院。其中，第一作者龚子璇就读于同济大学计算机学院，% y \ S p @ y 8研究方向涉及 fMRI 解码S e r和多模态学J l ] V w d习。

从大脑信号w N f F 1 8 G !还原视觉刺激一直是神经科学和计算机科学研究人员们津津乐道的话题。然而，基于非侵入式大脑活动 fq / Z ) m r LMRI（功能性磁共振成像）到视频的重建研究仍然有限，因为解码连续视觉刺激t D O h b , G `的时空感知是一项艰巨K ^ – / $ – J @的挑战。为此，本文提出了一种名为 NeuroClips 的创新框架，用于从 fMRI 数据中解R } n H 4 /码高保真z _ l g q .和流畅的视频。

论文题目：NeuroClips: Towards High-f] A ? s G t IidelitX O h f L j Ny and Smooth fMRI-to-Video Reconstruction
论文链接G * U：https://arxiv.w ^ T v 8org/abs/2410.19452
项目主页：https://github.com/gongzix/) j & , / 9 . U ~NeuroClips

从 fMRI 重建视频具有哪些挑战？

1.fMRI 的低时间分辨率。r o [功能性磁v L ! c共振成像 fMRI 相比于常用的 EEG 脑电信号而言，具有极高的空间分辨率，可以对全脑进行细致的扫描。但是由于全脑扫描更加耗时，fMRI 拥有较低的时间分辨率，通0 a u 2常 2s 才能完成一次采样，帧率只有 0.5。然而，需要重建视频的时间分辨率是极高的，通常达到 30~60 的帧率。因此 fMRI 的低时间% O C i h & O Y分辨率（0.5fps）和真实视频采样的高时间分辨率（30fps）之间存在严重冲突。

2. 重建视频的低级视觉感知缺乏控制。以往的研究对于视频重建，已经实现了较为精准的语义重建。例如，当采集被试看见一个男人的 fMRI 信号并用于重建，可以获得一段男人的视频。然而，& ] }视频更难的点在于物体形状变化，人物动作以及场景的变化。因此过往的研[ } e H g究y 7 ! h Y T J S E缺乏对重建视频的低级视觉感知的控制。

为了解决M B J j g } Q上述挑战，我们主张利用关键帧图像作为过渡视频重建的锚点，与大脑的认知机制相吻合。此外，fMRI 到视频重建考虑低级感知特征，从大脑活动解码低级感知8 ] i I B ] r ; k流，如运动和动态场景，以补充关键帧，从而增y V $ z X K强高保真帧的重建，生成平滑的视频。我们提出了一种新颖的 fMRI-to-video 重建框架 NeuroClips，引入了两个可训练的组件 —— 感知重建器（Perception Reconstructor）和语义重建器（c R OSemantics Rec, 8 p F }onstructor），分别用于重建低级感* p { T s = F 8知流和语义关键A ) 6帧。而在推理过程中，采用一个预先训练好的 T2V 扩散模型，注入关键帧和低级感知流，以实现高保真度、平滑度和一致性的视频重建。该模型不仅在各项指标上实现了 SOTA 性能，还通过; Z 5 A $使用多 fMRI 融合，开创了长达 6 秒、8 帧率视频重建的探索。

研究方法

NeuroClips 的整体框架如下图所示：

^{图 1：NeuroClips 的整体框架。红色的线代表推理过程。}

NeuroClips 包括三个关键组件：感知重建器（PR）从感知层面w % d生成模糊但连续的粗略视频，同时确保其连续帧之间的一致性；语义N C F F D – L重建器（SR）从语义层面重建高质量的关键帧图像；推理过程是 fMRI 到视频的重d 0 # x建过程，它使用 T2V 扩散模型，并结合 PR 和 SR 的重建结果，以高保真度、平滑度和一致性重建最终的保真视频。

1、感知重建器（Perception Reconstructor，PR）

将视频按两秒间隔分割成多个片段（即 fMRI 的时间分辨率）。通过在 Stable Diffusion 的 VAE 解码器中添加时间注意力层，获得对齐的 fMRI 模糊嵌入，这些嵌入可以用于生成模糊视频，其缺乏语义内容，但能感知场景的通用动作信息，在位置、形状、场景等感知指标上表现出z * % Z 3 2 6 . N最先进的水平。

2、语义重建器（Semantics ReconX ] 0 %structor , SR）

语义重构器（SR）的核心目标是重g Z ^ L建高质量的关键帧图像，以解决视觉刺激和 fMRI 信号之间的帧率不匹配的问题，从而提高最终视频的保真度e @ [ ) g G U a。现有愈发成熟的 fMRI 到图像重建研究促5 = d m / !进了我们的目标，包括将 fMRI 进行低维处理、关键帧( 0 ` \图像– n a e U – X ^与 fMRI 的对齐、重建嵌入生成以及文本模态的重建增强。受到对比学习的启发，我们在

和

之间进行对比学习，通过额外的文本模态来增强重建嵌入

。对比损失作为这一过程的训H ] o !练损失

。我们设置混合系数

和

来平衡多个损失。

其中，

是关键帧图像和 fMRI 对齐采用的结合了 MixCo 和对比损失的双P @ 0 E o向损失， NeurIPS 2024 Oral | 还原所见！揭秘从脑信号重建高保真流畅视频

是重建时与 DA$ @ l M nLLE・2 相同a z y \ @ , ! T的扩散先验损失。

3、推理过程（Inference Process）

我们结合模糊的粗略视频（PR 输出）、高质量的关键帧图像（模糊视频第一帧嵌入

和 fMRI 嵌入输入到 SR 中的 SDXL unCLIP 生成）和额外的文本模态分别作为

、

和

Guidance 来重建具有高保真\ n ; j n 3度、平滑4 # s度和一致性的最终视频。我们采用 text-to-: 4 ` Z M nvideo（T2V）的扩散模型来帮助重建视频，而由于嵌入的语义仅来自文本模态。我们还需要通过增强4 @ s : ( E } ( i来自视频和图像模态的语义来创建 “综合语义” 嵌入，以帮助实现 T2V 扩散模型的可控生成。

4、多 fMRI4 x ^ 5 v 2 v P 融合（Multi-fMRI Fusion）

如何从 fMRI 中重建更长的视频呢？在推理过i \ n # n U程中，我们考虑来自两个相邻的 fMRI 样本的两个重建关键帧的语义相似性，如果语义相似，我们就用前一个 fMRI 重建视频的尾帧替换后一个 fMRI 的关键帧，该帧将作为后一个 fMRI 的第一帧来生成视频。如图 2 所示，通过这一策略，我们首次实现了长达 6 秒的连续视频重建。~ L 9

^{图* ) _ h X 2：多 fMRI 融合的可视化。}

实验结果

本文使+ A # v o用开源的 fMRI-video 数据集（cc2017 数据集）进行了 fMRI-to-video 的重建实验，通过基于帧的和基于视频的指标进行了定量评估，并进行了全面分析。

从 fMRI 重建视频的 Demos

neurips 2024 oral | 还原所见！揭秘从脑信号重建高保真流畅视频

^{表 1：NeuroClips 重建性能与其他方法的定量比较。}

结果如上表所示，NeuroClips 在 7 个指标中的 5 个上显著优于先前的方法，SSIM 性能大幅提升，表s D g l T ] ^ –明其补充了像素级控制的不足。语义层面的指标也总体! } n上优于先前的方法，证明了 NeuroClips 更好的语义对齐范式。在评估视频平滑度的 ST 级指标上，由于我们引入的模糊的粗略视频（ Guidm j o qance），NeuroClips 远超 MinD-Viy * \ , Ldeo，重建视频更加流畅。

神经科学解释性

此外，为了探究神经层面的可解释性，本文在脑平面上可视化了体素级别的权重以观察整个大脑的关注度。可以观察到，任何任务视觉皮层都占据着重要的位置，以及 SR 和 PR 的不同权重。

结论

本文创新性地提出了 NeuroClips，这是一种用于 fMRI-to-video 重建的新颖框架。通过感知重建和语义重建两条路径实现了体素级和语义级的 f\ Y S X D y Q MMRI 视觉学习。我们可以在不进行额外训练的情况下将它们配置到最新的视频扩散模型中，以生成更高质量、更高帧率和更长的视频。NeuroClips 能够在语义级精度和像素级匹配程度上恢复视频，从而在该领域建立了新的最佳水平，我们还可视化了Q 2 + x c t X . NeuroClips 的神经科学可解释性。

以上就是Neu– B k u hrIPS 2024 Oral | 还原所见！揭秘从脑信号重建高保真流畅视频的详细内= D i容！

百度未收录

本文由【好易之】整理自网络！
原创文章，作者:【好易之】如转载请注明出处：https://www.zhengjiaxi.com/zxwd/itzx/119229.html
如有侵权，请邮件联系 aoduoye@qq.com 删除。
本站发布的文章及附件仅限用于学习和研究目的;不得将上述内容用于商业或非法用途，否则后果请用户自负。
本站信息来自网络，版权争议与本站无关。您必须在下载后的24个小时之内，从您的电脑中彻底删除上述内容。
如果您喜欢该程序，请支持正版软件，购买注册，得到更好的正版服务。如有侵权请邮件与我们联系处理。