微软AR/VR专利分享用于ToF成像的运动校正方法
（映维网Nweon2023年10月19日）诸如飞行时间ToF摄像头这种深度感测系统可用于为HoloLens2产生环境的深度图像，其中深度图像的每个像素表示到环境中相应点的距离。在ToF成像中，环境中成像表面上点的距离取决于ToF摄像头发出的光传播到该点，然后返回到ToF摄像头传感器的时间间隔长度。基于相位的ToF成像是ToF成像的一种变体，其中深度是根据从对象反射回来的调幅光的相移来计算。由于ToF摄像头在相位数据采集之间的运动，帧内相位数据可能会相对移位。例如，在第一帧内相位数据采集中，像素可以在场景内
（映维网Nweon 2023年10月19日）诸如飞行时间ToF摄像头这种深度感测系统可用于为HoloLens 2产生环境的深度图像，其中深度图像的每个像素表示到环境中相应点的距离。在ToF成像中，环境中成像表面上点的距离取决于ToF摄像头发出的光传播到该点，然后返回到ToF摄像头传感器的时间间隔长度。
基于相位的ToF成像是ToF成像的一种变体，其中深度是根据从对象反射回来的调幅光的相移来计算。由于ToF摄像头在相位数据采集之间的运动，帧内相位数据可能会相对移位。例如，在第一帧内相位数据采集中，像素可以在场景内的位置以第一调制频率感测相位数据。然后在下一帧内相位数据采集期间，像素可以在第二调制频率下感知不同场景位置的相位数据。不同频率的相位数据变得不一致，则可以称为运动模糊。
所以在名为“Motion correction for time-of-flight depth imaging”的专利申请中，微软提出了一种用于ToF成像的运动校正方法。
为此，将对应于第一照明光调制频率的主动亮度AB图像与对应于第二照明光调制频率的AB图像进行比较，以确定帧内二维平移。帧内二维平移对应于摄像头相对于成像场景的估计运动。
然后，将帧内二维平移应用于相位数据，以帮助相位图像对齐并形成校正后的相位数据。接下来，对校正后的相位数据进行相位解包，得到帧内校正后的三维深度图像。帧内二维平移同时可用于对帧内AB图像执行运动校正。例如，可以通过对校正后的AB图像取平均值来获得帧内校正后的AB图像。
在这样的示例中，将来自第一帧的第一AB图像与来自第二帧的第二AB图像进行比较，以确定帧间二维平移。帧间平移是对帧间运动的估计。然后，可以将帧间二维平移应用于第一帧的深度图像，以形成帧间生成的深度图像。可以根据帧内校正的AB图像确定帧间二维平移。
另外，作为摄像头运动的估计，可以输出帧间二维平移并用于各种时间后处理例程或软件服务。因此，专利描述的实施例可以使用二维帧内AB图像数据帮助实现3D深度数据的运动模糊校正。通过使用二维数据，与使用3D深度数据进行运动模糊校正相比，可以实时执行运动校正，具有相对高效的计算性能。
图2显示了包括ToF摄像头202的示例。其中，ToF摄像头是基于相位的ToF深度成像系统200。ToF摄像头202包括传感器阵列204，传感器阵列204包括多个ToF像素206，每个像素206配置为获取捕获相位数据的光样本，控制器208和物镜系统210。
控制器208配置为收集和处理来自传感器阵列204的ToF像素206的数据，从而构建深度图像。控制器208可以包括执行去噪和/或相位展开的可执行指令。
深度成像系统200同时包括调制光发射器230和用于传感器阵列204的模拟和/或数字调制电子快门232，以通过传感器阵列204控制光的集成。调制光发射器230可以配置成发射具有可由ToF像素206检测到的任何频率的电磁辐射。
调制光可以按顺序或同时以不同频率调制，而传感器阵列204配置为采样从调制光发射器230反射到表面220并返回到摄像头的光。传感器阵列204的每个ToF感测像素206可包括一个或多个像素tap，以在不同的时间间隔集成反射光信号，并由此确定相移。
对于每个调制频率，控制传感器阵列204以来自光源的幅调制光的多个相位角对光进行采样，并从用于调制频率的多个光样本中确定用于每个调制频率的相位样本。然后相位样本可以展开以获得每个像素的深度值。
由于调制光的周期性，测量的总相位每2π重复一次。由于n(k)不能通过基于相位的ToF像素直接测量，因此总相位以及与测量相关的实际距离是模糊的。因此在基于相位的ToF成像中，可以测量的距离（无模糊范围）受到调制频率的限制。
可以使用两个或多个不同的调制频率来增加无模糊范围，然后将收集到的相移数据展开，以准确确定距离。
图3示意性地说明用于多个K个调制频率的示例ToF图像数据300。数据300表示深度成像系统200在多频帧采集过程中可以获取的数据。
在所示的示例中，深度数据包括针对K个调制频率中的每个频率的M×N数据数组，从而产生帧内深度数据302a-c的M×N网格，其中每个网格中的每个像素304表示在K个调制频率的相应照明光调制频率K下获得的测量值。
测量的相位用于计算与像素相关联的深度值。但如上所述，在基于相位的ToF成像中，可以测量的距离（无模糊范围）受到调制频率的限制。因此，可以使用一组K≥2个调制频率K来增加范围，从而允许相位信息解开以准确确定距离。
相位展开是通过用多个不同频率的调幅光照射场景来消除相移数据歧义并识别正确距离值的一种方法，因为对于每个照明光的频率，距离歧义是不同的。
但如上所述，如果ToF深度摄像头处于运动状态，则可能发生相位展开错误。由于每个频率的深度数据采集是顺序进行，因此相位图像和AB图像在一帧内暂时分离。
例如，帧内相位图像306a可包括朝着帧的开始处获取的第一频率ƒ1相位数据，帧内相位图像306b可包括在帧的中间处获取的第二频率ƒ2相位数据，帧内相位图像306b可包括朝着帧的结束处获取的第三频率ƒ3相位数据。
因此，如果ToF深度摄像头在帧内采集之间移动，三种不同频率的相位数据可能会移位和错位。相位数据不一致可能导致相位展开时出现错误。
所以，微软提出了利用AB图像数据来估计运动并确定二维平移的解决方案。
这家公司指出，尽管可以使用深度数据，但由于场景中对象之间的主动亮度差异，基于AB图像数据确定二维平移可能更加稳健。然后，可以使用二维平移对相位数据执行帧内运动校正。对帧内校正的相位数据执行相位展开可以帮助避免由于运动模糊而导致的展开错误。
图4示出用于在相位展开之前对深度数据执行这种校正的示例方法。方法400可在接收来自ToF深度摄像头的数据的计算系统实现。
在402，进行多频帧收集，其中通过ToF图像传感器收集多个帧内相位样本。对多个照明光调制频率（ƒ1、ƒ2、ƒ3）中的每一个采集帧内相位样本，以形成相应的帧内深度数据404a-c。在本例中，首先获取帧内深度数据404a，其次获取帧内深度数据404b，第三获取帧内深度数据404c，如时间箭头所示。
在406，进行信号校准校正以获得相位数据408和主动亮度数据410。如上所述，由于摄像头运动，不同频率的帧内深度数据可能会相对移位。因此，方法400比较主动亮度数据410来估计和校正运动。
这里，将帧内AB图像410a与帧内AB图像410b进行比较，以确定第一帧内二维平移412。从AB1到AB2的二维平移可以用[Δu， Δv]1,2来表示，其中Δu是x方向的像素位移，Δv是y方向的像素位移。帧内二维平移412是帧内深度数据404a和帧内深度数据404b之间运动的估计。
接下来，将帧内AB图像410a与帧内AB图像410c进行比较，以确定第二个帧内二维平移414，表示为[Δu， Δv]13。
在一个实施例中，可以将帧内AB图像410b与帧内AB图像410c进行比较，以确定第三帧内二维平移。在其他示例中，可以比较任何合适的帧内AB图像对以确定相应的帧内二维平移。任何合适的方法都可以用来比较AB图像并确定平移。在一个示例中，从AB图像中提取特征，形成特征映射，并用于比较图像。
在确定二维平移后，可以使用确定的平移来校正相位数据。在图4所示的实施例中，对相位图像408b施加帧内二维平移412，对相位图像进行校正，形成校正后的相位图像420b。同样，对相位图像408c进行帧内二维平移414，对相位图像进行校正，形成校正后的相位图像420c。
因此，校正后的相位数据420表示已“重新对齐”到相位图像408a的相位数据。在一个示例中，可以应用一个或多个二维平移来形成与相位图像408b或408c对齐的校正相位图像。
在422，方法400同时包括对校正后的相位数据420执行相位展开以形成深度图像424。由于校正后的相位图像420b、420c可以与相位图像408a重新对齐，与忽略运动模糊校正的示例相比，在422的相位展开可以产生相对较少的展开误差。
所以，方法400可以帮助在处理深度数据404以形成深度图像424方面实现更好的性能。
另外，帧内二维平移的应用可以通过卷积执行，因此可以与也利用卷积的空间和时间滤波处理相结合。同时，作为摄像头运动的估计，确定的帧内二维平移可能有助于实现各种后处理应用，例如时间滤波器、轨迹估计、动态区域估计或映射。类似的技术可用于校正帧内AB图像并形成帧内校正的AB图像。
参照图5，方法500利用帧内二维平移412、414形成校正后的AB数据510。在一个示例中，方法500与方法400一起执行。在其他示例中，方法500与方法400分开执行。
如图5所示，将帧内二维平移412应用于帧内AB图像410b，对图像进行校正，形成校正后的AB图像510b。进一步，将帧内二维平移414应用于AB图像410c，以形成校正后的AB图像510c。与帧内AB图像408a一起，校正后的AB图像510b-c形成校正后的AB数据510。
在518，方法500进一步包括对校正后的AB数据510进行平均，以形成帧内校正后的AB图像520。可输出帧内校正的AB图像520以作进一步处理和/或输出到显示器。
帧内校正的AB图像也可用于生成帧间深度图像。除了校正深度图像帧内的运动模糊外，同时可以在帧之间进行校正。
相关专利：Microsoft Patent | Motion correction for time-of-flight depth imaging
名为“Motion correction for time-of-flight depth imaging”的微软专利申请最初在2022年3月提交，并在日前由美国专利商标局公布。
WPS Office是一款面向macOS用户的综合办公套件，将文字处理、电子表格、演示文稿、PDF工具、模板与云协作整合在同一应用中。它兼容常见Microsoft Office格式，支持Intel及Apple芯片Mac，基础功能可免费使用，
Shapr3D是一款面向工业设计、机械工程、建筑概念和三维打印工作流的CAD软件。Mac版采用Parasolid建模内核，支持草图约束、实体建模、工程图、可视化渲染及常见CAD格式交换，并可通过账户在多台设备之间同步项目。
REAPER是Cockos开发的数字音频工作站，提供多轨音频与MIDI录制、剪辑、处理、混音和母带制作工具。Mac版兼容Intel与Apple芯片，支持AU、VST、VST3、CLAP等插件格式，并提供高度可定制的工作流程。
Ableton Live 是面向音乐制作人与现场表演者的数字音频工作站，提供编曲视图、独具特色的现场视图、音频录制、MIDI创作、实时变速、乐器及效果器。Mac版原生支持Apple芯片，并可连接音频接口、MIDI控制器和第三方插件。
Adobe After Effects 是面向动态图形、影视特效与视频合成的专业创作软件。它提供关键帧动画、遮罩抠像、运动跟踪、三维空间、文字动画和表达式等工具，并可与 Premiere Pro、Photoshop、Illustrator
Adobe Audition 是面向播客、影视后期、音乐制作及内容创作者的专业音频工作站，提供波形精修、多轨录制与混音、频谱编辑、降噪修复、响度匹配和效果处理工具，并可与 Adobe Premiere 协同完成视频声音制作。
Adobe Bridge 是面向摄影师、设计师及内容团队的免费数字资产管理工具，可集中预览照片、视频和 Adobe 项目文件，并利用评级、标签、关键词、元数据、筛选与收藏集完成分类检索。它还支持批量重命名、格式导出、相机导入及 Camera
Adobe Illustrator 是 Adobe 推出的专业矢量图形设计软件，适合在 Mac 上制作标志、图标、插画、包装、信息图及印刷版面。它以路径和锚点构建可无损缩放的图形，并提供钢笔、形状、文字、图像描摹、渐变、画板及生成式功能。
Adobe InDesign 是面向印刷品与数字出版物的专业版面设计软件，可在 Mac 上制作书籍、杂志、宣传册、海报、报告及交互式文档。它提供精细的文字样式、网格、母版、长文档管理和印前输出能力。
Adobe Lightroom Classic 是面向桌面摄影工作流的照片管理与后期处理软件，可将原始照片保存在本地硬盘，通过目录、关键词、评分和收藏夹高效整理图库，并提供 RAW 冲印、蒙版、镜头校正、批量同步及多格式导出等功能。
Adobe Media Encoder 是 Adobe 推出的专业音视频编码与转码工具，可通过队列、预设和监视文件夹批量完成格式转换、代理文件创建及多平台成片输出，并与 Premiere Pro、After Effects 等软件紧密协作。
Adobe Photoshop 是面向摄影师、设计师和内容创作者的专业图像处理软件，提供图层、蒙版、选区、修复、调色、文字排版、智能对象及生成式编辑等能力。Mac 版支持 Intel 与 Apple Silicon 处理器。
Adobe Photoshop 是面向摄影师、设计师和内容创作者的专业图像处理工具，可在 Windows 上完成照片修饰、选区抠图、图层合成、文字排版、绘画及生成式编辑。软件采用订阅授权，由 Creative Cloud 管理安装、更新与许
Adobe InDesign 是面向印刷与数字出版的专业页面排版工具，可制作书籍、杂志、宣传册、海报、交互式 PDF 和电子书。它提供精细的文字样式、多页面管理、印前检查及多格式输出能力，并能与 Photoshop、Illustrator
Adobe Illustrator 是用于绘制矢量图形、插画、图标、徽标和版式的专业设计工具。它以路径和锚点为核心，作品放大后仍能保持清晰，并提供画板、文字、渐变、图像描摹及精确变换等功能，适合品牌视觉、印刷物料、数字界面和商业插画创作。
Adobe Bridge 是 Adobe 推出的创意资产管理工具，可集中预览、分类和查找照片、视频、PDF及多种设计文件，并支持元数据、关键词、评级、批量重命名和格式导出。它可与 Photoshop、Illustrator 等应用衔接，
Affinity Photo 是一款面向摄影师、修图师和视觉设计人员的桌面图像编辑工具，提供 RAW 显影、多图层合成、蒙版、实时滤镜、批处理和色彩管理等功能。原独立产品已停止销售，其照片编辑能力已延续至免费的新 Affinity 应用；
Adobe Lightroom Classic 是面向 Windows 桌面摄影工作流的照片管理与无损编辑工具，可通过目录集中整理大型图库，并完成 RAW 显影、局部蒙版、批量调整、打印和多格式导出。它强调本地文件管理与精细控制，
Figma 是面向产品设计与开发团队的云端协作平台，可在 Windows 桌面客户端中完成界面绘制、组件管理、交互原型、评论评审和开发交付。文件保存在云端，多名成员能够同步编辑并共享设计系统；官方同时提供免费 Starter 方案及按席位计
Affinity Designer 是面向矢量图形、数字插画和界面设计的专业创作工具，可在矢量、像素与导出工作区之间快速切换。它提供曲线编辑、形状构建、画板、排版、图层和专业色彩管理，并支持常见设计文件的导入及多种印刷、网页格式输出。
Capture One Pro 是面向摄影师和影像团队的专业桌面照片处理工具，提供相机定制色彩配置、RAW转换、图层与蒙版、联机拍摄、目录及会话管理等功能。它适合棚拍、人像、商业产品、婚礼和风光摄影，
Adobe Acrobat Pro 是面向专业 PDF 工作的综合解决方案，可在 Windows 中创建、编辑、转换、比较、整理和保护文档，并支持表单、电子签名、扫描件文字识别及敏感信息永久遮盖。订阅还包含网页、移动服务和云端协作能力，
Adobe After Effects 是面向动态图形、动画与影视视觉特效制作的专业工具，可完成关键帧动画、图层合成、遮罩跟踪、抠像、文字动画和二维三维元素整合。Windows 版通过 Adobe Creative Cloud 安装及更新，
DaVinci Resolve是Blackmagic Design推出的一体化影视后期工具，将素材管理、非线性剪辑、专业调色、Fusion视觉特效、Fairlight音频处理和成片交付整合在统一工程中。免费版已覆盖多数个人创作需求，