三星XR专利分享用脑机接口提供完整感官反馈刺激——嗅觉、味觉等
（映维网Nweon2023年11月27日）根据早前的情报，三星已经制定了完整的元宇宙战略，并旨在构建一个以三星为中心的XR生态系统，并且正在积极招揽人才。根据专利申请，这家公司实际上已经将终极的脑机接口纳入至考虑之中。过去，脑机接口的研究在Meta、Valve和其他初创公司中较为常见。当然，像微软这样的公司也曾进行过探索。如今，积极布局XR领域的公司开始探索更先进的脑机接口。三星在一份名为“信息生成方法和设备”的专利申请中，提出将脑机接口应用于XR的感官反馈刺激领域这家公司认为，在XR技术中，各种感官模拟
（映维网Nweon 2023年11月27日）根据早前的情报，三星已经制定了完整的元宇宙战略，并旨在构建一个以三星为中心的XR生态系统，并且正在积极招揽人才。根据专利申请，这家公司实际上已经将终极的脑机接口纳入至考虑之中。
过去，脑机接口的研究在Meta、Valve和其他初创公司中较为常见。当然，像微软这样的公司也曾进行过探索。如今，积极布局XR领域的公司开始探索更先进的脑机接口。三星在一份名为“信息生成方法和设备”的专利申请中，提出将脑机接口应用于XR的感官反馈刺激领域
这家公司认为，在XR技术中，各种感官模拟主要是基于传感器实现。但每一种感官模拟都是通过一种传感器来实现，所以过程操作繁琐。另外，传感器不够全面，所以有诸多模拟无法实现。换句话说，使用相关传感器所获得的效果与真实相去甚远，用户无法获得逼真的模拟。
所以，三星提出可以利用脑机接口设备来提供逼真的感官模拟。其中，系统可以获取关于用户在虚拟环境中相对于目标对象的位置信息，然后基于所述位置信息和属性信息来确定与目标对象相对应的感官信息，最后将感测信息转换为电信号并通过脑机接口设备来刺激用户。
根据示例实施例，图2展示了相关的信息生成流程图200。信息生成方法包括获取用户相对于虚拟环境中目标对象的相对位置信息的操作201
在一个实施例实施例，可以将相互合作工作的一个或多个设备称为执行实体。执行实体可以建立空间直角坐标系，实时获取所述直角坐标系中用户的位置信息和所述虚拟环境中目标对象的位置信息，并根据所述用户的位置信息和所述目标对象的位置信息确定所述用户相对于所述目标对象的相对位置信息。
所述执行实体可周期性地获取所述用户在直角坐标系中的位置信息和所述虚拟环境中所述目标对象的位置信息。目标对象可以是虚拟环境中的任何目标对象，例如桌子、水杯、面包等。
在操作202中，基于目标对象的相对位置信息和属性信息确定与目标对象相对应的感官信息。
根据示例实施例，在获取虚拟环境中用户相对于目标对象的相对位置信息后，执行实体可根据对应表或感官信息预测模型进一步确定与目标对象对应的感官信息。例如，对应表可以存储预定的相对位置信息、目标对象的属性信息和相互关联的感官信息。感官信息预测模型可以是通过执行训练操作确定的预定感官信息预测模型。
根据示例实施例，我们可以使用目标对象的相对位置信息和带有感官信息的属性样本来训练模型，从而得到预测感官信息的模型
目标对象的感官信息可以包括触觉、听觉、嗅觉或味觉中的至少一种。感官信息可以用刺激参数来表示。刺激参数可以根据用户在真实环境中对目标对象实际产生的感官信息来确定
有趣的是，三星提出相关刺激器可以是脑机初创公司Blackrock的完全可编程96通道神经刺激器CereStim。但当然，这家公司表示所述设备只是其中一种选择，发明可以采用其他模拟器。
在一个示例场景中，用户触碰30摄氏度的对象，电极活动通过使用神经端口神经信号收集器来记录。电极记录的神经活动放大，并以30 kHz的采样频率进行模拟-数字（A/D）采样，然后使用神经端口神经信号处理器NSP系统记录。然后，通过CereStim 的Matlab API编写刺激参数，并通过不同的脉冲刺激和调节电流强度再次获取电极信号。当电极信号彼此无限靠近时，它们可以触摸30摄氏度对象的刺激参数。
同样，可以得到触觉、听觉或嗅觉的任何刺激参数。
在进行203操作时，该方法包括将感官信息转化为电信号，并通过脑机接口设备来刺激用户
在确定与目标对象相对应的感官信息之后，执行实体可以使用脑机接口设备将这些感官信息转换为电信号，然后通过刺激使用者大脑皮层中的相应部位来产生相应的感觉
根据另一示例实施例，基于目标对象的相对位置信息和属性信息确定与目标对象相对应的感官信息的操作可包括，基于用户面部朝向和用户头部与目标对象之间的距离确定与目标对象相对应的嗅觉信息；并确定嗅觉信息作为与目标对象相对应的感官信息。
根据另一示例实施例，所述方法可包括确定目标对象具有气味属性，根据用户面部朝向和用户头部与目标对象之间的距离确定与目标对象相对应的嗅觉信息。响应或基于确定目标对象具有气味属性，将嗅觉信息确定为与目标对象相对应的感官信息。
气味属性可包括水果香气、花香气、食物香气等属性信息。
在一个实施例中，通过利用目标对象的相对位置信息和属性信息来确定与目标对象相关的感官信息。在确认目标对象具有声音属性的基础上，可以根据用户脸部的方向和用户头部与目标对象之间的距离来确定与目标对象相关的听觉信息，然后将听觉信息确定为与目标对象相关的感官信息
执行实体可以利用用户头部左右两侧的可穿戴定位设备确定用户的左侧坐标和右侧坐标，进一步确定连接用户头部左侧坐标和右侧坐标的线，并根据所述线与所述目标对象的坐标所在的平面方向之间的夹角确定用户面部的朝向。
根据图3所示，通过使用UWB基站作为原点，执行实体301可以建立一个空间直角坐标系，并通过使用用户头部左侧的第一可穿戴定位设备303和用户头部右侧的第二可穿戴定位设备304，获取与用户头部相对应的坐标A和B
根据示例实施例，可穿戴定位设备303和304可以是UWB芯片。UWB基站可由执行实体301实现。坐标A对应于芯片303，即用户头部左侧的坐标，坐标B对应于芯片304，即用户头部右侧的坐标。
同时，得到目标对象305的坐标M，确定直线AB与M所在平面方向夹角为用户的面向。这里，目标对象305为虚拟花朵，执行实体可以根据用户的面部朝向和用户头部与目标对象的距离，从预定对应表中确定与目标对象对应的嗅觉信息，并确定嗅觉信息为与目标对象对应的感官信息。对应表相应记录了用户的面部朝向、用户头部与目标对象的距离、以及相互关联的嗅觉信息。
本实施例中，通过使用用户头部左右两侧的可穿戴定位设备，确定用户头部左右两侧的坐标。通过计算连接用户头部左右两侧坐标的直线与目标对象坐标所在平面方向之间的夹角，来确定用户面部的方向。这样有效地提高了确定用户面部朝向的精度
执行实体可以根据用户头部相对于目标对象的相对位置信息进行检测，并且根据确定目标对象位于用户头部的预定位置以及目标对象具有可食用属性的条件，确定与可食用属性相对应的味觉信息作为与目标对象相对应的感官信息
可以包括属性信息，如香蕉味道、苹果味道等
应当注意，在确定目标对象位于用户头部的预定位置之前，可能存在用户触碰目标对象的动作，或可能不存在用户在预定时间范围内触碰目标对象的动作。
在一个实施例，通过确定用户的手与目标对象之间的距离是否满足预定阈值，可以确定是否存在用户触摸虚拟对象的动作。
本实施例中，首先根据目标对象在用户头部的预定位置和其具有可食用属性，确定了可食用属性对应的味觉信息作为目标对象的感官信息。然后将该感官信息转化为电信号，并通过脑机接口设备刺激用户，从而帮助用户在虚拟环境中体验到对象的可食用属性，提升互动的真实性
示意图展示了信息生成方法的应用场景，如图4所示
在图4所示的应用场景中，实体401可以以UWB基站为原点建立一个空间直角坐标系。通过在用户402的一个或多个身体部位上使用可穿戴定位设备，可以获取用户在空间直角坐标系中的位置信息
例如，可穿戴定位设备可设置在用户的手上和头上。UWB基站可由执行实体401实现。根据示例实施例，所述实体可以获取目标对象403上的位置信息，例如虚拟足球，从而根据所述用户的位置信息和所述目标对象上的位置信息确定用户相对于所述目标对象的相对位置信息。
接下来，根据对应表来确定目标对象所对应的感官信息。这个对应表中记录了目标对象的预定相对位置信息、属性信息（比如平滑度、柔软度等）以及相应的感官信息。然后，将这些感官信息转换成电信号，并通过脑机接口设备来刺激用户402
所述信息生成方法可包括获取用户相对于虚拟环境中目标对象的相对位置信息，根据所述目标对象的相对位置信息和属性信息确定与所述目标对象相对应的感官信息，并通过脑机接口设备将所述感官信息转换为电信号以刺激用户;这有助于用户在虚拟环境中体验到对象的属性，提高交互的真实性。
请参考图5，这是信息生成方法的流程图500
在501的操作中，可以通过信息生成方法获取用户相对于虚拟环境中目标对象的相对位置信息
在进行502操作时，如果确定用户的手与目标对象之间的距离满足预设的阈值，并且目标对象具有轮廓特征，那么就会确定与目标对象轮廓特征相对应的触觉信息作为与目标对象相对应的感官信息
重写后的内容：所述的相对位置信息可以包括用户手与目标对象之间的相对位置信息，执行实体可以检测用户手与目标对象之间的距离。为了响应于确定用户手与目标对象之间的距离满足预定阈值，并且目标对象具有轮廓属性，将目标对象轮廓属性对应的触觉信息确定为目标对象对应的感官信息
可以包括轮廓、材质、纹理、光滑度、温度、质量等属性信息
其中，可根据体验、实际需求和具体应用场景设置预定阈值。例如，手指和/或手掌与目标对象之间的距离小于或等于1cm，或者手指和/或手掌与目标对象之间的距离小于或等于0.5 cm，在本公开中不受限制。
具体来说，该系统以UWB基站为原点建立空间直角坐标系，使用佩戴在用户手上的数据手套获取用户手部位置信息，同时获取目标物体的位置信息。该目标物体为水杯，且预设的阈值为使用者的手指和/或手掌与水杯的距离小于或等于1厘米
为了满足预定的阈值，确定使用者手指和/或手掌与水杯之间的距离，同时考虑到水杯的轮廓属性，将与水杯轮廓属性相对应的触觉信息确定为水杯的感官信息
在操作503中，包括通过脑机接口设备将感官信息转换为电信号以刺激用户。
与图2示例实施例所示的方法相比，根据图5流程图500所示的方法，为了确定用户的手与目标对象之间的距离满足预定阈值，并且目标对象具有轮廓属性，将目标对象的轮廓属性对应的触觉信息确定为目标对象对应的感官信息。
通过脑机接口设备，将用户感知的信息转化为电信号，并通过刺激用户来帮助他们在虚拟环境中体验到物体的轮廓属性，以提高交互的真实性
延伸阅读：Samsung Patent | Information generation method and device
名为“Information generation method and device”的三星专利申请最初在2023年7月提交，并在日前由美国专利商标局公布。
通常情况下，美国专利申请在接受审查后，会在申请日或优先权日起的18个月内自动公布或根据申请人的要求进行公开。需要注意的是，专利申请的公开并不代表专利已经被授予。在专利申请公开后，美国专利商标局需要进行实质性审查，这个过程可能需要1年至3年的时间
WPS Office是一款面向macOS用户的综合办公套件，将文字处理、电子表格、演示文稿、PDF工具、模板与云协作整合在同一应用中。它兼容常见Microsoft Office格式，支持Intel及Apple芯片Mac，基础功能可免费使用，
Shapr3D是一款面向工业设计、机械工程、建筑概念和三维打印工作流的CAD软件。Mac版采用Parasolid建模内核，支持草图约束、实体建模、工程图、可视化渲染及常见CAD格式交换，并可通过账户在多台设备之间同步项目。
REAPER是Cockos开发的数字音频工作站，提供多轨音频与MIDI录制、剪辑、处理、混音和母带制作工具。Mac版兼容Intel与Apple芯片，支持AU、VST、VST3、CLAP等插件格式，并提供高度可定制的工作流程。
Ableton Live 是面向音乐制作人与现场表演者的数字音频工作站，提供编曲视图、独具特色的现场视图、音频录制、MIDI创作、实时变速、乐器及效果器。Mac版原生支持Apple芯片，并可连接音频接口、MIDI控制器和第三方插件。
Adobe After Effects 是面向动态图形、影视特效与视频合成的专业创作软件。它提供关键帧动画、遮罩抠像、运动跟踪、三维空间、文字动画和表达式等工具，并可与 Premiere Pro、Photoshop、Illustrator
Adobe Audition 是面向播客、影视后期、音乐制作及内容创作者的专业音频工作站，提供波形精修、多轨录制与混音、频谱编辑、降噪修复、响度匹配和效果处理工具，并可与 Adobe Premiere 协同完成视频声音制作。
Adobe Bridge 是面向摄影师、设计师及内容团队的免费数字资产管理工具，可集中预览照片、视频和 Adobe 项目文件，并利用评级、标签、关键词、元数据、筛选与收藏集完成分类检索。它还支持批量重命名、格式导出、相机导入及 Camera
Adobe Illustrator 是 Adobe 推出的专业矢量图形设计软件，适合在 Mac 上制作标志、图标、插画、包装、信息图及印刷版面。它以路径和锚点构建可无损缩放的图形，并提供钢笔、形状、文字、图像描摹、渐变、画板及生成式功能。
Adobe InDesign 是面向印刷品与数字出版物的专业版面设计软件，可在 Mac 上制作书籍、杂志、宣传册、海报、报告及交互式文档。它提供精细的文字样式、网格、母版、长文档管理和印前输出能力。
Adobe Lightroom Classic 是面向桌面摄影工作流的照片管理与后期处理软件，可将原始照片保存在本地硬盘，通过目录、关键词、评分和收藏夹高效整理图库，并提供 RAW 冲印、蒙版、镜头校正、批量同步及多格式导出等功能。
Adobe Media Encoder 是 Adobe 推出的专业音视频编码与转码工具，可通过队列、预设和监视文件夹批量完成格式转换、代理文件创建及多平台成片输出，并与 Premiere Pro、After Effects 等软件紧密协作。
Adobe Photoshop 是面向摄影师、设计师和内容创作者的专业图像处理软件，提供图层、蒙版、选区、修复、调色、文字排版、智能对象及生成式编辑等能力。Mac 版支持 Intel 与 Apple Silicon 处理器。
Adobe Photoshop 是面向摄影师、设计师和内容创作者的专业图像处理工具，可在 Windows 上完成照片修饰、选区抠图、图层合成、文字排版、绘画及生成式编辑。软件采用订阅授权，由 Creative Cloud 管理安装、更新与许
Adobe InDesign 是面向印刷与数字出版的专业页面排版工具，可制作书籍、杂志、宣传册、海报、交互式 PDF 和电子书。它提供精细的文字样式、多页面管理、印前检查及多格式输出能力，并能与 Photoshop、Illustrator
Adobe Illustrator 是用于绘制矢量图形、插画、图标、徽标和版式的专业设计工具。它以路径和锚点为核心，作品放大后仍能保持清晰，并提供画板、文字、渐变、图像描摹及精确变换等功能，适合品牌视觉、印刷物料、数字界面和商业插画创作。
Adobe Bridge 是 Adobe 推出的创意资产管理工具，可集中预览、分类和查找照片、视频、PDF及多种设计文件，并支持元数据、关键词、评级、批量重命名和格式导出。它可与 Photoshop、Illustrator 等应用衔接，
Affinity Photo 是一款面向摄影师、修图师和视觉设计人员的桌面图像编辑工具，提供 RAW 显影、多图层合成、蒙版、实时滤镜、批处理和色彩管理等功能。原独立产品已停止销售，其照片编辑能力已延续至免费的新 Affinity 应用；
Adobe Lightroom Classic 是面向 Windows 桌面摄影工作流的照片管理与无损编辑工具，可通过目录集中整理大型图库，并完成 RAW 显影、局部蒙版、批量调整、打印和多格式导出。它强调本地文件管理与精细控制，
Figma 是面向产品设计与开发团队的云端协作平台，可在 Windows 桌面客户端中完成界面绘制、组件管理、交互原型、评论评审和开发交付。文件保存在云端，多名成员能够同步编辑并共享设计系统；官方同时提供免费 Starter 方案及按席位计
Affinity Designer 是面向矢量图形、数字插画和界面设计的专业创作工具，可在矢量、像素与导出工作区之间快速切换。它提供曲线编辑、形状构建、画板、排版、图层和专业色彩管理，并支持常见设计文件的导入及多种印刷、网页格式输出。
Capture One Pro 是面向摄影师和影像团队的专业桌面照片处理工具，提供相机定制色彩配置、RAW转换、图层与蒙版、联机拍摄、目录及会话管理等功能。它适合棚拍、人像、商业产品、婚礼和风光摄影，
Adobe Acrobat Pro 是面向专业 PDF 工作的综合解决方案，可在 Windows 中创建、编辑、转换、比较、整理和保护文档，并支持表单、电子签名、扫描件文字识别及敏感信息永久遮盖。订阅还包含网页、移动服务和云端协作能力，
Adobe After Effects 是面向动态图形、动画与影视视觉特效制作的专业工具，可完成关键帧动画、图层合成、遮罩跟踪、抠像、文字动画和二维三维元素整合。Windows 版通过 Adobe Creative Cloud 安装及更新，
DaVinci Resolve是Blackmagic Design推出的一体化影视后期工具，将素材管理、非线性剪辑、专业调色、Fusion视觉特效、Fairlight音频处理和成片交付整合在统一工程中。免费版已覆盖多数个人创作需求，