三星XR专利分享用脑机接口提供完整感官反馈刺激——嗅觉、味觉等

（映维网Nweon 2023年11月27日）根据早前的情报，三星已经制定了完整的元宇宙战略，并旨在构建一个以三星为中心的XR生态系统，并且正在积极招揽人才。根据专利申请，这家公司实际上已经将终极的脑机接口纳入至考虑之中。

过去，脑机接口的研究在Meta、Valve和其他初创公司中较为常见。当然，像微软这样的公司也曾进行过探索。如今，积极布局XR领域的公司开始探索更先进的脑机接口。三星在一份名为“信息生成方法和设备”的专利申请中，提出将脑机接口应用于XR的感官反馈刺激领域

这家公司认为，在XR技术中，各种感官模拟主要是基于传感器实现。但每一种感官模拟都是通过一种传感器来实现，所以过程操作繁琐。另外，传感器不够全面，所以有诸多模拟无法实现。换句话说，使用相关传感器所获得的效果与真实相去甚远，用户无法获得逼真的模拟。

所以，三星提出可以利用脑机接口设备来提供逼真的感官模拟。其中，系统可以获取关于用户在虚拟环境中相对于目标对象的位置信息，然后基于所述位置信息和属性信息来确定与目标对象相对应的感官信息，最后将感测信息转换为电信号并通过脑机接口设备来刺激用户。

根据示例实施例，图2展示了相关的信息生成流程图200。信息生成方法包括获取用户相对于虚拟环境中目标对象的相对位置信息的操作201

在一个实施例实施例，可以将相互合作工作的一个或多个设备称为执行实体。执行实体可以建立空间直角坐标系，实时获取所述直角坐标系中用户的位置信息和所述虚拟环境中目标对象的位置信息，并根据所述用户的位置信息和所述目标对象的位置信息确定所述用户相对于所述目标对象的相对位置信息。

所述执行实体可周期性地获取所述用户在直角坐标系中的位置信息和所述虚拟环境中所述目标对象的位置信息。目标对象可以是虚拟环境中的任何目标对象，例如桌子、水杯、面包等。

在操作202中，基于目标对象的相对位置信息和属性信息确定与目标对象相对应的感官信息。

根据示例实施例，在获取虚拟环境中用户相对于目标对象的相对位置信息后，执行实体可根据对应表或感官信息预测模型进一步确定与目标对象对应的感官信息。例如，对应表可以存储预定的相对位置信息、目标对象的属性信息和相互关联的感官信息。感官信息预测模型可以是通过执行训练操作确定的预定感官信息预测模型。

根据示例实施例，我们可以使用目标对象的相对位置信息和带有感官信息的属性样本来训练模型，从而得到预测感官信息的模型

目标对象的感官信息可以包括触觉、听觉、嗅觉或味觉中的至少一种。感官信息可以用刺激参数来表示。刺激参数可以根据用户在真实环境中对目标对象实际产生的感官信息来确定

有趣的是，三星提出相关刺激器可以是脑机初创公司Blackrock的完全可编程96通道神经刺激器CereStim。但当然，这家公司表示所述设备只是其中一种选择，发明可以采用其他模拟器。

在一个示例场景中，用户触碰30摄氏度的对象，电极活动通过使用神经端口神经信号收集器来记录。电极记录的神经活动放大，并以30 kHz的采样频率进行模拟-数字（A/D）采样，然后使用神经端口神经信号处理器NSP系统记录。然后，通过CereStim 的Matlab API编写刺激参数，并通过不同的脉冲刺激和调节电流强度再次获取电极信号。当电极信号彼此无限靠近时，它们可以触摸30摄氏度对象的刺激参数。

同样，可以得到触觉、听觉或嗅觉的任何刺激参数。

在进行203操作时，该方法包括将感官信息转化为电信号，并通过脑机接口设备来刺激用户

在确定与目标对象相对应的感官信息之后，执行实体可以使用脑机接口设备将这些感官信息转换为电信号，然后通过刺激使用者大脑皮层中的相应部位来产生相应的感觉

根据另一示例实施例，基于目标对象的相对位置信息和属性信息确定与目标对象相对应的感官信息的操作可包括，基于用户面部朝向和用户头部与目标对象之间的距离确定与目标对象相对应的嗅觉信息；并确定嗅觉信息作为与目标对象相对应的感官信息。

根据另一示例实施例，所述方法可包括确定目标对象具有气味属性，根据用户面部朝向和用户头部与目标对象之间的距离确定与目标对象相对应的嗅觉信息。响应或基于确定目标对象具有气味属性，将嗅觉信息确定为与目标对象相对应的感官信息。

气味属性可包括水果香气、花香气、食物香气等属性信息。

在一个实施例中，通过利用目标对象的相对位置信息和属性信息来确定与目标对象相关的感官信息。在确认目标对象具有声音属性的基础上，可以根据用户脸部的方向和用户头部与目标对象之间的距离来确定与目标对象相关的听觉信息，然后将听觉信息确定为与目标对象相关的感官信息

执行实体可以利用用户头部左右两侧的可穿戴定位设备确定用户的左侧坐标和右侧坐标，进一步确定连接用户头部左侧坐标和右侧坐标的线，并根据所述线与所述目标对象的坐标所在的平面方向之间的夹角确定用户面部的朝向。

根据图3所示，通过使用UWB基站作为原点，执行实体301可以建立一个空间直角坐标系，并通过使用用户头部左侧的第一可穿戴定位设备303和用户头部右侧的第二可穿戴定位设备304，获取与用户头部相对应的坐标A和B

根据示例实施例，可穿戴定位设备303和304可以是UWB芯片。UWB基站可由执行实体301实现。坐标A对应于芯片303，即用户头部左侧的坐标，坐标B对应于芯片304，即用户头部右侧的坐标。

同时，得到目标对象305的坐标M，确定直线AB与M所在平面方向夹角为用户的面向。这里，目标对象305为虚拟花朵，执行实体可以根据用户的面部朝向和用户头部与目标对象的距离，从预定对应表中确定与目标对象对应的嗅觉信息，并确定嗅觉信息为与目标对象对应的感官信息。对应表相应记录了用户的面部朝向、用户头部与目标对象的距离、以及相互关联的嗅觉信息。

本实施例中，通过使用用户头部左右两侧的可穿戴定位设备，确定用户头部左右两侧的坐标。通过计算连接用户头部左右两侧坐标的直线与目标对象坐标所在平面方向之间的夹角，来确定用户面部的方向。这样有效地提高了确定用户面部朝向的精度

执行实体可以根据用户头部相对于目标对象的相对位置信息进行检测，并且根据确定目标对象位于用户头部的预定位置以及目标对象具有可食用属性的条件，确定与可食用属性相对应的味觉信息作为与目标对象相对应的感官信息

可以包括属性信息，如香蕉味道、苹果味道等

应当注意，在确定目标对象位于用户头部的预定位置之前，可能存在用户触碰目标对象的动作，或可能不存在用户在预定时间范围内触碰目标对象的动作。

在一个实施例，通过确定用户的手与目标对象之间的距离是否满足预定阈值，可以确定是否存在用户触摸虚拟对象的动作。

本实施例中，首先根据目标对象在用户头部的预定位置和其具有可食用属性，确定了可食用属性对应的味觉信息作为目标对象的感官信息。然后将该感官信息转化为电信号，并通过脑机接口设备刺激用户，从而帮助用户在虚拟环境中体验到对象的可食用属性，提升互动的真实性

示意图展示了信息生成方法的应用场景，如图4所示

在图4所示的应用场景中，实体401可以以UWB基站为原点建立一个空间直角坐标系。通过在用户402的一个或多个身体部位上使用可穿戴定位设备，可以获取用户在空间直角坐标系中的位置信息

例如，可穿戴定位设备可设置在用户的手上和头上。UWB基站可由执行实体401实现。根据示例实施例，所述实体可以获取目标对象403上的位置信息，例如虚拟足球，从而根据所述用户的位置信息和所述目标对象上的位置信息确定用户相对于所述目标对象的相对位置信息。

接下来，根据对应表来确定目标对象所对应的感官信息。这个对应表中记录了目标对象的预定相对位置信息、属性信息（比如平滑度、柔软度等）以及相应的感官信息。然后，将这些感官信息转换成电信号，并通过脑机接口设备来刺激用户402

所述信息生成方法可包括获取用户相对于虚拟环境中目标对象的相对位置信息，根据所述目标对象的相对位置信息和属性信息确定与所述目标对象相对应的感官信息，并通过脑机接口设备将所述感官信息转换为电信号以刺激用户;这有助于用户在虚拟环境中体验到对象的属性，提高交互的真实性。

请参考图5，这是信息生成方法的流程图500

在501的操作中，可以通过信息生成方法获取用户相对于虚拟环境中目标对象的相对位置信息

在进行502操作时，如果确定用户的手与目标对象之间的距离满足预设的阈值，并且目标对象具有轮廓特征，那么就会确定与目标对象轮廓特征相对应的触觉信息作为与目标对象相对应的感官信息

重写后的内容：所述的相对位置信息可以包括用户手与目标对象之间的相对位置信息，执行实体可以检测用户手与目标对象之间的距离。为了响应于确定用户手与目标对象之间的距离满足预定阈值，并且目标对象具有轮廓属性，将目标对象轮廓属性对应的触觉信息确定为目标对象对应的感官信息

可以包括轮廓、材质、纹理、光滑度、温度、质量等属性信息

其中，可根据体验、实际需求和具体应用场景设置预定阈值。例如，手指和/或手掌与目标对象之间的距离小于或等于1cm，或者手指和/或手掌与目标对象之间的距离小于或等于0.5 cm，在本公开中不受限制。

具体来说，该系统以UWB基站为原点建立空间直角坐标系，使用佩戴在用户手上的数据手套获取用户手部位置信息，同时获取目标物体的位置信息。该目标物体为水杯，且预设的阈值为使用者的手指和/或手掌与水杯的距离小于或等于1厘米

为了满足预定的阈值，确定使用者手指和/或手掌与水杯之间的距离，同时考虑到水杯的轮廓属性，将与水杯轮廓属性相对应的触觉信息确定为水杯的感官信息

在操作503中，包括通过脑机接口设备将感官信息转换为电信号以刺激用户。

与图2示例实施例所示的方法相比，根据图5流程图500所示的方法，为了确定用户的手与目标对象之间的距离满足预定阈值，并且目标对象具有轮廓属性，将目标对象的轮廓属性对应的触觉信息确定为目标对象对应的感官信息。

通过脑机接口设备，将用户感知的信息转化为电信号，并通过刺激用户来帮助他们在虚拟环境中体验到物体的轮廓属性，以提高交互的真实性

延伸阅读：Samsung Patent | Information generation method and device

名为“Information generation method and device”的三星专利申请最初在2023年7月提交，并在日前由美国专利商标局公布。

通常情况下，美国专利申请在接受审查后，会在申请日或优先权日起的18个月内自动公布或根据申请人的要求进行公开。需要注意的是，专利申请的公开并不代表专利已经被授予。在专利申请公开后，美国专利商标局需要进行实质性审查，这个过程可能需要1年至3年的时间