展开菜单
首页 精品内容 本月促销 装机必备 Windows PDF教程 macOS软件 IOS软件 Android AI 专题
全部分类

当前位置:

首页 > 硬件相关 > 36氪首发 | 清华团队做出全球首个实时理解生理与情绪的基座模型,进一步布局硬件

36氪首发 | 清华团队做出全球首个实时理解生理与情绪的基座模型,进一步布局硬件

清华团队研发全球首个实时理解生理与情绪的基座模型FacePhys,基于rPPG技术输出心率等120余项指标,精度达医疗级,端侧延迟≤10ms。获顺为资本融资,已落地机器人、智能座舱等场景,实现生理与情绪多模态理解。

本文目录

    先说几个核心判断:AI交互这件事,光靠文本和语音,已经不够了。人跟人之间交流,大量的信息其实藏在表情、眼神、心跳里——这些都是AI目前根本读不懂的“潜台词”。正因为看到了这一点,有一家公司正在试图从底层把这个缺口补上。

    硬氪近期获得的消息是,北京微面科技刚刚完成了由顺为资本领投的数百万美元融资。这家公司的核心团队来自清华大学,背景横跨大模型、人机交互、软件工程与医学,方向也很明确——用自己研发的基座模型,重新定义人机交互的方式。

    你发现没有,现在的AI交互有个问题:它极度依赖你“说出来”指令,却完全感受不到你“没说出口”的东西。但问题在于,人类表达的真实信息里,非语言部分占了55%以上。也就是说,现有的机器视觉只能看到你在动,却看不到你是紧张、疲劳,还是心里藏着情绪波动。无论是物理世界的机器人,还是虚拟空间的AI助手,少了这一层“读懂人”的能力,本质上都只能做机械的被动响应。

    微面科技的切入点,恰恰选在了这里。

    他们基于rPPG(远程光电容积描记)技术,全栈自研了一款叫做FacePhys的面部基座模型。这个模型能实时输出超过120项指标——心率、心率变异性、呼吸率、面部动作单元、眼动特征、情绪维度,甚至语音特征,全都覆盖在内。更关键的是,他们绑定了一套“HRV情绪生理晴雨表”,用来关联心率与急剧情绪。用大白话说,假笑系统能识别,压抑的情绪也能捕捉,因为这些信号根本伪装不了。对大模型来说,这就是一个全新的、真实的生理情绪数据入口。

    当然,这条路并不容易。rPPG技术落地以前有个老大难问题:光照变化、头部运动这些噪声,很容易让数据“跑偏”。微面科技的做法是,自己建了一个万人级的临床标注数据集,包含了数千万个测量采样点,覆盖不同肤色和复杂场景,还专门在安贞医院做了临床验证。这些数据,最终都被融进了基座模型里。

    算法层面,他们引入了一个有意思的思路——“状态空间模型”。关于这一点,创始人唐健凯的解读很形象:这种模型与大语言模型“预测下一个Token”的逻辑类似,只不过大模型预测的是下一个词,而它预测的是人体下一时刻的生理行为状态。心跳、呼吸这些生命体征,从此被建模成了一个连续的物理过程,而不是离散视频帧的简单拼接。

    效果怎么样?核心指标上,心率检测精度已经控制在≤2 BPM,达到了医疗级标准;端侧推理延迟≤10ms,基本是实时响应;而且端侧小模型的参数规模只有0.2M,普通手机和摄像头上就能直接跑,根本不用依赖云端算力。

    光能读懂生理信号还不够。微面科技进一步构建了一套多模态的“人类理解系统”,把动作、姿态、眼动等空间特征也融合了进来。模型不仅能识别情绪,还能理解行为背后的需求和动机,甚至预测交互意图和动作轨迹。用他们自己的话说,就是“察言观色,知行先觉”。

    产品落地的思路也很务实。软件层面,微面科技通过SDK/API向机器人、智能座舱、健康设备厂商输出算法能力。目前三大场景已经铺开:家用机器人领域与海尔机器人达成量产合作;康养机器人领域用于养老院和社区的快速健康筛查;仿生机器人领域实现了毫秒级低延时的自然交互。车载方向,正在与某头部Tier 1供应商联合打磨疲劳监测方案。

    硬件层面,他们推出了搭载FacePhys模型的嵌入式摄像头模组。其中,面向科研机构与医院的旗舰产品Findings科研数据采集系统,已经进入批量采购阶段。


    图源企业

    关于技术路线和行业定位,唐健凯在交流中也给出了更清晰的回答。

    当被问到“国内外还有谁在做rPPG生理和情绪识别”时,他提到,国外确实有像FaceHeart这样的公司,聚焦心脏健康监测并拿到了FDA认证,但更多是服务于远程医疗。微面科技的方向更宽,不仅要看心率,还覆盖情绪、压力、眼动行为等多个维度,本质上是在从“生理感知”走向“人的状态理解”。而国内大多数方案目前还停留在“录制视频+云端分析”的模式——先录30秒视频,上传云端,等几十秒出结果,过程中稍有运动或光照变化,鲁棒性就大打折扣。

    关于“为什么能做得更精准”,唐健凯的解释涉及到两个关键点。一是模型层面的优化,核心就是状态空间模型捕捉人体生理状态的连续性和周期性;二是数据质量,训练数据并非大模型虚拟打标,而是来自医院合作和医疗级设备采集,万人级临床数据库的客观性和准确性,是普通方案无法比拟的。在情绪理解上,他们也建立了一套完整的逻辑:高HRV往往对应积极放松的状态,而运动时心率升高并不等于情绪波动。单看指标是不行的,必须结合动作、姿态、眼动等空间特征,一起判断人的真实状态。概括起来,就是把“时间维度上的生理连续性”和“空间维度上的视觉感知能力”融合到一个模型里,让AI同时理解人的生理、情绪和行为。

    至于为什么还要做硬件模组,唐健凯的逻辑也很清晰:视频数据量极大,全上云端处理延迟高,交互体验会很差。端侧处理让感知和推理发生在设备本地,响应更及时。另一个核心考量是隐私——生理和情绪数据本身就敏感,尤其在医疗、健康管理等场景,用户更希望数据留在本地,而不是全部上传到云端API。

    投资人观点

    顺为资本:公司研发的实时生理与情绪理解基座模型,在技术路线和底层架构上具备全球唯一性。该技术可快速落地智能座舱、机器人和智能硬件等多元场景,应用空间广阔。顺为高度认可团队的技术与产品化能力,愿与微面科技在人、车、家全场景深度协同、长期陪伴,共同开拓下一代人机交互与具身智能赛道的商业前景。

    本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系bd@zhengruan.com
    作者最新文章
    硬件相关 机器人
    相关文章 更多
    精品专题 更多
    装机必备

    正软商城装机必备专区,精选办公、浏览器、安全防护、影音播放、压缩解压、设计创作和系统工具等电脑常用正版软件,帮助用户快速完成新电脑软件配置。

    Windows

    正软商城Windows软件专区,汇集适用于Windows电脑的办公、设计、安全防护、影音播放、开发工具和系统优化软件,提供软件介绍、系统要求、正版授权及购买下载服务。

    PDF教程

    正软商城PDF教程频道提供PDF编辑、转换、合并、拆分、压缩及格式处理方法,同时介绍常用PDF软件和工具的使用技巧。

    macOS软件

    正软商城macOS软件专区,精选适用于Mac电脑的办公、设计、影音、效率、开发和系统工具,提供软件功能介绍、macOS兼容版本、正版授权及购买下载服务。

    IOS软件

    正软商城iOS软件专区,精选适用于iPhone和iPad的办公、学习、影音、设计、效率及AI应用,提供功能介绍、适用设备、系统要求和正版获取方式等信息。

    AI

    正软商城AI软件专区,汇集AI写作、AI绘画、AI视频、AI办公、AI编程、AI翻译、智能客服和数据分析等人工智能工具,提供功能介绍、适用平台、收费方式及正版购买信息。

    Mac软件 更多
    Aperty macOS版
    Aperty macOS版

    Aperty 是 Skylum 推出的 AI 人像修图软件,支持自然肤质修饰、瑕疵处理、面部与身体调整、预设及批量同步。

    火山引擎 网页版
    火山引擎 网页版

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    立刻MV 网页版
    立刻MV 网页版

    立刻MV 面向音乐人、内容创作者和品牌团队,帮助用户低成本完成歌曲 MV、歌词视频、AI 分镜、图生视频与最终合成。

    蛙蛙写作 网页版
    蛙蛙写作 网页版

    蛙蛙写作 AI 创作工具,覆盖小说、剧本、文案,一键生成文稿,打通文字转视频全流程,高效解决创作难题。

    讯飞智作 网页版
    讯飞智作 网页版

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    超级简历WonderCV 网页版
    超级简历WonderCV 网页版

    超级简历WonderCV是面向应届生和AI小白的智能求职平台,覆盖简历、面试与职业规划。

    音述AI 网页版
    音述AI 网页版

    音述AI,是一个以“用声音述说故事”为核心的 AI 音乐创作与声音分享社区。

    AionClaw macOS版
    AionClaw macOS版

    AionClaw 是可在桌面端运行的任务型 AI 助手,通过数字专家与技能市场组合办公、创作、数据和开发能力。

    Loomy macOS版
    Loomy macOS版

    Loomy 是科大讯飞推出的桌面 AI 助手,可通过对话、任务与工作目录协助处理办公、内容创作和资料整理。

    AirBuddy 3 macOS版
    AirBuddy 3 macOS版

    AirBuddy 3 是面向 macOS 的蓝牙外设增强工具,可集中查看 AirPods、Beats 与苹果设备电量,提供快速连接、播放控制、电量提醒、桌面小组件和多台 Mac 外设接力等功能。

    AirServer macOS版
    AirServer macOS版

    AirServer macOS版可把 Mac 转换为无线投屏接收端,通过 AirPlay 或 Google Cast 接收手机、平板和电脑画面,并支持多设备同时连接、高清镜像及会话录制,适合家庭娱乐、课堂教学、会议演示和应用展示。

    AnyDesk macOS版
    AnyDesk macOS版

    AnyDesk macOS版是一款适用于远程办公、设备维护和客户支持的远程桌面工具,可连接并操作异地计算机,支持文件传输、无人值守访问、会话权限控制及跨平台协作。

    WINDOWS 更多
    讯飞绘文 网页版
    讯飞绘文 网页版

    讯飞绘文网页版是科大讯飞推出的AI图文创作与内容运营工具,覆盖热点选题、文章生成、稿件校对、智能配图、排版发布和数据复盘等环节,适合自媒体创作者及内容团队在线使用。

    Maya(Autodesk Maya) Windows版
    Maya(Autodesk Maya) Windows版

    Autodesk Maya 是面向影视、电视、动画和游戏行业的专业三维制作软件,集多边形与 NURBS 建模、角色绑定、关键帧和动作捕捉动画、Bifrost 特效模拟、材质开发及 Arnold 渲染于一体,

    Aperty Windows版
    Aperty Windows版

    Aperty 是 Skylum 推出的 AI 人像修图软件,支持自然肤质修饰、瑕疵处理、面部与身体调整、预设及批量同步。

    火山引擎 网页版
    火山引擎 网页版

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    立刻MV 网页版
    立刻MV 网页版

    立刻MV 面向音乐人、内容创作者和品牌团队,帮助用户低成本完成歌曲 MV、歌词视频、AI 分镜、图生视频与最终合成。

    蛙蛙写作 网页版
    蛙蛙写作 网页版

    蛙蛙写作 AI 创作工具,覆盖小说、剧本、文案,一键生成文稿,打通文字转视频全流程,高效解决创作难题。

    讯飞智作 网页版
    讯飞智作 网页版

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    超级简历WonderCV 网页版
    超级简历WonderCV 网页版

    超级简历WonderCV是面向应届生和AI小白的智能求职平台,覆盖简历、面试与职业规划。

    音述AI 网页版
    音述AI 网页版

    音述AI,是一个以“用声音述说故事”为核心的 AI 音乐创作与声音分享社区。

    AionClaw Windows版
    AionClaw Windows版

    AionClaw 是可在桌面端运行的任务型 AI 助手,通过数字专家与技能市场组合办公、创作、数据和开发能力。

    Loomy Windows版
    Loomy Windows版

    Loomy 是科大讯飞推出的桌面 AI 助手,可通过对话、任务与工作目录协助处理办公、内容创作和资料整理。

    AirServer Windows版
    AirServer Windows版

    AirServer Windows版可把电脑变成AirPlay、Google Cast和Miracast无线投屏接收端,适合会议演示、课堂教学及家庭大屏分享。发送设备通常无需另装客户端,并可同时接收和智能排列多个镜像会话。