跳到正文

#多模态

今日 0 条
9月25日周五
  1. Google Research60

    Google Research 发布 AI 视频联合导演框架以自动化连贯长视频生成

    Google Research 推出名为“AI video co-director”的统一多智能体框架,旨在解决现有扩散模型在生成长篇叙事视频时面临的语义漂移和级联失败挑战。

    推荐理由:Google Research 提出基于 Gemini 和 Veo 的多智能体框架,通过全局优化和世界状态跟踪解决长视频生成的语义漂移问题。

9月2日周三
8月26日周三
8月21日周五
8月17日周一
  1. Google Research42

    Google Research 推出 PhotoScan:利用智能手机图像估算身体成分以预测胰岛素抵抗

    Google Research 发布 PhotoScan,一种基于深度学习的框架,可直接从标准 2D 智能手机照片估算体脂率、A/G 比和 V/S 比。该模型在 UK Biobank 数据上预训练并在独立队列验证中表现出接近 DXA 扫描的精度,其体脂率预测平均绝对误差为 2.15,优于智能手表的生物电阻抗分析传感器。

8月13日周四
  1. Microsoft Research35

    MindTopo 基准揭示 VLMs 拓扑推理与规划能力差距

    Microsoft Research 推出 MindTopo 基准,评估多模态大模型在连续性、分离性、顺序、包围和结等拓扑概念上的理解能力。测试显示当前模型在静态图像识别上表现优于交互式规划任务,且整体性能远低于人类水平。这一发现表明模型难以在动作序列中维持一致的拓扑理解,为机器人及交互环境中的可靠决策提供了改进方向。

8月12日周三
  1. Microsoft Research42

    Microsoft Research 发布 CARE-X:结合辅助监督与强化学习的临床放射学 VLM

    Microsoft Research 推出研究模型 CARE-X,这是一个用于胸部 X 光解读的统一视觉语言模型。该模型结合生成式与判别式能力,利用 DAPO 强化学习优化临床正确性,并支持确定性测量工具以处理依赖精确测量的病症。CARE-X 已在 Narayana Health 的真实世界印度临床数据上进行验证,旨在提供兼具自由文本推理与校准诊断预测的灵活输出。

7月23日周四
  1. Google Research75

    Google Research 发布 SymptomAI:面向日常症状评估的对话式 AI 智能体研究

    Google Research 发表关于 SymptomAI 的研究论文,介绍了一种用于日常症状评估的对话式 AI 智能体。在一项涉及 13,917 名参与者的随机全国性研究中,SymptomAI 生成的鉴别诊断(DDx)在超过 50% 的案例中被临床专家优先选择,且准确率高于其他临床医生提供的诊断。

    推荐理由:原文展示了基于大规模真实用户对话的研究结果,提供了AI在症状评估中对比临床专家的表现数据及与可穿戴设备生物信号的关联分析。

7月16日周四
7月9日周四
  1. Google Research68

    Google Research 发布 SensorFM:面向可穿戴健康数据的通用智能基础模型

    Google Research 推出 SensorFM,这是一个在超过一万亿分钟无标签多模态传感器数据上预训练的大型传感器基础模型。该模型利用自适应和继承掩码(AIM)框架处理缺失数据,学习出可跨心血管、代谢、睡眠及心理健康迁移的通用生理表征。

    推荐理由:原文展示了基于万亿分钟无标签数据训练的基础模型,其生成的表征在多项健康任务中超越传统监督基线,为可穿戴设备从单一指标监测转向通用生理建模提供了技术路径。

6月13日周六
6月8日周一
  1. Google DeepMind68

    Google DeepMind 发布塞拉利昂 AI 辅助学习影响评估研究

    Google DeepMind 公布在塞拉利昂进行的预注册随机对照试验结果,使用 Gemini 驱动的 Guided Learning 工具使学生在八周内数学成绩提升 0.258 个标准差,相当于 1.2 至 1.7 年的常规学习进度。

    推荐理由:原文披露了塞拉利昂预注册试验数据,显示AI辅助教学显著提升数学成绩且学生主动寻求理解而非答案。

6月5日周五
  1. Google Research67

    Google Research 发布 PHRM:通过智能手机摄像头实现被动心率监测

    Google Research 在 Nature 发表研究,推出名为 PHRM 的被动心率监测系统,利用智能手机前置摄像头在日常使用中估算心率和静息心率。该系统在实验室和真实场景下均达到 MAPE < 10% 的精度,且在不同肤色群体中表现一致,其每日静息心率估算误差小于 5 bpm,媲美可穿戴设备。

    推荐理由:原文展示了基于智能手机前置摄像头的被动心率监测系统,提供了跨肤色的高精度验证数据及开源数据集,为无穿戴设备的心血管健康追踪提供了可复用的技术方案。

3月25日周三
  1. Google Research36

    Google Research 推出 S2Vec:自监督框架学习城市环境嵌入

    Google Research 在 Earth AI 计划中推出 S2Vec,这是一种用于学习环境通用嵌入的自监督框架。该模型利用 S2 Geometry 栅格化地理数据并通过掩码自动编码(MAE)进行训练,无需人工标签即可预测人口密度等社会经济指标。评估显示,S2Vec 在社会经济预测任务中与基于图像的基线方法表现相当,尤其在地理外推方面具有优势。

3月18日周三
  1. Google Research80

    Google Research 与 NHS 合作发表研究:AI 辅助乳腺癌筛查提升检出率并减少人工阅片量

    Google Research 与英国国家医疗服务体系(NHS)合作开展 AIMS 研究,并在 Nature Cancer 发表两项伴生研究,评估基于 AI 的乳腺癌检测系统在筛查工作流中的表现。

    推荐理由:Google Research 联合 NHS 发表两项 Nature Cancer 研究,证实 AI 在乳腺癌筛查中可提升检出率并显著降低放射科医生工作负荷。

3月12日周四
2月18日周三
  1. Google Research42

    Google Research 提出 MapTrace:利用合成数据提升多模态大模型地图路径追踪能力

    Google Research 推出 MapTrace,通过自动化流水线生成 200 万问答对以解决 MLLM 在地图路径追踪上的空间推理缺陷。该方案利用 Gemini 2.5 Pro 和 Imagen-4 构建含“Mask Critic”与“Path Critic”的合成数据管线,开源数据集旨在显式教授模型几何拓扑关系,弥补预训练模型缺乏物理世界导航规则的短板。

2月10日周二
1月23日周五
1月16日周五
1月10日周六
12月9日周二
12月4日周四
11月14日周五
11月11日周二
11月6日周四
  1. Google DeepMind40

    Google DeepMind 发布森林砍伐预测基准、物种分布图谱及 Perch 2.0 更新

    Google DeepMind 联合 World Resources Institute 推出基于 Vision Transformers 的森林砍伐风险预测基准,实现 30 米级高分辨率监测。同时发布利用 Graph Neural Net 和 AlphaEarth Foundations 生成的物种分布图谱,并更新动物声音分类模型 Perch 2.0,支持快速适配新物种识别以辅助生态保护。

11月5日周三
10月30日周四
7月23日周三
  1. Hugging Face Blog42

    Hugging Face 开源 TimeScope 基准测试长视频多模态模型理解能力

    Hugging Face 推出开源基准 TimeScope,通过向1分钟至8小时视频中插入5-10秒“针”片段,评估视觉语言模型的局部检索、信息合成及细粒度时间感知能力。该基准揭示 Gemini 2.5-Pro 等前沿模型在长视频时序理解上仍存在显著短板,暴露了当前模型宣称的长上下文处理能力与实际表现间的差距。

6月6日周五
  1. Hugging Face Blog65

    Hugging Face 发布 ScreenSuite:最全面的 GUI 智能体评估套件

    Hugging Face 发布 ScreenSuite,这是一个包含 13 个基准测试的综合评估套件,用于评估视觉语言模型(VLM)在感知、定位、单步操作和多步智能体等方面的能力。

    推荐理由:原文整合了13个GUI智能体基准并统一为纯视觉评估环境,提供了支持本地部署的Docker容器和快速启动指南。

4月8日周二
3月15日周五
3月5日周二
  1. Hugging Face Blog29

    ConTextual 数据集发布:评估多模态模型在文本丰富场景中的联合推理能力

    UCLA 研究人员推出 ConTextual 数据集,包含 506 个指令,旨在评估大语言模型(LMM)对图像中文本与视觉上下文的联合推理能力。基准测试显示,GPT-4V 等专有模型在信息图和时间读取任务上表现不佳,开源模型如 LLaVA-v1.5-13B 存在显著领域差距。增强型 LLM 方法仅获 17.2% 的人类认可率,表明当前模型在处理文本丰富的真实场景时仍有巨大提升空间。