Google Research 发布 AI 视频联合导演框架以自动化连贯长视频生成
Google Research 推出名为“AI video co-director”的统一多智能体框架,旨在解决现有扩散模型在生成长篇叙事视频时面临的语义漂移和级联失败挑战。
推荐理由:Google Research 提出基于 Gemini 和 Veo 的多智能体框架,通过全局优化和世界状态跟踪解决长视频生成的语义漂移问题。
Google Research 推出名为“AI video co-director”的统一多智能体框架,旨在解决现有扩散模型在生成长篇叙事视频时面临的语义漂移和级联失败挑战。
推荐理由:Google Research 提出基于 Gemini 和 Veo 的多智能体框架,通过全局优化和世界状态跟踪解决长视频生成的语义漂移问题。
Google Research 推出基于 Swin-S Transformer 的 MAPL-EMIT 框架,利用 EMIT 卫星数据自动检测全球甲烷羽流。该模型在专家标注数据上实现 84% 的高召回率,能同时完成增强量化、羽流分割和源定位。相关模型、合成数据及推理库已开源至 Kaggle 和 GitHub。
Google Research 在 CHI 2026 发表研究原型 AgentHands,利用 LLM 推理与 XR 空间感知,使 AI 智能体能生成与语音同步的具身手势。该系统通过环境注册、手势库及实时解析,将抽象指令转化为直观物理演示,显著提升用户在兰花护理等场景中的空间理解能力。
Google Research 推出 Mobility-Embedded POIs (ME-POIs) 框架,将匿名化移动模式与文本描述融合以增强地点表示。该框架在预测访问意图、价格等级分类及繁忙程度估算上分别实现 81.9%、75.1% 和 24.7% 的相对性能提升。
Google Research 发布 PhotoScan,一种基于深度学习的框架,可直接从标准 2D 智能手机照片估算体脂率、A/G 比和 V/S 比。该模型在 UK Biobank 数据上预训练并在独立队列验证中表现出接近 DXA 扫描的精度,其体脂率预测平均绝对误差为 2.15,优于智能手表的生物电阻抗分析传感器。
Microsoft Research 推出 MindTopo 基准,评估多模态大模型在连续性、分离性、顺序、包围和结等拓扑概念上的理解能力。测试显示当前模型在静态图像识别上表现优于交互式规划任务,且整体性能远低于人类水平。这一发现表明模型难以在动作序列中维持一致的拓扑理解,为机器人及交互环境中的可靠决策提供了改进方向。
Microsoft Research 推出研究模型 CARE-X,这是一个用于胸部 X 光解读的统一视觉语言模型。该模型结合生成式与判别式能力,利用 DAPO 强化学习优化临床正确性,并支持确定性测量工具以处理依赖精确测量的病症。CARE-X 已在 Narayana Health 的真实世界印度临床数据上进行验证,旨在提供兼具自由文本推理与校准诊断预测的灵活输出。
Google Research 发表关于 SymptomAI 的研究论文,介绍了一种用于日常症状评估的对话式 AI 智能体。在一项涉及 13,917 名参与者的随机全国性研究中,SymptomAI 生成的鉴别诊断(DDx)在超过 50% 的案例中被临床专家优先选择,且准确率高于其他临床医生提供的诊断。
推荐理由:原文展示了基于大规模真实用户对话的研究结果,提供了AI在症状评估中对比临床专家的表现数据及与可穿戴设备生物信号的关联分析。
DharmaOCR 通过领域专用训练,在巴西葡萄牙语识别任务中表现优于 Mistral OCR4 和 Unlimited-OCR。该模型采用监督微调与直接偏好优化(DPO)两阶段训练,集中参数资源于目标语言,从而在提取质量和推理稳定性上取得优势。
Google Research 推出 SensorFM,这是一个在超过一万亿分钟无标签多模态传感器数据上预训练的大型传感器基础模型。该模型利用自适应和继承掩码(AIM)框架处理缺失数据,学习出可跨心血管、代谢、睡眠及心理健康迁移的通用生理表征。
推荐理由:原文展示了基于万亿分钟无标签数据训练的基础模型,其生成的表征在多项健康任务中超越传统监督基线,为可穿戴设备从单一指标监测转向通用生理建模提供了技术路径。
Google Research 发布 JAMA Dermatology 研究,显示 AI 辅助工具使消费者识别皮肤疾病名称的准确率从 8% 提升至 23%,近三倍于传统搜索。尽管命名能力显著增强,用户在确定后续医疗步骤方面仍面临挑战,表明人类在利用 AI 进行健康决策时的认知因素至关重要。
Google DeepMind 公布在塞拉利昂进行的预注册随机对照试验结果,使用 Gemini 驱动的 Guided Learning 工具使学生在八周内数学成绩提升 0.258 个标准差,相当于 1.2 至 1.7 年的常规学习进度。
推荐理由:原文披露了塞拉利昂预注册试验数据,显示AI辅助教学显著提升数学成绩且学生主动寻求理解而非答案。
Google Research 在 Nature 发表研究,推出名为 PHRM 的被动心率监测系统,利用智能手机前置摄像头在日常使用中估算心率和静息心率。该系统在实验室和真实场景下均达到 MAPE < 10% 的精度,且在不同肤色群体中表现一致,其每日静息心率估算误差小于 5 bpm,媲美可穿戴设备。
推荐理由:原文展示了基于智能手机前置摄像头的被动心率监测系统,提供了跨肤色的高精度验证数据及开源数据集,为无穿戴设备的心血管健康追踪提供了可复用的技术方案。
Google Research 在 Earth AI 计划中推出 S2Vec,这是一种用于学习环境通用嵌入的自监督框架。该模型利用 S2 Geometry 栅格化地理数据并通过掩码自动编码(MAE)进行训练,无需人工标签即可预测人口密度等社会经济指标。评估显示,S2Vec 在社会经济预测任务中与基于图像的基线方法表现相当,尤其在地理外推方面具有优势。
Google Research 与英国国家医疗服务体系(NHS)合作开展 AIMS 研究,并在 Nature Cancer 发表两项伴生研究,评估基于 AI 的乳腺癌检测系统在筛查工作流中的表现。
推荐理由:Google Research 联合 NHS 发表两项 Nature Cancer 研究,证实 AI 在乳腺癌筛查中可提升检出率并显著降低放射科医生工作负荷。
Google Research与Beth Israel Deaconess Medical Center合作完成了一项关于AMIE对话式诊断AI的前瞻性单中心可行性研究。
推荐理由:原文披露了AMIE在真实临床环境中的首次前瞻性可行性研究结果,展示了其在监督下的安全性及诊断准确率数据。
Google Research 推出 MapTrace,通过自动化流水线生成 200 万问答对以解决 MLLM 在地图路径追踪上的空间推理缺陷。该方案利用 Gemini 2.5 Pro 和 Imagen-4 构建含“Mask Critic”与“Path Critic”的合成数据管线,开源数据集旨在显式教授模型几何拓扑关系,弥补预训练模型缺乏物理世界导航规则的短板。
Google DeepMind 发布的 Perch 2.0 生物声学基础模型虽主要基于鸟类训练,但在海洋任务中表现优异。最新论文证实该模型可通过迁移学习有效分类鲸鱼发声,无需水下音频训练数据。团队已在 Google Colab 提供端到端教程,演示利用 NOAA 数据构建自定义分类器。
Google Research 在 EMNLP 2025 发表研究,提出通过分解屏幕摘要与意图提取两阶段流程,使小多模态大语言模型实现设备端用户意图理解。该方法在 Gemini 和 Qwen2 基座模型上验证,其中 Gemini 1.5 Flash 8B 以更低成本和速度达到接近 Gemini 1.5 Pro 的性能表现。
Google DeepMind 发布 D4RT,一种统一 AI 模型用于动态场景的 4D 重建和追踪。该模型采用基于查询的 Transformer 架构,比先前方法快 18x 至 300x,在单个 TPU 上处理一分钟视频仅需约五秒。
Google Research 开发基于时间卷积网络(TCN)的多头深度学习模型,利用 Pixel Watch 的 IMU 数据直接估算步速、步长等时空步态指标。在包含 246 名参与者和约 70,000 个步行片段的大规模验证中,该方法的皮尔逊相关系数和组内相关系数均超过 0.80,性能与智能手机方案相当。
Berkeley AI Research 在 NeurIPS 2025 发表研究,提出利用互信息直接评估和优化成像系统。该方法仅依赖噪声测量数据,无需任务特定解码器,即可预测彩色摄影、射电天文等四个领域的性能。优化后的设计匹配端到端方法效果,同时显著降低内存与计算需求。
Google DeepMind 与 Kaggle 合作发布 FACTS Benchmark Suite,包含参数化、搜索、多模态及 Grounding v2 四个基准,共提供 3,513 个公开示例。
Google Research 在 NeurIPS 2025 上推出 Massive Sound Embedding Benchmark (MSEB),旨在标准化评估多模态模型的八项核心听觉能力。该基准包含新开源的 SVQ 数据集,涵盖 177,352 条跨 26 个地区、17 种语言的语音查询。实验显示当前声音表示远非通用,在所有任务中存在显著性能提升空间。
Google Research 联合 Google DeepMind、WRI 和 IIASA 发布 Natural Forests of the World 2020 数据集及论文,提供全球首个区分天然林与其他树木覆盖的10米分辨率地图,验证准确率达92.2%。
Google DeepMind 在 Nature 发表研究,提出基于 SigLIP-SO400M 的三步对齐法,利用 THINGS 数据集生成 AligNet 以重构模型视觉表征。该方法使 AI 内部映射按人类认知层级有序组织,显著提升了系统的鲁棒性、泛化能力及可靠性。
Google DeepMind 联合 World Resources Institute 推出基于 Vision Transformers 的森林砍伐风险预测基准,实现 30 米级高分辨率监测。同时发布利用 Graph Neural Net 和 AlphaEarth Foundations 生成的物种分布图谱,并更新动物声音分类模型 Perch 2.0,支持快速适配新物种识别以辅助生态保护。
Google Research 推出 ForestCast,利用基于 vision transformers 的深度学习模型和纯卫星数据预测森林砍伐风险。该方法无需易过时的地理空间输入,准确率匹配或超越现有方案,并发布了首个公开基准数据集以支持社区复现与改进。
Google Research 在 UIST’25 会议上介绍了 StreetReaderAI,这是一个利用上下文感知实时 AI 和 Gemini 模型使 Google Street View 对盲人及低视力人群可访问的概念验证原型。
Hugging Face 推出开源基准 TimeScope,通过向1分钟至8小时视频中插入5-10秒“针”片段,评估视觉语言模型的局部检索、信息合成及细粒度时间感知能力。该基准揭示 Gemini 2.5-Pro 等前沿模型在长视频时序理解上仍存在显著短板,暴露了当前模型宣称的长上下文处理能力与实际表现间的差距。
Hugging Face 发布 ScreenSuite,这是一个包含 13 个基准测试的综合评估套件,用于评估视觉语言模型(VLM)在感知、定位、单步操作和多步智能体等方面的能力。
推荐理由:原文整合了13个GUI智能体基准并统一为纯视觉评估环境,提供了支持本地部署的Docker容器和快速启动指南。
Hugging Face 与 MBZUAI 合作上线 Arabic-Leaderboards,新增首个公开阿拉伯语指令遵循基准及 AraGen-03-25。AraGen 数据集扩充至 340 对问答,o1-2024-12-17 以 69.49% 的 3C3H 得分保持榜首,gpt-4o-2024-08-06 排名显著上升。
Hugging Face 推出 WebSight-v0.2 合成数据集,规模扩至 200 万对截图/HTML 样本并采用 Tailwind CSS。基于该数据微调的 Sightseer 视觉语言模型可将网页截图转换为功能完整的 HTML 代码,支持嵌入相似图像。
UCLA 研究人员推出 ConTextual 数据集,包含 506 个指令,旨在评估大语言模型(LMM)对图像中文本与视觉上下文的联合推理能力。基准测试显示,GPT-4V 等专有模型在信息图和时间读取任务上表现不佳,开源模型如 LLaVA-v1.5-13B 存在显著领域差距。增强型 LLM 方法仅获 17.2% 的人类认可率,表明当前模型在处理文本丰富的真实场景时仍有巨大提升空间。