跳到正文

#多模态

今日 2 条
今天10月2日周五
  1. TechCrunch · AI78

    Google 发布 Gemini 4 Argon,称其为迄今最强大模型

    Google 母公司 Alphabet 推出新 AI 模型 Gemini 4 Argon,官方称其为迄今最强大的模型。该模型通过 Fairwind Program 向部分网络安全合作伙伴开放,专门针对防御性网络工作训练,能够自主发现、验证和修补关键软件漏洞。

    推荐理由:原文指出该模型专攻防御性网络安全并声称在多项基准测试中领先竞品,读者可据此评估其在特定垂直领域的实际能力与行业地位。

10月1日周四
  1. The Decoder86

    Google 发布 Gemini 4 Argon:缩小与 OpenAI 和 Anthropic 差距但未确立明显领先

    Google 发布新前沿模型 Gemini 4 Argon,在部分关键基准测试中超越竞争对手,但尚未确立全面领先地位。该模型目前仅向“可信网络防御者”等早期测试者开放,后续将逐步面向 API 客户和 Google AI Ultra 订阅用户推出。

    推荐理由:原文梳理了 Gemini 4 Argon 的基准测试表现、定价策略及分阶段开放计划,为评估其与竞品差距提供了具体数据参考。

9月29日周二
  1. Microsoft Research60

    微软研究院发布 Quine:面向生物学复杂性的 AI 研究系统

    微软研究院发布 Quine,这是一个结合生物学世界模型与交互式工具链的 AI 研究系统,旨在连接模型、科学工具、文献及研究人员。该系统在胰腺导管腺癌(PDAC)研究中应用,仅用一个周末即完成了从缩小化合物搜索空间到确定候选药物的过程,并验证了多个排名靠前的化合物能驱动肿瘤细胞状态转变。

    推荐理由:微软研究院推出Quine,通过多模态世界模型与实验闭环加速生物发现,并在胰腺癌研究中验证了化合物筛选效率。

9月24日周四
9月16日周三
9月3日周四
  1. Google DeepMind84

    Google DeepMind 发布 WeatherNext 3 全球天气 AI 模型

    Google DeepMind 与 Google Research 联合发布 WeatherNext 3,这是其最新且最准确的全球天气 AI 模型。该模型直接利用实时静止卫星数据进行训练,每小时生成一次高分辨率预报,地表变量分辨率达 5 公里,较前代提升约五倍。

    推荐理由:该模型通过直接学习实时卫星数据实现了小时级高分辨率预报,并集成至 Google 核心产品生态。

  2. Hugging Face Blog60

    Hugging Face 发布 NeoMME 多模态编码器系列

    Hugging Face 推出 NeoMME 260M 和 800M 参数规模的多语言多模态编码器,采用单一双向 Transformer 处理文本与图像补丁。NeoMME-Retriever 在 ViDoRe v3 基准测试中表现优异,260M 版本吞吐量约为 ColModernVBERT 的两倍,并通过层级令牌池化和非对称量化将索引存储减少至每页 6 kB。

    推荐理由:原文展示了单Transformer架构在视觉文档检索中的效率突破,提供了从模型权重到代码示例的完整开源实现。

9月1日周二
8月12日周三
8月10日周一
  1. Hugging Face Blog92

    Meta 发布 Muse Glimmer:面向本地智能体的开源多模态模型

    Meta 发布 Muse Glimmer,这是一个专为本地智能体用例设计的 30B 参数多模态模型,采用 Apache 2.0 许可证开源。该模型由 Muse 蒸馏而来,包含 2B ViT 视觉编码器和 28B 文本解码器,支持图像、视频输入及多模态工具调用。

    推荐理由:原文给出了30B参数模型的架构细节、基准测试数据及在主流推理框架中的Day-0支持,读者可据此评估其在本地智能体场景下的实际部署能力。

8月4日周二
  1. Mistral AI73

    Mistral AI 发布 Shieldstral:3B 参数开源多模态安全分类器

    Mistral AI 发布 Shieldstral,这是一款 3B 参数的开源多模态安全分类器,在文本安全方面性能匹敌或超越体积达其 7 倍的模型,并在多模态审核基准上创下新纪录。

    推荐理由:原文展示了将内容审核转化为问答任务的新范式,读者可据此了解如何通过自然语言策略实现无需重训的灵活安全评估。

7月30日周四
  1. Google DeepMind76

    Google DeepMind 发布 Gemini Robotics ER 2 具身推理模型

    Google DeepMind 发布 Gemini Robotics ER 2,这是一款用于机器人的高级具身推理模型。该模型支持视频理解、任务编排和多机器人协作,在进度分类和时刻查找任务中分别达到 57.4% 和 91.3% 的准确率。开发者可通过 Gemini API 和 Google AI Studio 访问该模型。

    推荐理由:原文给出了视频理解、任务编排和多机器人协作的具体能力指标,读者可以据此判断其在物理世界中的实际表现。

7月21日周二
  1. Google DeepMind82

    Google DeepMind 发布 Gemini 3.6 Flash、3.5 Flash-Lite 和 3.5 Flash Cyber

    Google DeepMind 正式推出 Gemini 3.6 Flash、3.5 Flash-Lite 和 3.5 Flash Cyber 三款新模型,旨在优化 AI 智能体的构建效率与成本。

    推荐理由:官方详细披露了新版 Flash 系列模型的 token 效率提升数据、具体定价及计算机使用能力内置情况,为开发者评估智能体工作流的成本与性能提供了直接依据。

7月15日周三
7月1日周三
  1. Google DeepMind80

    Google DeepMind 发布 Nano Banana 2 Lite 与 Gemini Omni Flash 并开放开发者接入

    Google DeepMind 正式发布 Nano Banana 2 Lite 和 Gemini Omni Flash,并在 Google AI Studio、Gemini API 及 Gemini Enterprise Agent Platform 向开发者开放。

    推荐理由:官方同步开放两款新模型的开发者接口,明确了各自的延迟、成本及能力边界,为构建图文视频混合工作流提供了具体选型依据。

6月22日周一
6月9日周二
  1. Google DeepMind82

    Google DeepMind 发布 Gemma 4 12B:统一无编码器多模态模型

    Google DeepMind 发布 Gemma 4 12B,这是一款旨在笔记本电脑上运行的高性能多模态模型。它采用独特的无编码器统一架构,将视觉和音频输入直接融入 LLM 主干网络,支持原生音频输入。

    推荐理由:该模型采用无编码器统一架构,在16GB显存设备上实现接近26B MoE的多模态推理能力,适合关注本地部署效率的开发者。

6月5日周五
  1. Hugging Face Blog65

    NVIDIA 发布 Nemotron 3.5 Content Safety:支持自定义策略的多模态内容安全模型

    NVIDIA 发布 Nemotron 3.5 Content Safety,这是一个基于 Gemma 3 4B IT 微调的统一多模态、多语言内容安全模型。它支持自定义企业策略执行和可选的可审计推理轨迹(THINK Mode),在保持低延迟的同时实现了跨语言和图文的综合安全评估。

    推荐理由:该模型将多模态、多语言与自定义策略执行统一于单次推理,并开源了包含真实图像的训练数据集,为企业级内容安全提供了可审计且低延迟的解决方案。

5月20日周三
5月18日周一
  1. Google DeepMind86

    Google DeepMind 发布 Gemini Omni Flash 模型

    Google DeepMind 推出 Gemini Omni Flash,这是 Omni 系列的首个模型,支持从图像、音频、视频和文本等任意输入生成高质量视频。

    推荐理由:原文详细说明了 Gemini Omni Flash 支持自然语言对话式视频编辑及多模态输入生成,并给出了具体的分发渠道和订阅权限。

5月16日周六
  1. Google DeepMind92

    Google DeepMind 发布 Gemini 3.5 Flash 模型

    Google DeepMind 正式发布 Gemini 3.5 系列并率先推出 Gemini 3.5 Flash 模型,该模型主打智能体(Agent)与编码能力,现已向全球用户开放。

    推荐理由:官方详细披露了 Gemini 3.5 Flash 在智能体任务与编码基准上的性能数据及开放入口,为评估其实际工作流替代能力提供了具体依据。

4月28日周二
  1. Hugging Face Blog78

    NVIDIA 发布 Nemotron 3 Nano Omni 全模态模型

    NVIDIA 发布 Nemotron 3 Nano Omni,这是一款支持文本、图像、视频和音频的全模态理解模型。该模型采用 Mamba-Transformer MoE 混合骨干网络,在 OCRBenchV2 和 WorldSense 等基准测试中表现优异,并针对长文档分析和智能体计算机使用进行了优化。BF16、FP8 和 NVFP4 检查点已在 Hugging Face 开放下载。

    推荐理由:原文给出了混合架构细节与多基准实测数据,读者可以据此评估其在长文档和音视频联合理解任务中的实际能力边界。

4月13日周一
  1. Google DeepMind73

    Google DeepMind 发布 Gemini Robotics-ER 1.6 增强机器人具身推理能力

    Google DeepMind 推出 Gemini Robotics-ER 1.6,这是一款专为机器人设计的高层推理模型,显著提升了空间推理和多视角理解能力。该模型新增了仪表读取功能,能够解读复杂压力表和液位计,并在指向、计数及任务成功检测方面优于前代版本。

    推荐理由:官方详细拆解了空间推理与仪表读取等核心能力,并给出了 API 入口及开发者示例,适合评估其在工业巡检场景的落地潜力。

4月3日周五
  1. Google DeepMind90

    Google DeepMind 发布 Gemma 4:号称每字节性能最强的开源模型家族

    Google DeepMind 正式推出 Gemma 4 系列开源大模型,包含 E2B、E4B、26B MoE 和 31B Dense 四种规格,采用 Apache 2.0 许可证。

    推荐理由:Google DeepMind 发布 Gemma 4 系列开源模型,提供从移动端到工作站的多种尺寸及 Apache 2.0 许可,展示了其在智能体工作流和边缘计算上的最新进展。

4月2日周四
  1. Hugging Face Blog96

    Gemma 4 系列多模态模型发布

    Gemma 4 系列多模态模型正式发布,包含 E2B、E4B、12B Unified、31B 和 26B A4B 五种尺寸,支持图像、文本和音频输入,采用 Apache 2.0 许可证。

    推荐理由:原文给出了五种尺寸的多模态架构细节与跨框架部署方案,读者可据此评估其在端侧推理和智能体工作流中的实际可用性。

4月1日周三
  1. Hugging Face Blog70

    TII 发布 Falcon Perception 0.6B 早期融合模型及 Falcon OCR 0.3B 模型

    Technology Innovation Institute (TII) 发布 Falcon Perception(0.6B 参数)和 Falcon OCR(0.3B 参数),两者均采用单一早期融合 Transformer 架构处理图像补丁与文本。

    推荐理由:原文展示了早期融合架构在开放词汇分割与OCR任务上的性能优势及推理细节,为小参数模型替代复杂视觉管线提供了可复用的技术路径。

3月31日周二
3月17日周二
3月4日周三
  1. Google DeepMind73

    Google DeepMind 发布 Gemini 3.1 Flash-Lite 模型

    Google DeepMind 推出 Gemini 3.1 Flash-Lite,这是其最快且最具成本效益的 Gemini 3 系列模型,现已通过 Gemini API 和 Vertex AI 向开发者和企业开放预览。

    推荐理由:官方公布 Gemini 3.1 Flash-Lite 的定价、速度提升及基准测试数据,为高并发场景下的模型选型提供具体参考。

2月20日周五
  1. Google DeepMind86

    Google DeepMind 发布 Gemini 3.1 Pro 模型

    Google DeepMind 正式发布 Gemini 3.1 Pro,作为 Gemini 3 系列的核心智能升级版本。该模型在 ARC-AGI-2 基准测试中取得 77.1% 的验证分数,推理性能较前代提升超过一倍。

    推荐理由:原文披露了 Gemini 3.1 Pro 在 ARC-AGI-2 基准上的具体得分及全平台开放入口,读者可据此评估其推理能力跃升幅度与当前可用性。

1月14日周三
  1. Google Research65

    Google 发布 MedGemma 1.5 4B 与 MedASR 开源医疗模型

    Google Research 发布 MedGemma 1.5 4B 模型和 MedASR 语音识别模型,并启动 Kaggle 黑客松。MedGemma 1.5 新增对 CT、MRI 和全切片病理图像等高维医学影像的解读能力,在内部基准测试中疾病分类准确率较上一代显著提升;MedASR 专为医疗听写微调,错误率远低于通用 Whisper large-v3 模型。

    推荐理由:原文给出了MedGemma 1.5对CT和MRI等高维医学影像的支持及具体基准提升,开发者可据此评估其在复杂医疗场景中的适配潜力。

12月17日周三
  1. Mistral AI60

    Mistral AI 发布 Mistral OCR 3 模型

    Mistral AI 正式发布 Mistral OCR 3,该模型在表单、扫描文档、复杂表格和手写内容上的整体胜率比 Mistral OCR 2 高出 74%。

    推荐理由:Mistral OCR 3 在表单、手写和复杂表格识别上较前代有显著提升,且以极低价格提供 API 服务,适合需要高精度文档解析的开发者评估。

  2. Google DeepMind86

    Google DeepMind 发布 Gemini 3 Flash:兼顾前沿智能与速度

    Google DeepMind 发布 Gemini 3 Flash,旨在以更低成本和更高速度提供接近 Pro 级别的前沿智能。该模型在 GPQA Diamond 得分 90.4%,SWE-bench Verified 得分 78%,比 Gemini 2.5 Pro 快 3 倍且平均少用 30% token。

    推荐理由:原文给出了 Gemini 3 Flash 在多项基准测试中的具体分数、定价及与上一代模型的性能对比,读者可据此评估其在速度与成本平衡上的实际竞争力。

12月3日周三
  1. Mistral AI87

    Mistral AI 发布 Mistral 3 系列开源模型

    Mistral AI 正式推出下一代模型家族 Mistral 3,包括 Mistral Large 3(41B 激活/675B 总参数的稀疏 MoE)以及 Ministral 3 系列(3B、8B、14B 密集模型)。

    推荐理由:官方发布了包含稀疏 MoE 大模型和密集小模型的 Mistral 3 系列,全部采用 Apache 2.0 协议开源并支持多模态与推理能力。

11月20日周四
11月19日周三