跳到正文

#数据/训练

今日 0 条
9月4日周五
  1. Google Research46

    Google Research 联合 HHMI Janelia 发布雄性果蝇完整连接组图谱

    Google Research 与 HHMI Janelia 等机构合作,在《Cell》发表迄今最大的雄性果蝇大脑及中枢神经系统完整连接组图谱。该图谱包含超过 16.6 万个神经元和 1.25 亿个突触连接,通过 Neuroglancer 工具提供可视化与下载。这一成果利用 AI 技术加速了从电子显微镜图像到 3D 神经重建的过程,为研究动物感知、刺激反应及神经修复提供了基础资源。

8月25日周二
  1. Hugging Face Blog40

    Hugging Face 提出 Quantization-Aware Healing:GPT-OSS 4-bit 模型性能超越全精度原版

    Hugging Face 推出 Quantization-Aware Healing (QAH) 方法,使压缩至 60B 参数并量化为 MXFP4 的 GPT-OSS 120B 模型在 9 项基准测试中的 7 项上超越其 bfloat16 全精度版本。该方法通过直接从原始未压缩模型进行知识蒸馏,解决了结构压缩后传统恢复手段的性能瓶颈,实现了更小、更便宜且更准确的部署效果。

8月24日周一
8月12日周三
  1. Google Research60

    Google Research 提出知识画像框架:检索是参数化事实性的瓶颈

    Google Research 引入“知识画像”行为框架和 WikiProfile 基准,区分大语言模型中的事实编码与检索能力。研究发现 Gemini-3-Pro 和 GPT-5 等前沿模型的事实编码率高达 95–98%,但仍有 26–34% 的已编码事实无法直接检索,表明事实性错误的瓶颈已从知识获取转向知识利用。

    推荐理由:原文提出知识画像框架并构建 WikiProfile 基准,揭示前沿模型事实性错误主要源于检索失败而非编码缺失,为优化模型知识利用率提供新视角。

8月10日周一
  1. Hugging Face Blog42

    Hugging Face 提出高效知识蒸馏方案,大幅降低 LLM 训练显存需求

    Hugging Face 推出离线 Top-K Logits 缓存与融合分块 KL 损失技术,解决大模型知识蒸馏的高显存痛点。该方法避免同时加载教师与学生模型及构建全词表矩阵,将单步训练峰值显存从约 250GB 降至 128GB。这一优化使长上下文修复可在单张 GPU 上运行,显著降低了大规模实验的成本门槛。

7月16日周四
6月30日周二
  1. Hugging Face Blog32

    DiScoFormer:单 Transformer 同时估计密度与分数

    Hugging Face 推出 DiScoFormer,该模型通过单次前向传播即可同时估计数据分布的密度和分数,无需针对新分布重新训练。在 100 维数据上,其分数误差比最佳 KDE 低约 6.5 倍,密度误差降低超 37 倍,且能泛化至非高斯分布。这一预训练插件式估计器有望大幅降低生成建模及科学计算中的成本。

6月3日周三
4月22日周三
4月21日周二
  1. Hugging Face Blog30

    Hugging Face 发布 QIMMA:首个通过质量验证的阿拉伯语 LLM 排行榜

    Hugging Face 推出 QIMMA,这是首个整合开源、原生阿拉伯语内容、系统性质量验证、代码评估及公开推理输出的 LLM 排行榜。该基准包含超 52,000 个样本,利用 Qwen3-235B-A22B-Instruct 和 DeepSeek-V3-671B 进行多阶段自动化与人工审核,剔除了广泛使用的阿拉伯语基准中的系统性质量问题。

4月16日周四
4月9日周四
3月7日周六
2月18日周三
  1. Google Research42

    Google Research 提出 MapTrace:利用合成数据提升多模态大模型地图路径追踪能力

    Google Research 推出 MapTrace,通过自动化流水线生成 200 万问答对以解决 MLLM 在地图路径追踪上的空间推理缺陷。该方案利用 Gemini 2.5 Pro 和 Imagen-4 构建含“Mask Critic”与“Path Critic”的合成数据管线,开源数据集旨在显式教授模型几何拓扑关系,弥补预训练模型缺乏物理世界导航规则的短板。

2月4日周三
1月28日周三
  1. Google Research40

    Google Research 提出 ATLAS:面向多语言模型的自适应迁移缩放定律

    Google Research 发布 ATLAS,基于 774 次训练、10M–8B 参数模型及 400+ 种语言数据,提出自适应迁移缩放定律以优化多语言预训练。该研究量化了语言间协同效应,指出支持两倍语言数量需将模型规模扩大 1.18 倍、数据量增加 1.66 倍。ATLAS 为构建者提供了平衡语言混合与模型效率的数据驱动指南,并在 ICLR 2026 展示。

1月24日周六
1月14日周三
  1. Google Research37

    Google Research 验证 Android Auto 急刹车事件作为道路碰撞风险领先指标

    Google Research 证实通过 Android Auto 收集的急刹车事件(HBE)与道路碰撞率呈显著正相关,可作为交通安全评估的领先指标。分析显示 HBE 数据密度是碰撞报告的 18 倍,能填补稀疏历史数据的空白并实时识别高风险路段。该发现支持将连接车辆数据整合至 Google Maps Platform 的道路管理洞察中,以替代传统滞后的事故统计进行网络级安全评估。

1月13日周二
  1. Google Research52

    Google Research 发布 NeuralGCM 降水模拟新进展

    Google Research 在 Science Advances 发表新论文,介绍其混合大气模型 NeuralGCM 如何通过直接基于卫星降水观测数据进行训练,从而改进长期全球降水模拟。该模型在 280 km 分辨率下,相比传统物理模型,在平均降水、极端降水(特别是前 0.1% 降雨量)及日循环再现方面均取得显著提升,误差降低约 40%。

12月5日周五
  1. Google Research43

    Google Research 提出 Titans 架构与 MIRAS 框架以增强 AI 长期记忆

    Google Research 推出 Titans 架构及 MIRAS 理论框架,结合 RNN 速度与 Transformer 精度实现测试时记忆。Titans 利用“惊讶度”指标动态更新参数,通过动量机制和自适应权重衰减管理长序列信息。MIRAS 将序列建模统一为关联内存模块,突破均方误差范式限制,支持实时适应无需离线重训练。

9月3日周三
7月4日周五
  1. Hugging Face Blog28

    Hugging Face 宣布 NeurIPS 2025 E2LM Competition:早期训练评估语言模型

    Hugging Face 联合发起 NeurIPS 2025 E2LM Competition,旨在构建捕捉大语言模型早期训练阶段科学知识的基准。比赛基于 lm-evaluation-harness,提供 0.5B、1B 和 3B 参数模型检查点供信号质量评分,隐藏部分数据以防过拟合。冠军奖金为 6,000 USD,结果将于 2025 年 11 月 4 日公布。

3月20日周三
  1. Hugging Face Blog75

    Hugging Face 发布 Cosmopedia:用于预训练大语言模型的大规模合成数据生成指南

    Hugging Face 推出 Cosmopedia,这是一个包含超过 3000 万个文件和 250 亿 token 的开源合成数据集,旨在复现 Phi-1.5 的训练数据以用于从零开始预训练大语言模型。

    推荐理由:原文详细拆解了从提示词工程到大规模生成的完整技术栈,为复现 Phi 系列合成数据提供了可落地的开源方案。

3月15日周五