OpenAI 与洛斯阿拉莫斯国家实验室宣布研究合作
OpenAI 与洛斯阿拉莫斯国家实验室宣布建立研究合作伙伴关系。双方将共同开发安全评估体系,以衡量前沿模型相关的生物能力与风险。
OpenAI 与洛斯阿拉莫斯国家实验室宣布建立研究合作伙伴关系。双方将共同开发安全评估体系,以衡量前沿模型相关的生物能力与风险。
Hugging Face 推出 KerasHub 与 Transformers 的共享模型保存格式,允许 KerasHub 直接加载 Hub 上超 30 万个基于 Transformers 的模型。该集成初期支持 Gemma、Llama 3 和 PaliGemma,用户可通过单行代码在 TensorFlow、JAX 或 PyTorch 后端间无缝切换并微调上传。
Hugging Face 在 Dataset Hub 推出新功能,利用开源工具 Presidio 自动生成数据集个人身份信息(PII)检测报告。该功能旨在帮助机器学习从业者识别预训练数据中残留的敏感信息,辅助其在模型训练前进行数据过滤与合规性验证。
Hugging Face 宣布 TRL 库现已支持对视觉语言模型进行直接偏好优化(DPO)。该教程以 Idefics2-8b 为例,展示了如何利用 LoRA 和量化技术将显存需求从 160GB 降至约 32.3GB,并在 AMBER 基准测试中验证了微调后模型幻觉率的降低。
Banque des Territoires、Polyconseil 与 Hugging Face 合作开发基于开源生态的主权 RAG 解决方案,以优化法国 EduRénov 学校翻新计划的邮件响应效率。该方案利用 Text Generation Inference 等工具保障数据主权,旨在通过生成式 AI 简化对 10,000 个公共教育设施项目的支持流程。
Hugging Face 宣布在其 Inference Endpoints 和 Spaces 中正式支持 Google Cloud TPUs。用户现在可以选择 TPU v5e 实例(v5litepod-1/4/8)来部署模型,每小时价格从 $1.375 到 $11.00 不等。
Hugging Face Dataset Hub 推出四项新搜索功能,支持按模态、行数规模、存储格式及兼容库筛选超过180,000个公开数据集。用户可组合这些过滤器与现有语言、任务等条件,精准定位如用于LLM预训练的超10B行数据或特定WebDataset格式资源。
ProtST 蛋白质语言模型在 Intel Gaudi 2 上实现高效推理与微调。借助 Optimum for Intel Gaudi 库,其零样本推理速度比 NVIDIA A100 快 1.76 倍且精度一致;微调任务中单卡 Gaudi 2 较 A100 提速 2.92 倍,多卡训练可线性扩展。
Hugging Face 使用基于 transformers.agents(现已升级为 smolagents)构建的 ReactCodeAgent 在 GAIA 基准验证集上取得 44.2% 的成绩,位列第一。该方案核心在于让 LLM 生成并执行 Python 代码而非 JSON,通过自底向上构建的安全解释器限制操作权限,并结合 Web 浏览、文件检查等工具及简单的规划组件实现多智能体协作。
推荐理由:原文详细拆解了基于代码动作的 Agent 架构与安全执行机制,并展示了在 GAIA 基准上的具体得分与多智能体编排策略。
OpenAI 发布了名为 CriticGPT 的新模型,该模型基于 GPT-4 构建,专门用于对 ChatGPT 的回答生成批评意见。其核心目的是在 RLHF(基于人类反馈的强化学习)过程中,帮助人类训练师更准确地识别 ChatGPT 回答中的错误。
OpenAI 宣布与 TIME 建立战略合作伙伴关系,利用其101年的档案内容增强模型响应并提供 Time.com 故事链接。该合作旨在通过整合权威媒体资源提升生成内容的准确性与可追溯性。
Google 发布了最新一代开源大语言模型 Gemma 2,包含 9B 和 27B 两种参数规模的基座与指令微调版本。该模型引入了滑动窗口注意力、Logit 软封顶、知识蒸馏和模型合并等四项主要技术进步,上下文长度为 8K tokens。Hugging Face 已同步提供 Transformers 集成、Inference Endpoints 部署支持以及基于 TRL 的微调示例代码。
推荐理由:原文详细解析了Gemma 2在滑动窗口注意力、软封顶及知识蒸馏上的技术改进,并提供了基于Transformers的微调与部署指南。
XLSCOUT 推出专有嵌入模型 ParaEmbed 2.0,准确率较前代提升 23%。该模型基于 Hugging Face Expert Support Program 协作开发,通过微调 BGE、Llama 2 等开源模型优化专利分析。借助 Inference Endpoints,其推理速度达 ~2700 embeddings per second,显著增强专利起草与检索效率。
Hugging Face 发布教程展示如何微调 Microsoft 的 Florence-2 模型以支持 DocVQA 任务。通过冻结视觉编码器并在单张 A100 GPU 上使用 batch size 6 进行 7 个 epoch 的训练,验证集上的 Levenshtein 相似度从 0 提升至 57.0。该过程证明了小参数量视觉语言模型在受限资源下适配下游任务的可行性。
Hugging Face 指出高质量数据需具备相关性、全面性、时效性及偏见缓解能力,而非仅追求数量。Reddit 与 Google 的 RAG 合作因数据质量问题导致推荐失误,凸显了从源头把控数据的重要性。优化数据质量能提升模型鲁棒性与效率,减少过拟合并促进公平透明。
OpenAI 宣布收购 Rockset。
OpenAI 启动网络安全资助计划,旨在支持创新研究与 AI 在网络安全领域的整合。该计划重点强调利用人工智能技术增强网络防御能力,推动相关前沿探索与应用落地。
Hugging Face 联合 Argilla 发布“Data Is Better Together”计划阶段性成果,推出含 10K 提示词的 DIBT/10k_prompts_ranked 数据集及多语言评估项目 MPEP。该社区协作已吸引超 385 人参与,支持 SPIN 等模型训练,并提供 DPO、KTO 等数据集构建指南以推动开源数据生态发展。
OpenAI 提出改进一致性模型的训练技术。一致性模型是一类新兴生成模型,无需对抗训练即可单步采样高质量数据。
OpenAI 提出 Consistency Models,旨在解决扩散模型因迭代采样导致的生成速度慢问题。该模型通过改进采样过程提升图像、音频及视频生成的效率。
OpenAI 提出一种构建稳健且实用的自然语言分类系统的整体方法,旨在解决现实世界中的内容审核问题。该方案聚焦于提升模型在真实场景下对不良内容的检测能力与实用性。
Prezi 加入 Hugging Face Expert Support Program,利用开源重排序模型优化其 AI 演示文稿生成流程中的图像与文本检索。该合作帮助团队在视觉语言模型(VLM)选型、微调及数据策展上获得专家指导,显著提升了多模态机器学习开发效率。
Paf 在全公司采用 ChatGPT Enterprise,工程师利用自定义 GPTs 加速日常开发任务。该公司还将 ChatGPT Enterprise 集成至 grit:lab 编码学院,用于培训下一代软件开发者。目前 70% 的 Paf 员工活跃使用 ChatGPT Enterprise,覆盖财务、人力资源等业务团队。
Hugging Face 推出 BigCodeBench,包含 1,140 个函数级任务,覆盖 139 个库,平均分支覆盖率 99%。该基准旨在解决 HumanEval 任务过于简单及数据污染问题,通过 calibrated Pass@1 评估 LLM 在复杂真实场景下的代码生成能力。
Color Health 与 OpenAI 合作推出 Cancer Copilot,利用 GPT-4o 识别缺失诊断并生成定制化检查计划。该应用旨在加速癌症患者获取治疗,帮助医疗提供者基于证据做出筛查与治疗决策。
OpenAI 宣布任命退役美国陆军中将 Paul M. Nakasone 进入董事会,他将加入安全与安保委员会。Nakasone 将为不断扩大的董事会带来网络安全领域的专业经验。
Hugging Face Accelerate v0.30.0 引入自动上转功能,使 FSDP 在混合精度模式下对齐 DeepSpeed 的 fp32 主权重处理。该更新解决了 Mistral-7B 训练中因精度差异导致的收敛问题,并在 IBM Granite 7B 测试中实现两者相近吞吐量(FSDP 3158.7 tokens/sec/GPU vs DeepSpeed 3094.5)。
Stable Diffusion 3 Medium(2B 参数)已上线 Hugging Face Hub 并支持通过 🧨 Diffusers 库使用。该模型采用多模态扩散 Transformer (MMDiT) 架构和 Rectified Flow Matching 训练目标,引入了新的 FlowMatchEulerDiscreteScheduler 调度器。
推荐理由:官方给出了 SD3 Medium 的架构细节、显存优化方案及微调脚本,开发者可据此评估其在不同硬件上的部署可行性。
Hugging Face 在 TRL 库中引入了 RLOO (REINFORCE Leave One-Out) Trainer,作为 PPO 的替代方案用于在线 RLHF 训练。
推荐理由:原文提供了 RLOO 算法在 TRL 中的实现细节、显存节省数据及 bf16 精度下的数值稳定性问题,为在线 RLHF 训练提供了可复用的工程参考。
OpenAI 于 2024-06-10 通过官方渠道发布了一则新闻公告。当前材料仅包含标题和链接,未提供具体的产品更新、模型发布或业务细节。
OpenAI 宣布 Sarah Friar 出任首席财务官(CFO),Kevin Weil 出任首席产品官(CPO)。
OpenAI 深入解析其文本转语音模型 Voice Engine 的技术原理,并分享相关安全研究成果。该文章重点探讨了支撑这一语音合成技术的底层机制及相应的安全防护措施。
Hugging Face 宣布其 Amazon SageMaker Embedding Container 正式可用,支持在 SageMaker 上高效部署嵌入模型以构建 RAG 应用。该容器基于 Text Embedding Inference (TEI) 技术,兼容 BERT、RoBERTa 等架构及 Snowflake Arctic 等开源模型。
Hugging Face 计划重构 Transformers 文档,旨在解决因内容增量添加导致的导航困难与过时问题。新设计将面向开发者采用代码优先、解决方案导向的结构,并取代僵化的 Diátaxis 框架以实现有机扩展。此举意在整合文本、LLM 及优化等多模态内容,提供更统一的入门体验。
Artificial Analysis 推出基于人类偏好的文生图模型排行榜,利用超45,000次投票计算 ELO 分数。结果显示 Midjourney、DALL·E 3 HD 等专有模型领先,但 Playground AI v2.5 等开源模型正迅速追赶并超越部分闭源产品。用户可在 Hugging Face 参与 Image Arena,投满30票即可获取个性化排名。
OpenAI 发布了一项关于大语言模型内部机制的研究。该研究旨在深入理解模型的行为原理。
Mistral AI 在 la Plateforme 上推出模型定制功能,提供开源微调 SDK、无服务器微调服务及自定义训练服务三种入口。开发者可使用 mistral-finetune 代码库基于 LoRA 范式在自有基础设施上微调开源模型,或通过 API 调用 Mistral 7B 和 Mistral Small 的托管微调服务以降低成本并提升效率。
Mistral AI 宣布举办虚拟微调黑客松,参赛者需使用其新推出的 fine-tuning API 提交项目。活动时间为 6 月 5 日至 30 日,前 3 名获胜者各获 €2,500 API 积分,部分参与者可申请 $100 免费额度。
Hugging Face 联合 Cubzh 和 Gigax 发布 NPC-Playground,这是一个可在浏览器中直接体验的 3D 演示,允许用户与由大语言模型驱动的非玩家角色(NPC)进行交互。该工具利用 Phi-3 和 Mistral-7B 微调模型实现智能对话与动作执行,并支持通过 Lua 脚本自定义 NPC 技能。
Hugging Face 在 Optimum Habana 中为 Intel Gaudi 处理器适配并优化了辅助生成功能,利用推测采样技术实现文本生成加速。该方法通过草稿模型生成 token 并由目标模型验证,可为大型 Transformer 模型带来约 2 倍的推理速度提升,同时保持与自回归采样一致的输出质量。