亚利桑那州立大学利用 ChatGPT 实现个性化教育
亚利桑那州立大学在全校范围内采用 ChatGPT,旨在通过个性化学习、推进研究及培养学生未来能力来革新教育模式。
亚利桑那州立大学在全校范围内采用 ChatGPT,旨在通过个性化学习、推进研究及培养学生未来能力来革新教育模式。
Hugging Face Hub 推出 ZeroGPU、多进程 Docker、Gradio API、Webhooks 和 Nomic Atlas 五项功能,助力构建 AI 解决方案。ZeroGPU 基于 Nvidia A100 提供免费 GPU 配额,Nomic Atlas 支持语义搜索可视化。这些工具通过 Reddit 数据源案例演示了如何低成本实现自动更新的语义搜索应用。
Hugging Face Transformers 新增 DataCollatorWithFlattening,使 Flash Attention 2 支持无填充序列打包。该功能在 FLAN 数据集上实现 llama2-7B 等模型最高 2x 训练吞吐提升,峰值内存降低 20%,且保持收敛质量不变。
OpenAI 宣布 GPT-4o 现已支持微调。
Upwork 将 AI 技术整合到其平台中,以统一团队成员、运营流程和产品开发环节。这一举措旨在通过 AI 提升工作效率并优化协作体验。
Hugging Face 演示如何在 Google Cloud Vertex AI 上部署 Meta Llama 3.1 405B FP8 量化模型。该方案利用配备 8 张 H100 GPU 的 A3 节点及 Text Generation Inference (TGI) 容器,支持通过代码或 Hub 直接调用进行在线推理。
OpenAI 与全球最大求职网站 Indeed 合作,利用其技术实现上下文职位匹配。Indeed 每月拥有超过 3.5 亿独立访客、350 万雇主及 3200 万个职位,每三秒即有一人成功入职。
OpenAI 与大都会艺术博物馆服装学院合作,通过 AI 技术丰富“Sleeping Beauties: Reawakening Fashion”展览。该展览旨在利用人工智能的创造力与美学潜力,重新唤醒时尚经典作品,展示 AI 在提升生活美感方面的应用价值。
Hugging Face 团队分享了复现 Google Infini-attention 的实验结果,发现随着内存压缩次数增加,模型在长上下文任务中的性能显著下降且不可靠。
推荐理由:作者详细记录了复现Infini-attention的调试过程与失败原因,揭示了长上下文扩展中压缩记忆的性能瓶颈及收敛难点。
OpenAI 发布 SWE-bench Verified,这是经过人工验证的 SWE-bench 子集。该基准旨在更可靠地评估 AI 模型解决真实世界软件问题的能力。
ggml 是一个专注于 Transformer 推理的开源 C/C++ 机器学习库,被 llama.cpp、Ollama 等项目用于实现端侧 LLM。其核心优势在于极简主义(少于 5 个文件)、轻量级(二进制小于 1MB)及支持 x86_64、ARM、Apple Silicon 等多硬件后端。开发者需理解 ggml_context、ggml_cgraph 等底层概念以进行高效计算图调度与内存管理。
Technology Innovation Institute (TII) 发布了基于 Mamba 架构的 7B 参数大语言模型 Falcon Mamba,采用 TII Falcon Mamba 7B License 1.0 协议开源。
推荐理由:TII 在 Hugging Face 博客详细披露了 Falcon Mamba 的架构设计、训练数据及基准测试对比,展示了纯 SSM 模型在长序列处理上的效率优势。
Hugging Face 推出跨 Mistral、Cohere、NousResearch 和 Llama 等模型的统一工具调用 API,使同一套代码可移植且无需针对特定模型修改。
推荐理由:原文提供了跨模型统一的工具调用 API 实现细节与代码示例,开发者可直接复用该方案解决多模型适配难题。
Zico Kolter 正式加入 OpenAI 董事会,并进入安全与安保委员会。此举旨在通过引入 AI 安全与对齐领域的专业知识,进一步强化公司的治理结构。
Hugging Face 正式宣布收购西雅图初创公司 XetHub,旨在将其技术整合至 Hub 以替代 Git LFS 作为存储后端。XetHub 团队由前 Apple ML 基础设施成员组成,其核心技术支持 TB 级仓库的 chunked files 和去重功能,能显著减少如 Parquet 文件或 GGUF 模型更新时的重复上传量。
推荐理由:原文披露了收购动机及具体技术场景,读者可据此理解 Hugging Face 如何通过替换存储后端解决超大模型文件的版本管理痛点。
Rakuten 通过将数据与 API 配对,利用 AI 技术解锁客户洞察并创造商业价值。该举措旨在通过结合内部数据资源与外部接口能力,提升对用户需求理解及响应效率。
Mistral AI 在 La Plateforme 上线模型定制功能,支持对 Mistral Large 2 和 Codestral 进行微调。同时推出 Agents Alpha 版本,允许通过指令和示例构建自定义工作流。此外,mistralai 客户端 SDK 发布 1.0 稳定版,覆盖 Python 和 TypeScript。
OpenAI 宣布了一项新的产品功能更新。
Hugging Face 联合 Albumentations AI 发布 TextImage 数据增强管线,专为视觉语言模型微调设计。该多模态方法通过随机插入、删除或交换文本并同步修复图像背景,在保留语义的同时生成合成训练数据。开发者可通过 `albumentations` 库调用,支持 IDL 和 PDFA 数据集以解决小样本下的 OCR 精度问题。
Hugging Face 发布2024年安全功能概览,涵盖细粒度令牌、双因素认证及提交签名等默认防护机制。平台通过 ClamAV 和 picklescan 实现自动化恶意软件与密钥扫描,保障 Hub 用户资产安全。企业版额外提供 SSO 单点登录及资源组隔离等高级控制选项。
Google 在 Hugging Face 博客宣布扩展 Gemma 模型家族,新增 Gemma 2 2B、ShieldGemma 安全分类器和 Gemma Scope 稀疏自编码器套件。
推荐理由:原文详细展示了 Gemma 2 2B 在端侧部署与辅助生成中的具体用法,以及 ShieldGemma 和 Gemma Scope 的开源特性,为开发者提供了可落地的技术参考。
Hugging Face 官方博客发布教程,指导如何使用 Quanto 工具对 Diffusers 库中的 Transformer 架构扩散模型进行量化,以显著降低显存需求。
Hugging Face 联合 NVIDIA 推出基于 NIM 的 Serverless Inference API,支持 Enterprise Hub 用户通过 OpenAI 兼容接口调用 Llama、Mistral 等开源模型。该服务运行于 NVIDIA H100 GPU,采用按请求时长计费模式,例如 Meta-Llama-3-8B-Instruct 单次请求约 $0.0023。
OpenAI 正在测试 SearchGPT,这是一个提供快速及时答案及清晰相关来源的新搜索功能临时原型。该工具旨在通过整合实时信息源,提升用户获取准确信息的效率与体验。
Hugging Face 提出 LAVE(LLM-Assisted VQA Evaluation)指标,利用 Llama-2-Chat-7b 对 Docmatix 数据集进行零样本 VQA 评估。
Mistral AI 正式发布新一代大模型 Mistral Large 2,拥有 1230 亿参数并支持 128k 上下文窗口。该模型针对单节点推理优化,在多语言处理、代码生成及逻辑推理方面性能显著提升,并在 MMLU 等基准测试中达到新的高度。
推荐理由:官方公布 Mistral Large 2 的架构参数、多语言支持及在主流基准测试中的性能表现,为评估其成本效益和实际部署能力提供直接依据。
OpenAI 开发并应用了一种名为 Rule-Based Rewards (RBRs) 的新方法,旨在使模型在无需大量人工数据收集的情况下实现安全对齐。该方案通过基于规则的奖励机制优化模型行为,降低了对传统人类标注数据的依赖。
Hugging Face 正式上架 Meta 发布的 Llama 3.1 系列模型,包含 8B、70B 和 405B 三种尺寸的基座与指令微调版本,以及 Llama Guard 3 和 Prompt Guard 安全模型。
推荐理由:原文详细列出了 Llama 3.1 各尺寸模型的显存需求、量化方案及微调代码,为开发者评估部署成本和集成路径提供了具体参考。
Hugging Face 发布教程,指导开发者利用 WWDC 24 引入的 Core ML 新特性在 Mac 上运行 Mistral 7B 模型。通过 Swift Tensor、Stateful Buffers 和块量化技术,该方案能将 70 亿参数模型的内存占用降至 4GB 以下。
推荐理由:原文详细演示了利用WWDC 24新特性将Mistral 7B转换为Core ML模型并实现端侧高效推理的完整流程。
OpenAI 发布了 GPT-4o mini。
Mistral AI 发布 Mistral NeMo,这是一款与 NVIDIA 合作开发的 12B 参数模型,拥有高达 128k tokens 的上下文窗口。该模型在推理、世界知识和编码准确性方面在其尺寸类别中处于领先地位,并作为 Mistral 7B 的即插即用替代品提供预训练基座和指令微调检查点,采用 Apache 2.0 许可证。
推荐理由:Mistral NeMo 作为 Mistral 7B 的即插即用替代方案,提供了 128k 上下文窗口和 Apache 2.0 许可,适合需要多语言支持和高效代码压缩的研究者与开发者。
OpenAI 为 ChatGPT Enterprise 推出 Compliance API 集成、SCIM 及 GPT controls 等合规与管理工具。这些新功能旨在支持大规模环境下的合规计划、数据安全及用户访问控制,帮助企业更好地管理企业级 AI 应用的安全与权限。
Hugging Face 推出 Docmatix,包含 240 万张图像和 950 万组问答对,规模是现有 DocVQA 数据集的 240 倍。该数据由 PDFA 经 Phi-3-small 生成并过滤幻觉后构建。实验显示,用其微调 Florence-2 模型可使 DocVQA 性能提升约 20%,且 0.7B 参数版本表现仅比 8B Idefics2 低 5%。
Hugging Face 为 Text Generation Inference (TGI) 推出 Multi-LoRA serving 功能,支持在单次部署的基础模型上动态加载并服务多达 30 个 LoRA 适配器。
推荐理由:TGI 新增 Multi-LoRA 功能,允许在单一基础模型部署中动态加载多个微调适配器,显著降低多模型服务的运维成本与复杂度。
OpenAI 研究表明,Prover-Verifier Games 能显著提升语言模型输出的可读性。该方法使 AI 解决方案对人类和机器而言更清晰、更易验证且更具可信度。
Mistral AI 推出 Mathstral,该模型基于 Mistral 7B 构建,专攻 STEM 领域复杂逻辑推理。Mathstral 在 MATH 基准测试中得分 56.6%,MMLU 得分 63.47%;结合多数投票机制后,MATH 分数提升至 68.37%。
Mistral AI 发布了 Codestral Mamba,这是继 Mixtral 系列后探索新架构的又一成果。该模型由 Albert Gu 和 Tri Dao 协助设计,利用 Mamba 架构实现线性时间推理和无限长度序列建模的理论能力。
推荐理由:Mistral AI 发布了基于 Mamba 架构的 Codestral Mamba,该模型在代码生成和推理能力上可与 SOTA Transformer 模型媲美,且支持线性时间推理。
Hugging Face 推出 SmolLM 系列小语言模型,包含 135M、360M 和 1.7B 三种参数规模,并同步开源了用于训练的 SmolLM-Corpus 数据集。
推荐理由:官方开源了SmolLM系列小模型及其高质量训练语料,展示了在端侧设备上的优异性能与数据构建细节。
Hugging Face 利用 distilabel 生成合成数据,微调领域专用嵌入模型以构建 Argilla 2.0 Chatbot。该流程包括将技术文档分块、创建向量数据库,并将应用部署至 Hugging Face Spaces。
Numina 与 Hugging Face 联合团队凭借 NuminaMath 7B TIR 模型赢得首届 AI 数学奥林匹克(AIMO)进步奖,在私有测试集上解出 29/50 道题。