Hugging Face 阐述 TensorFlow 集成 Keras 的设计哲学
Hugging Face 强调在 TensorFlow 中应优先使用 Keras 高层 API,而非绕过它。通过 `TFAutoModel` 等类,用户可一行代码加载 BERT、ViT 等预训练模型并应用迁移学习。该策略旨在利用 `tf.data` 和 Keras 生态简化模型构建与训练流程。
Hugging Face 强调在 TensorFlow 中应优先使用 Keras 高层 API,而非绕过它。通过 `TFAutoModel` 等类,用户可一行代码加载 BERT、ViT 等预训练模型并应用迁移学习。该策略旨在利用 `tf.data` 和 Keras 生态简化模型构建与训练流程。
Hugging Face 展示了如何使用 Docker 和 Kubernetes 扩展 🤗 ViT 模型的 TensorFlow Serving 本地部署。该方案通过容器化 SavedModel 并配置 gRPC 请求处理,实现了支持多用户的高可用服务架构。
Hugging Face 指出该教程已过时,当前应使用 `SentenceTransformerTrainer` API。文中演示了基于 `distilroberta-base` 构建模型及加载 `all-MiniLM-L6-v2` 进行微调的方法。相比原生 BERT,Sentence Transformers 将万句语义搜索耗时从约 65 小时降至 5 秒。
Hugging Face 在深度强化学习课程中详解 Proximal Policy Optimization (PPO) 算法,通过裁剪概率比率至 [1−ϵ,1+ϵ] 范围限制策略更新幅度以提升训练稳定性。文章对比了 TRPO 方法,并指导使用 PyTorch 从零构建 PPO Agent,在 CartPole-v1 和 LunarLander-v2 环境中验证实现效果。
Hugging Face 发布 Private Hub,提供从研究到生产的安全合规统一工具集,解决约 90% 模型无法投产及内部重复开发痛点。该方案整合了拥有 60K+ 模型、6K 数据集和 6K 应用的 Hugging Face Hub,支持 Git 版本控制与组织协作。注:2023 年 6 月该产品已更名为 Enterprise Hub,转为 SaaS 托管服务并停止私有化部署。
Nyströmformer利用Nyström方法将Transformer自注意力的复杂度从O(n²)降至O(n)。该模型通过查询和键的段均值采样32或64个landmarks来近似softmax矩阵,在长序列(n=4096或8192)上保持与标准自注意力相当的竞争力性能。
Hugging Face 向白宫科技政策办公室和 NSF 提交关于 NAIRR 实施路线图的回应,支持其努力并提出五项建议。核心主张包括任命具备伦理创新记录的技术专家为顾问、采用 Model Cards 等文档标准、通过 AutoTrain 等低代码工具降低使用门槛、监控开源滥用风险以及提供多语言资源以赋能跨学科研究者。
Hugging Face 为 🤗 Datasets 库发布音频和图像数据集的新文档,更新 Quickstart 并引入 `to_tf_dataset` 函数以简化 TensorFlow 数据加载。新增的 `ImageFolder` 构建器允许用户无需编写脚本即可通过文件夹结构直接加载图像分类、描述及目标检测数据集。
🤗 transformers 库现已支持使用 XLA 编译 TensorFlow 文本生成模型,速度提升高达 100x,甚至快于 PyTorch。该功能基于 GPT-2 等模型演示了采样、Beam Search 及温度控制等生成策略,需 transformers >= 4.21.0 版本。
Hugging Face 团队演示如何利用 TF Serving 本地部署 Vision Transformer (ViT) 图像分类模型,支持 REST 和 gRPC 端点。
Hugging Face 在深度强化学习课程中介绍 Advantage Actor Critic (A2C),该混合架构结合基于策略的 Actor 和基于价值的 Critic,旨在解决 Reinforce 算法因蒙特卡洛采样导致的高方差问题。
Hugging Face 博客以 MNIST 手写数字识别为例,演示了动态对抗数据收集(DADC)流程。通过 🤗 Spaces 让用户绘制数字欺骗模型并标记样本,再将其用于重新训练以提升鲁棒性。文中展示了基于 PyTorch 的卷积网络配置及 Gradio 内置的 flagging 回调功能。
Hugging Face 公布 176B 参数多语言模型 BLOOM 的训练工程细节。该模型基于 GPT3 架构,在 Jean Zay 超算上利用 384 张 NVIDIA A100 80GB GPU,通过 Megatron-DeepSpeed 框架耗时 3.5 个月完成训练。项目处理了涵盖 46 种语言的 350B tokens 数据集,实现了大规模分布式并行训练的技术突破。
基于 `sentence-transformers/msmarco-MiniLM-L-6-v3` 模型将歌词按段落分块并生成嵌入向量,通过语义搜索匹配提示词以构建歌单。利用 Gradio Blocks API 封装多步交互应用并托管于 Hugging Face Spaces,实验显示设置 `top_k=20` 时通常能获取至少 9 首不同歌曲。
Hugging Face 联合 BigScience 项目正式发布拥有 176 billion 参数的多语言大模型 BLOOM,支持生成 46 种自然语言和 13 种编程语言文本。
推荐理由:原文披露了BLOOM的176B参数规模、多语言能力及训练透明度细节,为研究者提供了评估大规模开源模型性能与内部机制的具体基准。
Hugging Face 发布 Twitter 情感分析指南,介绍如何利用 Inference API 对推文进行正负中性分类。该方案支持通过 Tweepy 获取数据并实时处理,旨在帮助企业规模化监测品牌舆情与用户反馈。
Hugging Face 发布深度强化学习课程第5单元,讲解如何使用 PyTorch 从零实现 Reinforce 算法。该策略梯度方法直接优化策略而非价值函数,支持随机策略并适用于高维或连续动作空间。文章对比了其与 Deep Q-Learning 的优劣,并在 CartPole-v1、PixelCopter 和 Pong 环境中测试其鲁棒性。
Hugging Face 发布教程指导新手利用 Sentence Transformers 库完成首个机器学习项目。该库能将文本转化为向量,通过余弦相似度实现语义搜索与聚类,GitHub 星标近 8000。文章分享了从头脑风暴到数据源选择的实战策略,帮助开发者快速上手嵌入模型应用。
Hugging Face Accelerate 库通过集成 DeepSpeed ZeRO 技术,允许用户在不修改代码的情况下启用 Stage-2 优化。在 DeBERTa-XL (900M) 微调任务中,该方法将单 GPU 最大批次大小从 DDP 的 8 提升至 40,实现约 3.5 倍训练速度提升且无性能损失。
Hugging Face 发布 Evaluation on the Hub,利用 AutoTrain 让用户在 Hub 上对任意模型和数据集进行零代码评估。该工具将结果直接编码至模型卡片元数据,并通过 Pull Request 自动更新已验证性能。它支持查找最佳模型、在新数据集上运行基线及跨数据集评估,旨在解决 AI 领域的评估危机并提升可复现性。
Hugging Face 发布教程,指导用户利用 `sentence-transformers/all-MiniLM-L6-v2` 模型和 Inference API 将文本或图像转换为数值向量。通过计算向量距离实现语义搜索,该方案支持免费托管至 Hub,适用于构建 FAQ 引擎等应用,无需深厚机器学习背景即可快速上手。
Hugging Face 提供 torch.onnx、transformers.onnx 和 Optimum 三种方式将 Transformers 模型导出为 ONNX。
Intel 正式加入 Hugging Face 硬件合作伙伴计划,双方合作推出开源库 Optimum Intel,旨在简化 Transformers 模型的训练、微调和推理加速。
Hugging Face 推出《Director of ML Insights》系列第三篇,聚焦金融领域的机器学习实践。文章汇集了来自 U.S. Bank、RBC、Moody's Analytics 及 Bloomberg AI 前研究员等专家的观点,深入探讨金融机构在遗留系统迁移、模型可解释性及监管合规方面面临的独特挑战。
Hugging Face 博客深入解析 Denoising Diffusion Probabilistic Models (DDPM),基于 Phil Wang 的 PyTorch 实现逐步演示代码。文章涵盖前向加噪与反向去噪过程,采用 T=1000 时间步及正弦位置编码,并介绍 Wide ResNet 块与 Group Normalization 等核心组件。
Hugging Face 在深度强化学习课程中讲解 Deep Q-Learning,利用神经网络近似 Q 值以解决 Space Invaders 等 Atari 环境巨大的状态空间问题。该算法通过预处理将输入降维至 84x84 灰度并堆叠 4 帧,结合 RL-Zoo 框架进行训练与评估。
Graphcore 与 Hugging Face 扩展 Optimum 库,新增支持 IPUs 的 10 个 Transformer 模型。涵盖 NLP、语音和计算机视觉领域,包括 ViT、GPT-2、RoBERTa、DeBERTa、BART、LXMERT、T5、HuBERT 和 Wav2Vec2。这些模型提供预训练权重及 IPU 配置文件,优化在 Graphcore IPU 上的性能表现。
Hugging Face Hub 正式上线 Pull Requests 和 Discussions 功能,支持模型、数据集和 Spaces 仓库的社区协作。该更新无需创建 fork,贡献者直接向源仓库的特殊 ref 分支推送代码,简化了机器学习项目的版本管理流程。
TAPEX 通过在学习神经 SQL 执行器时使用合成数据,解决了表格预训练中真实数据稀缺与效率低下的问题。该模型在 WikiSQL、WikiTableQuestions 等四个基准测试中均取得 SOTA 成绩,其中 WikiSQL 弱监督准确率提升至 89.6%。
Hugging Face 发布深度强化学习课程第二部分,详解 Q-Learning 算法并指导从零构建智能体。该 off-policy 方法利用 TD 更新动作价值函数,通过 Epsilon Greedy 策略平衡探索与利用。学员将在 Frozen Lake v1 和自动驾驶出租车环境中训练首个 RL 智能体,为后续 Deep Q-Learning 奠定基础。
Sempre Health 借助 Hugging Face Expert Acceleration Program 部署 NLP 管道,实现超 20% 入站消息自动处理。该方案替代了仅覆盖 80% 消息的规则系统,显著提升了业务可扩展性与团队工作流效率。
Hugging Face 多模态学习小组于2022年5月发布伦理宪章,将道德原则纳入机器学习生命周期核心。该文档明确了禁止生成有害内容、偏见及侵犯隐私等使用限制,并倡导透明、开放可复现、公平及自我批判的价值观。
Hugging Face 发布深度强化学习课程第二部分,聚焦基于价值的方法与 Q-Learning。内容涵盖状态-动作值函数、Bellman 方程及蒙特卡洛与时序差分学习的区别。该教程旨在帮助初学者从零实现 Q-Learning 智能体,为后续 Deep Q-Learning 打下基础。
Hugging Face 研究科学家 Sasha Luccioni 在播客中分享其致力于机器学习模型伦理与社会影响的工作。她担任 Big Science Workshop 碳足迹工作组联合主席,探讨如何量化包括邮件在内的 AI 环境影响及数据策展的重要性。
Hugging Face 推出 Fellowship 计划,旨在赋能开源机器学习生态系统的杰出贡献者。该计划通过提名制招募,提供计算资源、官方认可及物资支持,不建立雇佣关系。首批 Fellow 包括 María Grandury 等推动多语言 SOTA 模型与社区建设的核心贡献者。
Hugging Face 正式发布 Gradio 3.0,对库进行了底层重新设计。新版本采用 Svelte 重构前端以提升加载速度,并推出低层级语言 Gradio Blocks,允许开发者在 Python 中直接构建具有复杂布局和灵活数据流的自定义 Web 应用。此外,官方还启动了 Gradio Blocks Party 竞赛以推广新功能。
推荐理由:原文介绍了 Gradio 3.0 的前端重构与新增 Blocks API,开发者可据此评估构建复杂自定义 Web 应用的能力变化。
Hugging Face Blog 推出《机器学习总监洞察》系列第二篇,聚焦 SaaS 行业。文章收录 Salesforce、Amplitude 等公司 ML 总监观点,探讨 NLP 工单路由、预测性维护及数据孤岛等挑战。内容强调业务场景优先于算法选择,并分享医疗与交通领域的 AI 应用前景。
Hugging Face 开放首个学生大使计划申请,旨在推动机器学习民主化。申请人须为在读学生且至少修过一门机器学习或数据科学课程,并是 Hugging Face Hub 或库的用户。申请截止日期为 2022 年 6 月 13 日,项目将于 6 月 30 日启动至 12 月 31 日结束,入选者将获得官方认证、资源支持及社区协作机会。
Hugging Face 发布 Optimum 1.2,新增对 ONNX Runtime 及 Transformers pipelines 的推理支持。用户可通过替换 `AutoModelForXxx` 为 `ORTModelForXxx` 类无缝切换至加速运行时,并集成量化与图优化工具以提升模型效率。
Hugging Face 宣布完成由 Lux Capital 领投的 1 亿美元 C 轮融资,Sequoia、Coatue 等机构参投。该平台目前托管超过 10 万个预训练模型和 1 万个数据集,已有逾 1 万家企业使用其服务。新资金将用于加倍投入研究、开源项目及 AI 的负责任民主化,团队规模在过去一年已从 30 人扩张至 120 多人。