fastai 模型现支持一键上传至 Hugging Face Hub
fastai 用户可通过 `push_to_hub_fastai` 函数将模型上传至 Hugging Face Hub。该集成利用 `huggingface_hub` 库实现,支持通过 `from_pretrained_fastai` 加载共享模型。
fastai 用户可通过 `push_to_hub_fastai` 函数将模型上传至 Hugging Face Hub。该集成利用 `huggingface_hub` 库实现,支持通过 `from_pretrained_fastai` 加载共享模型。
Hugging Face 发布免费“深度强化学习课程”第一章,讲解 Deep RL 理论及 Stable Baselines3、RLlib 等库的使用。学员可训练代理在 SnowballFight、Space Invaders 等环境交互,并通过一行代码将模型上传至 Hub。
Hugging Face Accelerate 库现已支持 PyTorch FullyShardedDataParallel (FSDP),无需修改代码即可利用其特性。
文章演示了结合 Kili 标注平台与 HuggingFace AutoTrain 构建文本分类的主动学习流程。以 Medium 应用商店约 40130 条用户评论为例,通过定义订阅、内容等类别进行数据清洗与模型训练。该方案利用 AutoTrain 自动化超参数优化及 SOTA Transformer 模型生成,实现高效的用户情感分析。
Hugging Face 联合 Habana Labs 推出基于 Habana Gaudi 的 Transformers 训练方案,其价格性能比最新 GPU EC2 实例提升最高 40%。
Hugging Face 通过模拟真实客服场景,展示如何利用其生态工具解决自动化问题。文章将筛选不满意客户消息定义为文本分类任务,并指导用户从 Hub 中挑选如 Amazon reviews multi 等合适数据集进行模型训练。
Hugging Face 发布面向大众、初学者及教师的教育计划,旨在通过开源工具降低机器学习门槛。该计划提供免费 NLP、深度强化学习等课程及多语言教学工具箱,并设定了到2023年底教会500万人机器学习的目标。
Hugging Face Hub 推出 `emissions_threshold` 参数,支持按训练碳排放量筛选模型。用户可通过 `codecarbon` 集成自动记录 `transformers` 训练过程中的 CO2 数据并生成报告。该功能旨在提升机器学习领域的透明度,帮助用户基于碳足迹选择环保模型。
Hugging Face 工程师 Lewis Tunstall 在播客中分享其合著书籍《NLP with Transformers》及开源贡献经历。他介绍了利用 ONNX 格式导出 PyTorch 模型以优化推理延迟和提升吞吐量的技术实践。Lewis 还回顾了从理论物理学家转型 ML 工程师并参与 transformers 库开发的职业历程。
Habana Labs 与 Hugging Face 宣布合作,通过集成 SynapseAI 软件套件与 Optimum 开源库,使开发者仅需少量代码即可在 Gaudi 处理器上加速 Transformer 模型训练。Habana Gaudi 解决方案提供比同类方案低 40% 的性价比,并支持从单卡到数千卡的系统扩展。该合作旨在为自然语言处理、计算机视觉等任务提供更高效、易用的训练工具集。
Hugging Face Transformers 库刻意违背“不要重复自己”(DRY)原则,转而采用“单模型文件策略”,将模型前向传播所需的所有代码集中在一个文件中。这一设计旨在降低开源社区贡献门槛、提升代码可读性,并适应机器学习领域快速演进且模型架构静态的特性,避免中心化抽象带来的维护复杂性。
Hugging Face 宣布将离线强化学习方法 Decision Transformer 集成至 🤗 transformers 库和 Hub。该模型基于 GPT-2 架构,通过序列建模生成动作以达成目标回报。目前提供 Gym 环境中 Hopper、Walker2d 和 Halfcheetah 任务的九个预训练检查点。
Hugging Face 研究员 Margaret Mitchell 在播客中分享其从 Google 伦理 AI 团队到 HF 的经历,强调数据偏见对模型输出的影响。她指出视觉语言模型因训练数据偏差可能将爆炸场景误判为美景,呼吁 ML 团队建立包容性文化并完善伦理评估协议。
Hugging Face 推出为期 9 个月的 AI 研究驻留项目,旨在培养具有社会影响力的机器学习研究人员。参与者将与科学团队合作,以开放协作方式开发新技术并发表论文。该项目仅接受全职申请,无需搬迁,截止日期为 2022 年 4 月 3 日。
本指南演示如何使用 🤗 transformers 库微调 SegFormer 模型,以构建披萨配送机器人的视觉系统。通过加载 segments/sidewalk-semantic 数据集并应用 ColorJitter 数据增强,模型能精准识别人行道像素及障碍物。
Hugging Face datasets 库新增图像特征类型,支持结合 sentence_transformers 和 faiss 构建图像搜索应用。该方案利用 ImageFolder 加载器直接读取图像数据集,并通过 faiss 索引实现高效相似度检索,扩展了此前主要面向文本的数据处理能力。
Hugging Face 与 AWS 合作,利用 AWS Inferentia 芯片加速 BERT 等 Transformer 模型推理。该方案相比 GPU 实例可降低高达 80% 的单次推理成本并提升 2.3 倍吞吐量。
🤗 Transformers 新增约束束搜索功能,允许在文本生成中强制包含特定词组或满足析取约束。该特性通过 `force_words_ids` 等参数实现,解决了传统束搜索无法精准控制输出内容的问题,提升了神经机器翻译等任务的可控性。
Google AI 于 2018 年开发 BERT,利用 Transformer 架构和双向编码解决 11+ 种常见 NLP 任务。该模型在 3.3B 词数据上训练,使用 64 个 TPU 耗时 4 天完成。DistilBERT 等轻量版运行速度提升 60%,保持超 95% 性能。
Hugging Face 展示利用 🤗 datasets 加载 beans 数据集,并通过 🤗 transformers 微调预训练模型 google/vit-base-patch16-224-in21k。该流程使用 ViTImageProcessor 将图像转换为张量输入,实现 Vision Transformer (ViT) 在图像分类任务上的应用。
Hugging Face 发布 Python 情感分析入门指南,展示如何通过 `transformers` 库的 `pipeline` 类在 5 行代码内调用预训练模型。Hub 上提供超 215 个情感分析模型,支持多语言及 Twitter、产品评论等场景,用户可直接使用或基于自有数据微调构建专属模型。
Hugging Face 介绍利用 CTC 架构的 stride 分块技术,解决 Wav2Vec2 处理长音频时的内存溢出问题。通过 `chunk_length_s` 和 `stride_length_s` 参数实现重叠推理并丢弃边缘 logits,可在有限硬件上对任意长度文件或实时流进行高质量 ASR。
huggingface_hub 库引入 ModelSearchArguments 和 ModelFilter 类,旨在降低在 Hugging Face Hub 上通过 API 搜索模型和数据集的门槛。ModelSearchArguments 提供人类可读的参数映射以消除格式猜测,而 ModelFilter 支持处理包含多任务、多数据集及多框架兼容性的复杂查询组合。
Hugging Face 将 PyTorch 深度强化学习库 Stable-Baselines3 集成至 Hugging Face Hub,支持用户托管和加载社区模型。开发者可通过 `huggingface_hub` 和 `huggingface_sb3` 库轻松下载如 PPO 等预训练智能体或上传自训模型。后续计划扩展 RL-baselines3-zoo 并集成其他强化学习库。
Hugging Face Infinity 容器化方案在 Amazon EC2 C6i(Intel Ice Lake)实例上运行 DistilBERT,相比 vanilla transformers 实现最高 800% 的延迟与吞吐量提升。该方案支持特征提取、排序等任务,通过端到端优化管道降低 Transformer 模型部署成本。
🤗 Transformers 现已支持通过 Kensho Technologies 的 pyctcdecode 库,将微调后的 Wav2Vec2 模型与 n-gram 语言模型结合进行音频解码。该功能解决了此前缺乏简单用户界面以利用外部语言模型提升转录准确性的问题,特别适用于仅使用少量标注数据(如 10 分钟)训练的场景。
通过 `torch.save`/`load` 替代默认加载方式,GPT-J 6B 在 Amazon SageMaker 上的模型加载时间从 83 秒降至 7.7 秒,提速约 10.5 倍。该优化使模型能在 SageMaker 的 60 秒请求限制内完成实时推理,解决了大语言模型生产环境部署难题。
Hugging Face 展示如何利用 AutoNLP 和 Prodigy 搭建主动学习管线。AutoNLP 支持零代码训练 SOTA 模型,在 BBC News 数据集上实现 98.67% 准确率,单模型成本低至 $10。Prodigy 用于实时标注 NER 数据,配合脚本转换格式后迭代优化模型。
Hugging Face 正式收购开源机器学习演示库 Gradio。Gradio 联合创始人 Abubakar Abid 表示,此次合作旨在进一步降低机器学习门槛,让任何拥有浏览器的人都能轻松构建、分享和使用模型演示。自 2019 年发布以来,Gradio 已支持创建超过 30 万个演示项目,覆盖文本、语音和视频等领域。
Hugging Face 宣布将 Perceiver IO 加入 Transformers 库,这是首个支持文本、图像、音频、视频和点云等多种模态及其组合的 Transformer 基神经网络。该模型通过在潜在变量上执行自注意力机制,解决了传统 Transformer 在高维数据上的计算和内存扩展性限制。文中展示了其在光学流预测、图像分类及多模态自动编码等任务中的具体实现代码与性能表现。
Hugging Face 发布教程,指导用户从零开始训练名为 CodeParrot 的 Python 代码生成模型。该模型基于 GPT-2 large 架构(1.5B 参数),利用清洗后的 50GB GitHub Python 数据集进行训练。通过自定义 Tokenizer 和 🤗 Accelerate 库,开发者可复现类似 GitHub Copilot 的代码自动补全功能。
Hugging Face 发布首个基于 Unity ML-Agents 的深度强化学习环境 Snowball Fight,该游戏已托管于 Hugging Face Spaces。团队计划构建开源生态,支持自定义环境的创建、模型保存与分享,并即将推出采用 MA-POCA 算法的 2vs2 协作版本及更多教程。
Hugging Face 推出开源库 Optimum,支持在 Graphcore IPU 上加速 Transformer 模型。该方案通过 PopTorch 实现 BERT 等模型的训练与微调,显著降低推理延迟。开发者可利用 `optimum[graphcore]` 包及示例代码快速部署 SQuAD 问答任务。
Hugging Face 发布开源 Python 库及无代码界面 Data Measurements Tool,基于 Dataset 和 Spaces Hub 与 Streamlit 构建。该工具支持自动计算词汇分布、标签平衡度及 Zipf 定律符合度等指标,帮助用户交互式地理解、构建、整理和比较 NLP 数据集。
Hugging Face 展示如何利用 Intel Xeon Scalable CPU、Intel extension for PyTorch 及 oneCCL 库,在 Ice Lake 架构服务器上加速 PyTorch 分布式训练。该方案通过 BERT 模型在 MRPC 数据集上的微调实验,验证了从单节点扩展至多节点集群时的性能提升与成本优化潜力。
Hugging Face 发布教程,演示如何使用 🤗 Transformers 微调 XLS-R(Wav2Vec2-XLS-R-300M)进行低资源自动语音识别。该模型基于近50万小时128种语言数据预训练,参数规模达3亿至20亿。教程以 Common Voice 数据集为例,采用 CTC 算法和 WER 指标评估,展示了从数据准备到 Hub 上传的完整流程。
Hugging Face 详解利用 Intel oneAPI、oneDNN 及 IPEX 等软件栈优化 BERT 类模型在 Ice Lake Xeon CPU 上的推理性能。Ice Lake 相比 Cascade Lake 在 NLP 任务中实现最高 75% 的推理加速,通过集成 MKL 与 OpenMP 提升计算效率。
Hugging Face 将于11月15日发布课程第二部分,涵盖 token 分类、语言建模等 NLP 任务。配套社区活动包含两天讲座与团队项目,参与者可构建模型演示并获得证书。AWS 通过 Amazon SageMaker 提供免费算力支持该活动。
Microsoft 和 NVIDIA 推出的 Megatron-Turing NLG 530B 模型需近 $100 million 基础设施且能耗巨大,Hugging Face 认为其性价比低。文章主张采用预训练、微调及小型化策略,如 DistilBERT 保留 97% 性能但体积减小 40%,T0 模型比 GPT-3 小 16 倍却表现更优。
Hugging Face 在“用 10 亿训练对训练最佳句子嵌入模型”项目中开发了 state-of-the-art 句子嵌入模型。该项目利用 7 个 TPU v3-8 和 JAX/Flax 框架,采用对比学习及 Multiple Negative Ranking Loss 进行训练。通过优化批次大小、引入 hard negatives 及使用缩放余弦相似度,显著提升了模型性能。