Google Research 提出 Diffusion Controller 框架统一 AI 图像生成控制
Google Research 推出 Diffusion Controller 框架,将扩散模型去噪过程重构为连续控制问题以统一引导与微调。该框架通过轻量级“转向阻尼器”网络动态调整生成轨迹,在保持基础模型画质稳定的同时精准对齐用户意图。实验显示其完全解锁版本对基线模型取得 90% 胜率,有效解决黑盒模型难以精细控制的痛点。
Google Research 推出 Diffusion Controller 框架,将扩散模型去噪过程重构为连续控制问题以统一引导与微调。该框架通过轻量级“转向阻尼器”网络动态调整生成轨迹,在保持基础模型画质稳定的同时精准对齐用户意图。实验显示其完全解锁版本对基线模型取得 90% 胜率,有效解决黑盒模型难以精细控制的痛点。
Hugging Face Diffusers现已原生支持Nunchaku Lite,允许用户通过简单的from_pretrained()调用直接加载4-bit量化的扩散模型检查点,无需本地CUDA编译或单独的推理库。
推荐理由:Diffusers原生支持Nunchaku 4-bit推理,无需本地编译即可加载量化检查点,显著降低显存占用并提升速度。
Google Research 在 ICLR 2026 论文中揭示,扩散模型的“创造力”并非随机现象,而是神经网络训练中的“分数平滑”效应所致。该机制使去噪过程在训练数据点之间进行插值,从而生成新颖且合理的数据样本。
Google DeepMind 正式发布 Nano Banana 2 Lite 和 Gemini Omni Flash,并在 Google AI Studio、Gemini API 及 Gemini Enterprise Agent Platform 向开发者开放。
推荐理由:官方同步开放两款新模型的开发者接口,明确了各自的延迟、成本及能力边界,为构建图文视频混合工作流提供了具体选型依据。
Hugging Face 开源代码展示如何在 24 小时内以约 $1500 算力成本训练文生图模型。该方案结合像素空间 x-prediction、LPIPS/DINOv2 感知损失及 TREAD Token 路由技术,无需 VAE 即可在 512px/1024px 分辨率下高效收敛。
Google DeepMind 发布最新图像生成模型 Nano Banana 2(即 Gemini 3.1 Flash Image),旨在以 Flash 级别的速度提供接近 Pro 版本的智能与视觉质量。
推荐理由:原文详细列出了新模型在速度、世界知识及创作控制上的具体能力升级,并明确了其在 Google 全系产品中的部署范围。
Google DeepMind 正式推出 Nano Banana Pro(即 Gemini 3 Pro Image),这是一款基于 Gemini 3 Pro 构建的高保真图像生成与编辑模型。
推荐理由:官方详细说明了新模型在文本渲染、物理控制及搜索接地方面的能力升级,并给出了开发者接入路径。
Google DeepMind 推出基于 Gemini 3 Pro 的新一代图像生成与编辑模型 Nano Banana Pro (Gemini 3 Pro Image)。
推荐理由:原文详细列出了新模型在文本渲染、多图融合及推理能力上的具体升级,并明确了各产品线与订阅层级的开放入口。
Claude 通过 MCP Server 连接 Hugging Face Spaces,利用 ZeroGPU 免费额度调用 FLUX.1 Krea [dev] 和 Qwen-Image 模型生成高质量图像。FLUX.1 Krea [dev] 擅长消除 AI 痕迹以呈现自然真实感,Qwen-Image 则在文本渲染方面表现优异。用户需在设置中添加对应工具并启用自定义连接器即可使用。
Hugging Face 发布指南,演示如何使用 diffusers 库通过 QLoRA 在单张 GPU(峰值显存约 9GB)上微调 FLUX.1-dev 模型。
推荐理由:原文提供了在消费级显卡上微调 FLUX.1-dev 的完整代码与显存优化策略,读者可据此复现低资源环境下的风格迁移训练。
Hugging Face Blog 发布文章,详细评测了 bitsandbytes、torchao、Quanto、GGUF 和 FP8 Layerwise Casting 等量化后端在 Flux-dev 模型上的性能表现。
推荐理由:原文对比了多种量化后端在显存占用和推理速度上的具体表现,并给出了结合CPU卸载等技术的选型建议。
Hugging Face 推出 SegMoE 框架,允许用户通过替换 Stable Diffusion 中的 Feed-Forward 层来从零开始创建混合专家(MoE)扩散模型。
ONNX Runtime 通过 CUDA 和 TensorRT 执行提供程序显著加速 SD Turbo 和 SDXL Turbo 在 NVIDIA GPU 上的推理。测试显示其吞吐量相比 PyTorch 最高提升 229%,且支持 C# 和 Java 等非 Python 语言调用。用户可通过 Hugging Face 获取由 Olive 优化的模型版本以体验性能增益。
Hugging Face 发布教程指导用户将复杂的 ComfyUI 工作流转换为简单的 Gradio 应用,并部署在 Hugging Face Spaces 的 ZeroGPU 架构上以实现免费的无服务器运行。
推荐理由:原文提供了将 ComfyUI 工作流转换为 Gradio 应用并部署到 Hugging Face Spaces ZeroGPU 的完整步骤,读者可以据此实现免费服务器端推理。
Hugging Face 发布了名为 aMUSEd 的高效非扩散文本到图像模型,这是 Google MUSE 的开源复现版本。该模型采用掩码图像建模方法,参数量仅约 800M,支持零样本图像修复,并已在 diffusers 库中集成。用户可通过 LoRA 在 7GB 显存下完成微调,模型遵循 OpenRAIL 许可证允许商业使用。
推荐理由:原文给出了基于掩码建模的非扩散架构细节及低显存微调方案,读者可据此评估其在推理效率与端侧部署上的实际潜力。
Hugging Face 推出 Latent Consistency Models (LCM) LoRAs,允许在 Stable Diffusion XL 和 SD v1.5 等模型上通过仅 4-8 步推理实现高质量图像生成,显著加速过程(如 M1 Mac 上从约 60 秒降至 6 秒)。
推荐理由:提供了将LCM LoRA应用于SDXL等模型的具体代码与基准测试,展示了如何在保持画质的前提下大幅降低推理步数并提升生成速度。
Hugging Face Diffusers 现已支持通过 JAX 在 Google Cloud TPU v5e 上运行 Stable Diffusion XL,实现高性能且低成本的推理。
Hugging Face 教程展示如何通过 fork 并配置 AI Comic Factory,利用 Inference API 部署私有空间以消除排队等待。该应用基于 NextJS,需 PRO 账户访问 Llama-2 和 SDXL 1.0 模型,通过设置环境变量将语言与图像引擎指向 INFERENCE_API。目前该集成处于早期阶段,SDXL refiner 等部分功能尚未支持。
Hugging Face 发布指南,演示如何利用 `trl` 库中的 `DDPOTrainer` 对 Stable Diffusion 进行强化学习微调。该方法基于 Denoising Diffusion Policy Optimization (DDPO),将去噪过程建模为多步马尔可夫决策过程以优化人类偏好对齐。
Hugging Face 发布新扩散模型 Würstchen,其文本条件组件在高度压缩的图像潜空间中工作,实现了 42 倍的空间压缩。
BentoML 开源平台支持将 Hugging Face 上的 DeepFloyd IF 文本生成图像模型部署至生产环境。该流程涵盖定义模型、创建 Service、构建 Bento 及容器化部署,利用 T5-XXL-1.1 编码提示词并分三阶段在像素空间生成 1024x1024 px 图像。开发者可独立扩展各 Stage Runner 以优化 GPU 资源分配与推理性能。
Segmind 开源基于知识蒸馏训练的 SD-Small 和 SD-Tiny 模型权重及代码,二者参数量分别比基础模型减少 35% 和 55%,推理速度提升最高达 100%。该工作以 Realistic-Vision 4.0 为教师模型,在 LAION Art Aesthetic 数据集上训练,旨在通过压缩生成式 AI 模型实现更快速、低成本的图像生成。
Hugging Face 提供基于 Shap-E 和 Dream Textures 的 PS1 风格 3D 资产生成工作流。该教程指导用户利用 OpenAI 开源扩散模型 Shap-E 生成低多边形模型,并通过 Blender 插件 Dream Textures 添加无缝纹理。最终导出 FBX 文件至 Unity,实现从文本到可用游戏资产的快速转化。