Hugging Face 集成 Ray 加速 RAG 检索与微调

Hugging Face Transformers 中的 RAG 模型通过集成 Ray 库，将上下文文档检索速度提升 2 倍并优化分布式微调扩展性。该方案利用 Ray 的有状态 Actor 抽象替代 torch.distributed，解决了单进程瓶颈及 PyTorch 依赖限制。在 4 GPU 场景下，Ray 实现每批次检索耗时降至 1.66 秒，显著优于原有方案的 3.438 秒。