Hugging Face Transformers 集成 Perceiver IO 全模态模型

Hugging Face 宣布将 Perceiver IO 加入 Transformers 库，这是首个支持文本、图像、音频、视频和点云等多种模态及其组合的 Transformer 基神经网络。该模型通过在潜在变量上执行自注意力机制，解决了传统 Transformer 在高维数据上的计算和内存扩展性限制。文中展示了其在光学流预测、图像分类及多模态自动编码等任务中的具体实现代码与性能表现。