Hugging Face 与 Zama 合作实现基于 FHE 的加密大语言模型

Hugging Face 联合 Zama 利用全同态加密（FHE）技术，在保护用户隐私和模型 IP 的同时运行 GPT2 推理。通过 Concrete-Python 将 Python 函数转换为 FHE 等效操作，并采用量化技术处理权重与激活值。实验显示，对单个注意力头进行 4-bit 量化后，模型仍保持原始精度的 96%。