从第一性原理推导连续批处理

Hugging Face Blog 文章从注意力机制和 KV 缓存出发，通过优化吞吐量推导出连续批处理技术。该方法并行处理多个对话并在完成时进行交换，旨在解决 LLM 生成过程中计算昂贵的问题，提升高负载服务场景下的推理效率。