vLLM 是一个高效且易用的大模型推理和服务框架，已在各种大语言模型中得到广泛应用，并成为业界常用的开源大模型推理框架。