IA
TRL v1.14 sincroniza solo el adaptador LoRA hacia vLLM
Un adaptador de rango 1 pesa unos megabytes, así que viaja por un bucket montado en cada Job en vez de NCCL, y el entrenador queda en otra máquina que las réplicas de inferencia.
Hugging Face
Etiqueta
#trl
1 nota publicada