MACaQ: cuantización MXFP4 de pesos y activaciones capa por capa, con 2,3% de overhead en vLLM y un modelo de 122.000 millones cuantizado en 64 minutos (07-12/11) El paper es del 7/11 y entró hoy a trending de Hugging Face.
MACaQ: cuantización MXFP4 de pesos y activaciones capa por capa, con 2,3% de overhead en vLLM y un modelo de 122.000 millones cuantizado en 64…
El paper es del 7/11 y entró hoy a trending de Hugging Face. Lo que lo vuelve práctico es que trata cada capa lineal de forma independiente: aplica una escala por canal y una transformada block-Hadamard a las activaciones en inferencia, y mete las transformadas inversas correspondientes dentro de…
elcompilado.com