nvfp4

[eleven141592]

想请教一下如果把模型量化到nvfp4的话，没有b卡，想测量模型的精度，是不是就得用伪量化的方式？我直接用Model-Optimizer这个库是否可以的

[taishan1994]

是得用伪量化的形式，量化可以使用llm-compressor，推理可以用vllm，我记得vllm好像是可以支持伪量化推理的。

[eleven141592]

好的好的，太感谢了，vllm可以支持nvfp4的模型吗？

…

---- Replied Message ---- | From | ***@***.***> | | Date | 12/10/2025 23:07 | | To | taishan1994/LLM-Quantization ***@***.***> | | Cc | eleven141592 ***@***.***>, Author ***@***.***> | | Subject | Re: [taishan1994/LLM-Quantization] nvfp4 (Issue #4) | taishan1994 left a comment (taishan1994/LLM-Quantization#4) 是得用伪量化的形式，量化可以使用llm-compressor，推理可以用vllm，我记得vllm好像是可以支持伪量化推理的。 — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you authored the thread.Message ID: ***@***.***>

[taishan1994]

好的好的，太感谢了，vllm可以支持nvfp4的模型吗？
…

支持的

[eleven141592]

方便加您一个微信吗？

…

---- Replied Message ---- | From | ***@***.***> | | Date | 12/11/2025 09:11 | | To | taishan1994/LLM-Quantization ***@***.***> | | Cc | eleven141592 ***@***.***>, Author ***@***.***> | | Subject | Re: [taishan1994/LLM-Quantization] nvfp4 (Issue #4) | taishan1994 left a comment (taishan1994/LLM-Quantization#4) 好的好的，太感谢了，vllm可以支持nvfp4的模型吗？ … 支持的 — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you authored the thread.Message ID: ***@***.***>

[taishan1994]

方便加您一个微信吗？
…

主页有

[pal404error]

taishan1994, respect the work on LLM-Quantization. We built ModelRank, an independent leaderboard for open models. Free embeddable badges, 5-dimension scoring, zero paid placements. Want LLM-Quantization ranked and listed? It is a one-line badge in your README (https://rankmodel.github.io). Appreciate you building in the open.