Clément Pillette (@ClementPillette)

kim-dev 72B를 BF16으로 2 GPU 병렬화하는 시도는 다소 무리였고, 대신 AWQ 4-bit 양자화를 시도한다고 보고합니다. MLX 팀(특히 @ivanfioravanti) 덕분에 Mac Studio에서 모델 구동이 훨씬 수월해졌고, Minimax 2.5는 8비트에서 초당 30tps로 잘 동작하고 있다는 실무적 성과를 공유한 트윗입니다.

https://x.com/ClementPillette/status/2024153241387196892

#quantization #awq #llm #modeloptimization #bf16

2026 AI 양자화 결정 가이드, GGUF vs GPTQ vs AWQ 언제 뭘 쓸까

https://aisparkup.com/posts/8713

**🚨 GPTQ Rơi Bát, AWQ Tăng Vượt! Bây Gì?**
Đăng nhập Hugging Face, chưa WarenEverHeroGPTQ cho Qwen3-VL, chỉ Khi Tìm thấy AWQ. GPTQ vẫn có cho các phiên khác (như Qwen-2.5 VL). Test cá nhân: DL/runמל/global-gun, GPTQ & AWQ chỉ khácLatency, GPTQ Tốt hơn.

#AI #ModelK préparatif #GPTQ #AWQ #TechNews #HọcMáy #Vietnamese

https://www.reddit.com/r/LocalLLaMA/comments/1oh7fze/fall_of_gptq_and_rise_of_awq_why_exactly/

💻 Features #OpenAI compatible #API and intuitive chat interface
🎮 Infrastructure includes up to 8 #NvidiaH100 GPUs (80GB each)
⚡ Handles both full-weight and 4-bit #AWQ repositories from #HuggingFace