Lmst

Mojofull (@furoku)

짧은 한 문장으로 'AI 모델의 고속화 경쟁이 시작되었다'고 알리는 트윗입니다. 모델 추론·학습 속도 개선과 최적화 경쟁이 본격화되고 있음을 시사하는 트렌드 알림으로 해석됩니다.

https://x.com/furoku/status/2018864750575378827

#ai #modeloptimization #inference #performance

Đang tìm cách fine-tune mô hình ngôn ngữ nhỏ (quantized) trực tiếp bằng C++ mà không cần chuyển code sang Python? Bạn gặp khó khăn khi codebase hiện tại chỉ hỗ trợ C++. Giải pháp nào hiệu quả?

#C++_Programming #MachineLearning #ModelOptimization #FineTuning
#LậpTrìnhC_ #HọcMáy #TốiƯuMôHình #ĐiềuChỉnhMôHình

https://www.reddit.com/r/LocalLLaMA/comments/1qs9x1h/finetune_model_in_c/

A new compact model, Falcon‑H1R 7B, is shaking up AI benchmarks by matching or beating models up to 7× larger on math and coding tasks—showing small can be seriously powerful.

#AI #LLMs #ModelOptimization
https://kersai.com/ai-breakthroughs-in-2026/

Unsloth AI (@UnslothAI)

GLM-4.7-Flash GGUF 파일이 llama.cpp의 최근 버그 수정 후 출력 품질이 크게 개선되어 GGUF를 재변환 및 업데이트함. 로컬에서 4-bit로 18GB RAM으로 실행 가능. 수정 적용을 위해 업데이트된 GGUFs를 재다운로드하고 @Zai_org가 제시한 추론 파라미터를 사용할 것을 권장.

https://x.com/UnslothAI/status/2013966866646180345

#glm #gguf #llamacpp #huggingface #modeloptimization

🚀 Our latest benchmark shows hyperparameter tuning with Optuna hits 0.9617 validation accuracy in just 64.59 seconds! Using Bayesian optimization and the Tree‑structured Parzen Estimator, we ran 100 trials to squeeze out every percent. Dive into the details of the experiment and see how you can apply these tricks to your own models. #HyperparameterTuning #Optuna #BayesianOptimization #ModelOptimization

🔗 https://aidailypost.com/news/hyperparameter-tuning-reaches-09617-accuracy-6459-seconds

The Lottery Ticket Hypothesis: finding sparse trainable NNs with 90% less params

https://arxiv.org/abs/1803.03635

#HackerNews #LotteryTicketHypothesis #SparseNeuralNetworks #DeepLearning #AIResearch #ModelOptimization

Kết quả mới cho thấy Vulkan có thể nhanh hơn CUDA trong chỉ định model. Ví dụ, Ministral3 14B 2512 Q4 có tốc độ tăng lên 4,4 lần khi xử lý prompt. CUDA vẫn là lựa chọn tốt nhất cho đa số trường hợp. #Vulkan #CUDA #ModelOptimization #TechNews #ThiếtKếModel #BảoMật #LenhLem #HóaCván #SốHúc #LinhTụ #ThépKin #TệpMúzeum #CơSốVănHóa

NONE

https://www.reddit.com/r/LocalLLaMA/comments/1pydegt/benchmarking_local_llms_for_speed_with_cuda_and/

Liệu Kimi K2 Thinking có hoạt động tốt ở mức lượng tử 2.5-3.5 bit/weight không? Được biết model này nguyên bản 4-bit. So sánh với DeepSeek models (8-bit nguyên bản) vẫn hiệu quả ở ~3bpw. Người dùng đã thử Q2_K_XL (3bpw) locally và thấy khá tốt, nhưng chưa thể so sánh với native 4-bit. Thảo luận trên r/LocalLLaMA về hiệu suất quantization. #quantization #AI #machinelearning #KimiK2 #DeepSeek #localAI #modeloptimization #Quantisierung #KünstlicheIntelligenz

https://www.reddit.com/r/LocalLLaMA/com

🚀 GPT OSS 120B chỉ cần 2 expert vẫn như 4 expert nhưng nhanh x2! Người dùng đạt 40 tps với 2 expert. S<body> có lẽ lại khôngopia?
#AI #GPT #MachineLearning #Llama #ModelOptimization #Tech #FastAI #NgônNgh modernai

https://www.reddit.com/r/LocalLLaMA/comments/1o9o5eb/using_only_2_expert_for_gpt_oss_120b/

🚀 Hoạt động hiệu quả hơn cho MoE! Qwen3-Coder được thu gọn 25% (363B) & 50% (246B) dùng FP8 uden mất chính xác. Sử dụng REAP đo lườnglán, không cần gán补丁 cho vLLM. Đọc here: arXiv.org/abs/2510.13999.
#AI #MoE #Qwen3 #NLP #ModelOptimization #HuggingFace

https://www.reddit.com/r/LocalLLaMA/comments/1o98f57/new_from_cerebras_reap_the_experts_why_pruning/

Xem rõ hơn về khác biệt tham số lớn so với quantization trong AI. Ghét-League với Q6/Q8 của cùng model không thấy ủu ợ. Trải nghiệm hạn chế với Q8/F16-32.
#AI #MachineLearning #Quantization #ModelOptimization #TinTếTúc #TươngGiácNghệLearning #TốiHstrateBảnPhân