Awni Hannun (@awnihannun)

mlx-lm 최신 버전이 공개되었습니다. 신규 모델 Kimi K2.5, Step3.5 flash, LongCat Flash lite(@kernelpool 기여) 추가되었고, mlx_lm.server로 분산 추론 지원(@angeloskath 기여)이 도입되었습니다. 또한 DeepSeek v3 등 MLA 기반 모델들의 속도 및 메모리 효율이 크게 개선되었습니다.

https://x.com/awnihannun/status/2019434709273718856

#mlxlm #llm #distributedinference #deepseek #opensource

Ivan Fioravanti ᯅ (@ivanfioravanti)

MLX 분산 추론을 2대의 M3 Ultra(각 512GB)에서 Step-3.5-Flash-6bit 모델로 테스트 중이며, 로컬에서 구동되는 Space Invaders 게임을 Vite + JavaScript + Phaser 3 엔진으로 곧 공개할 예정이라는 개발/테스트 업데이트.

https://x.com/ivanfioravanti/status/2018643250769514905

#distributedinference #m3ultra #phaser3 #vite #javascript

llm-d, Kubernetes native distributed inference

https://llm-d.ai/blog/llm-d-announce

#HackerNews #llm-d #Kubernetes #distributedinference #AItechnology #cloudnative