Angelos Katharopoulos (@angeloskath)
MLX의 최신 macOS 26.3 릴리스에서 JACCL이 업데이트되어 분산 대역폭이 크게 향상되었습니다(머지된 PR). 이로 인해 프롬프트 처리 확장성과 첫 토큰까지의 지연이 줄어들며, 4노드 환경에서 MoE 및 dense 모델 모두 약 3.3배의 속도 향상이 보고되었습니다.
Client Info
Server: https://mastodon.social
Version: 2025.07
Repository: https://github.com/cyevgeniy/lmst