Execution-Centric Characterization of FP8 Matrix Cores, Asynchronous Execution, and Structured Sparsity on AMD MI300A
Comrades, all of #ROCm/HIP 7.1 has just made it into #Guix proper, thanks to the hard work of David Elsing—we’re almost done with this milestone 👇
https://codeberg.org/guix/guix/milestone/46424
Just 2 years after AMD contributed the initial packages to the Guix-HPC channel:
https://hpc.guix.info/blog/2024/01/hip-and-rocm-come-to-guix/
Triton, Flash-attension, Sage-attension и bitsandbytes с Rocm7 в Windows
В конце января 2026 вышел triton-windows 3.6.0.post25 , который позволяет использовать flash-attention , sage-attention (v1) и другие библиотеки, использующие Triton, на картах AMD с поддержкой rocWMMA в Windows. Также, несмотря на то, что в официальном репозитории bitsandbytes еще не приняли PR для поддержки ROCm 7, его все же можно собрать, внеся небольшие изменения в код. Эти изменения я уже сделал в своем форке. В этой статье я расскажу, как установить все это себе, а также для примера запустим пару тестов в ComfyUI, в том числе со свежей LTX-2, и сделаем Qlora адаптер для модели Gemma 3.
https://habr.com/ru/articles/987672/
#triton #amd #rx7900 #sageattention #flashattention #bitsandbytes #rocm #rocm7 #comfyui #ltx2
̶К̶у̶п̶а̶н̶и̶е̶ тестирование «красного» ̶к̶о̶н̶я̶ представителя GPU от АМД с приставкой ИИ — RADEON AI PRO R9700
Тестировать друг за другом видеокарты от NVIDIA надоедает, благо разница в последнем поколении только в мощностях процессоров семейства Blackwell, объеме памяти и ширине шины. А вот посмотреть, что предлагают конкуренты, а тем более громко называя это «ИИ», уже интересней. Мы проверили Radeon AI PRO R9700 с 32 Гб памяти на реальных задачах: LLM, генерация графики и видео, 3D-рендеринг, и сравнили с NVIDIA.
https://habr.com/ru/companies/hostkey/articles/991780/
#hostkey #Radeon_AI_PRO_R9700 #ROCm #инференс_LLM #генеративный_ИИ #видеокарта #NVIDIA_RTX #Ollama #RDNA_4 #GDDR6
this was sort of interesting
The “Famous” Claude Code Has Managed to Port NVIDIA’s CUDA Backend to ROCm in Just 30 Minutes, and Folks Are Calling It the End of the CUDA Moat wccftech
one of these days it will actually get it letter perfect but i suspect it may be a year or two for more homogenous ai and cuda codebase #rocm
🤬
#ROCm decided to fucking crash the computer and let me lose all afternoon progress.
I'll never recommend AMD shit for #AI, ever again, until they gift me a fucking server to vent out.
👉 It's either #NVIDIA or #AppleSilicon for serious business.
#ArtificialIntelligence #GeForce #RTX #Mac #iMac #MacMini #MacBook #MacBookPro #AMD #Radeon #Rebrandeon
⚠️ Lỗi biên dịch llama.cpp trên nền tảng GFX1031 với ROCm - dù đã sử dụng command chi tiết, cộng đồng LocalLLM và LMS vẫn chưa tìm ra giải pháp. Bài toán khó cho developer khi triển khai AI/ML trên phần cứng AMD!
#ROCm #LLM #LocalLLM #LMS #MachineLearning #AI #VietAI #LocalLLaMA #HọcMáy #TríTuệNhânTạo
https://www.reddit.com/r/LocalLLaMA/comments/1qoyaox/issues_compiling_llamacpp_for_the_gfx1031/
So... I managed to use #ROCm on an 8845HS in #Linux using #Jan:
1. Download JAN
2. Using Flatseal, enable "Graphics acceleration", env variable "HSA_OVERRIDE_GFX_VERSION=11.0.0"
3. Download lemonade-sdk/llamacpp-rocm latest release for "Ubuntu gfx110X".
4. Go into the backends directory of Jan, decompress the file.
5. Ensure the path is `bXXXX/linux-rocm7-gfx110x-x64/build/bin` with all libraries and add execute bit (chmod +x ./)
6. Restart Jan, profit.
**Vulkan vs ROCm trên RX 9070 XT (RDNA4): Nhanh hơn 9%, tiết kiệm điện 50%!**
Kết quả benchmark với Ollama 0.15.1 và qwen3-coder:30b:
- **Tốc độ:** Vulkan 52.5 tokens/s vs ROCm 48.2 tokens/s (+8.9%)
- **Điện năng:** Vulkan 68W vs ROCm 149W (-54%)
- **VRAM:** Vulkan 16.1GB vs ROCm 15.8GB (+2%)
🔥 **Kết luận:** Vulkan không chỉ nhanh hơn mà còn tiết kiệm điện đáng kể trên RDNA4!
#Vulkan #ROCm #RDNA4 #AMD #Ollama #Benchmark #TechNews #CôngNghệ #GPU
Towards Automated Kernel Generation in the Era of LLMs
#JuliaCon 2026 will have a minisymposium on "Julia, GPUs, and Accelerators" hosted by Julian Samaroo, Tim Besard, and @vchuravy find out more on https://pretalx.com/juliacon-2026/talk/UPRSQL/ and submit your talks through the Call for Proposals https://juliacon.org/2026/cfp/ until Feb 28th!
AMD dropped ROCm support for Radeon VII (gfx906) at v6.2.4. I wanted to run local LLMs on it anyway.
Found a community-maintained image on r/LocalLLaMA that packages ROCm 7.1 with llama.cpp for gfx906. One docker pull later, I had llama.cpp + Ollama + Qdrant + Open WebUI running on "unsupported" hardware.
Docker Hub is a library of solved problems.
Full story: https://bit.ly/4pTk3zf
#Docker #DockerCaptain #LocalLLM #AMD #ROCm #OpenSource #SelfHosted #MachineLearning