Ettore Di Giacinto (@mudler_it)
ggml-org의 오픈소스 프로젝트 'llama.cpp' 관련 GitHub PR(및 코멘트)을 링크하며 중요한 변경이나 논의가 있음을 시사합니다. llama.cpp는 LLaMA 계열 모델 실행을 위한 경량 C++/ggml 기반 라이브러리로, PR 업데이트나 토론은 오픈소스 추론·호환성 향상과 관련된 중요한 이슈일 가능성이 큽니다.
#llama
Sprachmodelle, die keine spezifischen Anweisungen erhalten, erzeugen unterschiedliche Inhalte basierend auf ihren jeweiligen "Wissensvorannahmen".
Forschungsergebnisse zeigen, dass verschiedene #LLM Familien unterschiedliche Tendenzen haben: GPT-Modelle neigen zu Code und Mathematik, #Llama bevorzugt Erzählungen, #DeepSeek erstellt religiösen Inhalt und #Qwen generiert Prüfungsfragen.
Мой локальный агент помнит проект лучше меня. Контекст — 32K токенов. Расскажу, как
Мой агент на Llama 3.1 8B в третий раз спросил, как меня зовут. Я представился 200 сообщений назад. Контекст переполнился — начало разговора уехало. Большие контексты не спасают: дорого, «Lost in the Middle», локально не влезает. Суммаризация теряет детали. Я сделал по-другому — три типа внешней памяти: Redis для фактов, ChromaDB для семантического поиска, файлы для документов. Контекст маленький, память большая. Внутри — код на Python и грабли, на которые я уже наступил.
https://habr.com/ru/articles/994618/?utm_source=habrahabr&utm_medium=rss&utm_campaign=994618
#LLM #AIагенты #память_LLM #RAG #Redis #ChromaDB #векторный_поиск #sentencetransformers #llama #локальные_модели
Мой локальный агент помнит проект лучше меня. Контекст — 32K токенов. Расскажу, как
Мой агент на Llama 3.1 8B в третий раз спросил, как меня зовут. Я представился 200 сообщений назад. Контекст переполнился — начало разговора уехало. Большие контексты не спасают: дорого, «Lost in the Middle», локально не влезает. Суммаризация теряет детали. Я сделал по-другому — три типа внешней памяти: Redis для фактов, ChromaDB для семантического поиска, файлы для документов. Контекст маленький, память большая. Внутри — код на Python и грабли, на которые я уже наступил.
https://habr.com/ru/articles/994618/
#LLM #AIагенты #память_LLM #RAG #Redis #ChromaDB #векторный_поиск #sentencetransformers #llama #локальные_модели
AI Leaks and News (@AILeaksAndNews)
Meta가 Llama 4 이후 첫 신규 AI 모델 'Avocado' 출시를 준비 중이라는 소식입니다. Avocado는 Manus와 Openclaw와의 통합과 함께 공개될 예정이라고 언급되어 메타의 차기 모델 릴리스 및 에코시스템 확장 가능성을 시사합니다. 구체적 성능·출시일 등은 추후 공개될 것으로 보입니다.
Abhishek Yadav (@abhishek__AI)
중국에서 MiniCPM-o 4.5를 공개했다는 소식: 9B 파라미터급으로 로컬 장치에서 동작하며 Docker·llama.cpp로 실행 가능하고 풀 듀플렉스 라이브 스트리밍과 비전·음성·오디오·비디오를 포함한 엔드투엔드 멀티모달을 지원한다. 100% 오픈소스라고 명시되며 Gemini 2.5 Flash도 언급됨.
Dilophosaurus brushes the llama.
#DailyDilophosaurus #Dilophosaurus #Llama #CatToys #Dinosaurs
Морфемы против BPE: как лингвистика ускоряет обучение языковых моделей
GPT-5.x разбивает слово "paratrooper" на par , atro , oper — три бессмысленных слога. Ваш мозг видит para- (около), troop (отряд), -er (деятель). Токенизатор не видит ничего. BPE, золотой стандарт токенизации с 2016 года, режет текст по частоте, а не по смыслу. И все крупные модели — GPT, Claude, Gemini, LLaMA — используют именно его. Несколько исследовательских групп проверили: что будет, если резать слова по морфемам — корням, приставкам, суффиксам? Результаты: +25% на LAMBADA, вдвое быстрее сходимость, а модель с 200k шагов обучения догоняет GPT-2 Large, которая в 6 раз больше. В статье — разбор трёх подходов (MorphBPE, MorphPiece, Unigram + морфология), конкретные цифры, ограничения (которые авторы предпочитают не выносить в заголовки) и ссылки, чтобы попробовать самому.
https://habr.com/ru/articles/993768/
#BPE #токенизация #морфемы #языковые_модели #NLP #лингвистика #GPT #LLaMA #трансформеры
yzma 1.7 is out! With support for the very latest llama.cpp features and models, hardware acceleration, and all from Go without needing CGo.
You should go get it right now!
Is there something I'm missing with llama being the GOAT coding assistant? For me it consistently performs terribly.
Me: Hey, Llama, just add a register button underneath the login.
Llama: I will ignore that request and instead turn this page into a yaml/json mismash-formatted pinball game. Done! Just like a pro! Is there anything else I can assist you with?
¿Cómo se llama la película? #pelicula #movie #adivina #crazymaddoctor #cinefantastico #juego #quiz
https://www.youtube.com/watch?v=GT3oonbJovw
金のニワトリ (@gosrum)
Qwen3-Coder-Next 벤치마크 중 Claude Code와 상성이 맞지 않아 진행이 전혀 되지 않음. opencode와 조합하면 초반에는 괜찮지만, 중간에서 갑자기 llama.cpp 쪽에서 크래시가 발생하여 테스트가 중단되는 문제를 보고함.
Now my main man @goinggodotnet speaking at the AI Plumbers #fosdem unconf about Kronk/yzma
QAD от NVIDIA: разбираюсь, почему 4-битная квантизация перестала всё ломать
NVIDIA выпустила отчет о методе QAD, который позволяет квантовать LLM в 4 бита без потери качества на сложных задачах (математика, код). Разбираем, почему привычный QAT «ломает» модели после RLHF, как дистилляция через KL-дивергенцию решает эту проблему и почему метод работает даже на рандомных данных. Личный опыт попыток уместить 49B модель в железо и анализ нового подхода.
https://habr.com/ru/articles/991586/
#LLM #Квантизация #NVIDIA #QAD #QAT #FP4 #Blackwell #Machine_Learning #Llama #Distillation
Phát triển hệ thống tự động tuân thủ bằng AI cho môi trường phân loại, hoạt động ngoại tuyến hoàn toàn với Llama. Ứng dụng tập trung vào đánh giá STIG và tuân thủ CMMC, loại bỏ thao tác thủ công. Người dùng tương tác với công cụ, không trực tiếp với mô hình, đảm bảo an ninh. Thách thức: chọn mô hình nhẹ, hiệu suất cao và không phụ thuộc API bên ngoài. Bạn cũng đang xây dựng cho môi trường offline/riêng tư? #AI #LocalLLaMA #Cybersecurity #AnNinhMang #TuânThủ #AIAnToàn #OfflineAI #Llama
https://w
Client Info
Server: https://mastodon.social
Version: 2025.07
Repository: https://github.com/cyevgeniy/lmst