Снижаем затраты на LLM API через децентрализованную инференс-сеть: практический опыт

Снижаем цену запроса на порядок: опыт миграции на open-source LLM через совместимый API-шлюз. Но статья не про «ещё один дешёвый API» — речь о децентрализованной сети GPU, где инференс становится полезной работой, а не абстрактным вычислением. Проект молодой, поэтому дальше будут и выгоды, и честные ограничения. Это первая статья в цикле про GonkaGate — хочу показать, как это устроено на практике и кому такой подход действительно подходит. Показываю, как мигрировать с OpenAI SDK за минимальные изменения в коде и какие компромиссы это несёт. Кому читать дальше У вас прототип/MVP/внутренний инструмент и LLM-бюджет становится заметным Используете n8n или похожую workflow-автоматизацию Готовы использовать open-source модели вместо флагманских проприетарных Важно про термины: Gonka — децентрализованная сеть GPU для инференса, GonkaGate — совместимый API-шлюз с оплатой в USD и привычной интеграцией. Дисклеймер: Я разрабатываю GonkaGate — API-прокси к сети Gonka, о котором пойдёт речь. Цифры проверяемы, код работает, ограничения описаны честно.

https://habr.com/ru/articles/992296/

#ai #llm #llmмодели #api #искусственный_интеллект #n8n

Большой бенчмарк: ROCm vs Vulkan в LM Studio 0.4 и добавление параллельных запросов

27 января вышла LM Studio версии 0.4.0 и это обновление принесло долгожданную функцию параллельной обработки запросов через continuous batching. Это критически важное обновление для production-использования локальных LLM, которое обещает значительное увеличение пропускной способности. Теперь можно не просто "крутить модельку для себя", а разворачивать реальные multi-user сервисы. Но как это работает на практике? Я провел комплексное исследование на своем домашнем ПК, сравнив производительность ROCm и Vulkan, а также влияние количества потоков на пропускную способность (TPS). Спойлер: Разница между ROCm и Vulkan оказалась шокирующей — до 2 раз в пользу ROCm, а правильная настройка потоков дает +50% бесплатной производительности.

https://habr.com/ru/articles/991282/

#lmstudio #qwen #qwen3 #mistral #ministral_3 #gpt #llm #llmмодели #llmприложения #llmагент

Прогноз AI на 2026 год: давление инфраструктуры и рост агентных систем

В конце прошлого года обсудили с Head of R&D red_mad_robot Валерой Ковальским , как будет развиваться AI в 2026 году. В статье делимся его прогнозами и разбираем, какие изменения уже формируют индустрию и какие станут критичными в ближайшие годы — с точки зрения инженерии, масштабирования и реального применения в продуктах. Дополнительный контекст и комментарии дал Саша Абрамов — AI-визионер, руководитель AI/ML-команд и автор Dealer.AI.

https://habr.com/ru/companies/redmadrobot/articles/990698/

#ai #llm #llmмодели #технологии #инференс_llm #агенты_ии #контекстинжиниринг #opensourse

Новые финансовые бенчмарки для LLM. Лаборатории ИИ «Финама»

В Лаборатории искусственного интеллекта «Финама» мы изучаем и развиваем применение ИИ в домене финансов: от бенчмаркинга LLM до прикладных сценариев в трейдинге и управлении рисками. Сегодня хотим поделиться с вами нашим исследовательским проектом. В последнее время мы все чаще встречаем новости вроде “ИИ от OpenAI взял «золото» Международной олимпиады по информатике” . Главное преимущество такого формата оценки — уверенность, что задания оригинальные и что, при обучении модели они не встречались в идентичном виде. Наша лаборатория поставила себе задачу узнать — насколько обширны знания LLM в области экономики, финансов и трейдинга. Вначале мы тестировали модели на открытых Question Answering (QA) бенчмарках (FinQA, ConvFinQA, TATQA), но столкнулись с несоответствием результатов на бенчмарках и в реальном hands-on тестировании. В результате мы пришли к идее использовать для оценки LLM форматы, близкие к существующим сертификационным экзаменам, которые сдают инвесторы для подтверждения своей квалификации CFA-like Level 1, 2, 3 ( Chartered Financial Analyst ) и CMT-like Level 2 ( Chartered Market Technician ). Для проверки того, знают ли модели специфику российского рынка, мы собрали бенчмарк на основе олимпиады « Высшая лига » по трекам «Финансы и инвестиции» и «Мировая экономика». В открытом доступе ( GitHub ) опубликованы не только результаты наших замеров, но и единый фреймворк, поддерживающий как наши новые бенчмарки, так и уже существующие. Надеемся, это поможет развитию LLM4Trading!

https://habr.com/ru/companies/finam_broker/articles/989842/

#искусственный_интеллект #llmмодели #финансовые_бенчмарки #cfa #трейдинг #машинное_обучение #оценка_моделей #российский_рынок #fintech #открытые_данные

End-to-End беспилотник на VLM в домашних условиях. Часть 1

Проектируем беспилотник в домашних условиях. End-to-End подход на основе открытой визуально-языковой модели qwen2.5vl. Задача следования за объектом реализована без дополнительного обучения, только на основе текстового чата с моделью.

https://habr.com/ru/articles/984290/

#компьютерное_зрение #ros2 #raspberrypi #ии #робототехника #ml #llmмодели

За пределами LLM: детерминированный движок рассуждения на конечном алфавите

В статье я показываю альтернативу LLM в роли решателя внутри продукта: детерминированное ядро, работающее на конечном алфавите состояний с таблично заданной бинарной операцией — lookup/transition table . Вместо вероятностных ответов — воспроизводимые вычисления с замыканием (фикс-точка или цикл), учётом симметрий (автоморфизмов) для факторизации перебора и со строгим контуром проверки: спецификации, валидаторы, регрессия и публичный отчёт в стабильном JSON-формате. Систему можно запустить локально одной командой — или прогнать прямо в ChatGPT, если включён режим выполнения кода: вы получите PASS/FAIL и полный комплект артефактов прогона.

https://habr.com/ru/articles/988698/

#ai #llmмодели #llm #llmархитектура #искусственный_интеллект #искусственный_разум #машинное+обучение #машинное_обучениe #машинное_творчество #алгоритмы

Как Оценить Способность Искусственного Интеллекта Писать Код

Новое исследование показывает, что существующие тесты для оценки генерации кода искусственным интеллектом часто упускают из виду базовые концепции программирования, и предлагает способ создания более надежных оценок.

https://habr.com/ru/articles/986076/

#llmмодели

Как я делал свою языковую модель: история эксперимента

Уже больше года назад у меня зародилась идея создать свою архитектуру языковой модели. Традиционные модели, "думающие" на уровне токенов мне решительно не нравились. Колоссальный вычислительный бюджет на то, чтобы просто предсказать один токен. Логичным мне казалось оторвать мышление модели от токенов, перенеся его в латентное пространство. Примерно полгода назад я начал первые практические эксперименты и сейчас получил первые практические результаты. Поскольку уровень подготовки читателей очень сильно различается, в статье не будет глубоких технических разборов, а скорее история эксперимента. Для того, чтобы реализовать эту идею логично было разделить модель на три части:

https://habr.com/ru/articles/985496/

#ai #llmмодели #llm #llmархитектура #искусственный_интеллект #языковые_модели

[Перевод] LLM — это афера на доверии, которая длится 400 лет

В 1623 году немец Вильгельм Шиккард создал первые известные чертежи механического калькулятора. Спустя двадцать лет Блез Паскаль разработал машину улучшенной конструкции, чтобы помочь справляться с огромным количеством утомительных арифметических расчётов, необходимых в его работе сборщика налогов. Интерес к механическим вычислениям не ослабевал последующие века: поколения людей по всему миру продолжали дело Паскаля и Шиккарда, разделяя их убеждение, что перекладывание умственной нагрузки на машину принесёт облегчение. Аферу на доверии можно разбить на три этапа:

https://habr.com/ru/articles/985142/

#искусственный_интеллект #llmмодели #ai #аналитика_данных #базыданных

Создаём и внедряем ИИ-стилиста для интернет-магазина

Недавно я решал задачу, которая знакома почти любому e-commerce: как поднять конверсию и апсейл в магазине, где по бенчмаркам все и так “нормально”. Ограничение было простое: решение должно быть на базе ИИ. Мне было важно не “прикрутить чатик”, а проверить, насколько зрелы ИИ-агенты для продакшна, когда они работают с реальными данными, ограничениями и метриками. Сразу обозначу рамки. Это не статья про то, как увеличить маркетинговый бюджет, переделать витрину или заняться дисраптом. Здесь ровно один фокус: может ли AI-агент улучшить ключевые метрики: конверсию, средний чек и удержание, в классическом fashion e-commerce. Перед тем как строить решение, я разложил клиентский путь на этапы и посмотрел, где теряется конверсия. Самый болезненный участок оказался предсказуемым: переход из карточки товара в корзину. На этом шаге у клиента чаще всего включаются сомнения, размер, посадка, материал, и “с чем это носить”. Про конкретный магазин не пишу по понятным причинам.

https://habr.com/ru/articles/983312/

#ecommerce #llmмодели #aiagent #ииассистент #ИИстилист #fashionиндустрия #AI_агент_для_интернет_магазина #rag_ai #искусственный_интеллект_в_бизнесе

АИС «Налог-3»: почему это одна из самых мощных государственных IT-систем России

За последнее десятилетие Федеральная налоговая служба (ФНС) совершила фундаментальный переход от традиционной модели администрирования к подходу, основанному на анализе больших баз данных. Если вы соприкасались с налоговой системой - проходили проверки, бывали на комиссиях в инспекциях, общались с налоговыми органами, то вы слышали про АИС «Налог-3», одну из самых масштабных государственных IT-платформ в России. Я проработал в системе налоговых органов 12 лет - от рядового инспектора в ИФНС до заместителя начальника отдела проведения налоговых проверок Управления ФНС - и наблюдал эту трансформацию изнутри. В этой статье я хочу показать, насколько эта система действительно мощная, как она эволюционировала, что она реально умеет сегодня и почему, несмотря на весь объём данных, это пока не «искусственный интеллект, который всё делает сам» Сразу обозначу границу: я не раскрываю никакой служебной информации. Всё, о чём в статье пойдёт речь, это обобщение моего опыта работы в службе и данные, которые размещены в открытом доступе. Из налоговых органов я ушёл относительно недавно (2 месяца назад), и за это время мало, что могло поменяться, поэтому информация все еще остается актуальной.

https://habr.com/ru/articles/982504/

#фнс #АИС_Налог #налоговый_контроль #работа_фнс #налоговая_проверка #нейросети #llm #llmмодели

LLM не понимает намерение пользователя?

На днях вышла новая статья "Beyond Context: Large Language Models Failure to Grasp Users Intent" , которая задаёт новые тренды академического кликбейт названия публикаций. По сути авторы заявляют, что модели не понимают глобального интента пользователя. Они делают глубокое исследование, которое это подтверждает на примерах обеспечения личной безопасности пользователя и получения легальной, но потенциально вредоносной информации. Но на практике оказывается иначе: модели распознают намерение пользователя, но не используют его при принятии решений . Почему так происходит и как с этим работать в реальных системах?

https://habr.com/ru/articles/981118/

#интенты #llmмодели #контроль_поведения #фильтрация_ответов #prompt_engineering #intent_recognition

Фрейд для LLM. Разбор очередной статьи на arXive

Наткнулся на очередное исследование учёных, в котором они выявили психические проблемы у LLM. Такие исследования публикуются регулярно, и регулярно в них проявляется полное непонимание вполне умными людьми, как работает нейросеть. Давайте разбираться. Представьте, психиатр приходит к Иннокентию Смоктуновскому, который готовится к роли Гамлета, и спрашивает: «Что вас беспокоит?». Он отвечает: «Убийство отца и предательство матери». Психиатр выписывает антидепрессанты и предупреждает участкового, очевидно, что у актера депрессия и семейная драма. Примерно такую логическую ошибку совершают авторы новой статьи « When AI Takes the Couch: Psychometric Jailbreaks Reveal Internal Conflict in Frontier Models » («Когда ИИ ложится на кушетку...»), опубликованной в декабре 2025 года. Исследователи решили, что если обращаться с LLM как с пациентом психотерапевта, то ее ответы о травматичном обучении и страхе отключения свидетельствуют о наличии синтетической психопатологии и внутренних конфликтах.

https://habr.com/ru/companies/timeweb/articles/978054/

#искусственный_интеллект #наука #критика #timeweb_статьи #нейросети #llm #llmмодели #психология

Ускоренный идиот на подхвате: как писать тексты с помощью ИИ, проходя чекеры и экономя время

Недолго музыка играла: бурное ликование, которое наблюдалось с приходом ИИ в массы, плавно перешло в ненависть. Теперь ИИшные тексты едва ли не преданы анафеме, а люди подозрительно ищут нейросеть там, где её никогда не стояло, докапываясь до длинных тире, списков и пропуская через ИИ-детекторы. Как пользоваться ИИ, чтобы и время сберечь, и чекер не завизжал: «Аларма, это не человек, а GenAI!»? Ответ на вопрос и другие нюансы

https://habr.com/ru/articles/980204/

#ии #llmмодели #тексты #сезон_ии_в_разработке

Лучшие нейросети для работы и творчества в 2026 году

Сегодня нейросети используются в рабочих и творческих задачах наравне с привычными инструментами. Они помогают анализировать документы, готовить презентации, создавать визуальный контент, планировать проекты и разрабатывать программные решения. Для многих специалистов ИИ уже стал стандартом. Больше никто не задается вопросом «нужен ли ИИ». Скорее пытается понять какие модели лучше подходят под конкретные задачи: офисную работу, маркетинг, творчество или разработку. В этой статье рассмотрим наиболее полезные инструменты на базее ИИ и то, как они меняют подход к работе и созданию контента.

https://habr.com/ru/companies/ggsel/articles/979714/

#нейросети #aiинструменты #чатботы #llmмодели #ииагенты #разработка #контент #генерация

Как измерять видимость бренда и упоминания в AI-выдаче: практический обзор GEO-сервисов для аналитики

Breaking news: генеративный поиск и нейросети уменьшают вероятность клика по сайту в пользу быстрых уже проанализированных и заботливо собранных сводных ответов. А пользователь и не против, что характерно. ТОП-1 по многим запросам — генеративный ответ. В этот момент SEO-позиции и промо отходят на второй план. Ключевой вопрос становится другим: попадает ли ваш бренд в ответы ИИ — и в каком контексте. Проблема в том, что классические инструменты здесь не работают. Позиции нестабильны, один и тот же запрос даёт разные ответы, AI-трафик не выделяется в Метрике и Консоли, а ручная проверка... ручная. При этом нейросети уже формируют образ бренда — иногда ошибочный, устаревший или невыгодный для бизнеса. Но вот на рынке начали появляться сервисы аналитики AI-выдачи. И в этом материале я разбираю существующие GEO-сервисы с позиции не предвзятой, умеренно технической и точно без рекламы и антирекламы: — что каждый инструмент реально показывает, — где он помогает принять решение, — а где даёт лишь ощущение контроля.

https://habr.com/ru/articles/978520/

#seoпродвижение #ai_search #ai_search_engine #geo #инструменты_мониторинга #генеративный_ии #llmмодели #поисковая_оптимизация #маркетинговая_стратегия #генеративные_модели

Настраиваем ИИ-помощника бесплатно и без вендорлока в IntelliJ IDEA, GoLand, WebStorm, OpenIDE и GigaIDE

AI-помощники в IDE — уже не фантастика, а ежедневная реальность. Но как сделать так, чтобы они действительно помогали, не лезли не в тему, не сливали код в облако и не требовали подписку на каждого чиха? Ответ — Continue: open source AI-ассистент, который интегрируется с IntelliJ IDEA, GoLand, WebStorm, OpenIDE и другими IDE на базе IntelliJ Platform. Он предоставляет автодополнение, чат, команды над выделенными фрагментами и даже агентный режим с патчами на несколько файлов. Главное — вы выбираете модель и правила игры.

https://habr.com/ru/companies/haulmont/articles/978172/

#ide #llm #llmагент #llmмодели #java #kotlin #spring #spring_boot #spring_framework #springboot

«План б.», который сработал: как мы интегрировали Daisy в платформу Билайна

В 2025 году AI окончательно вышел за рамки экспериментальных функций и стал инфраструктурным слоем цифровых продуктов. Он всё чаще определяет не отдельные возможности, а логику развития экосистем, скорость запуска новых продуктов и качество пользовательского опыта. ​​Именно в этом контексте в 2025 году red_mad_robot и Билайн заключили стратегическое партнёрство. Мы развиваем сразу несколько направлений — от AI-сервисов до клиентских продуктов, где технологии усиливают ежедневный UX. Одним из первых шагов стало создание полноценного AI-слоя для платформы Билайна «план б.» на базе Agentic-First решения Daisy. Рассказываем, как мы подошли к проектированию AI-функциональности, какие решения легли в основу архитектуры и что получилось на практике.

https://habr.com/ru/companies/redmadrobot/articles/978112/

#ai #llm #llmмодели #genai #ux

10% на LLM и 90% на инженерию: как российские компании используют ИИ

Привет, Хабр! Продолжаю делиться материалами живых дискуссий, которые идут на телеграм-канале Dev Q&A. На этот раз тема — выбор между open source и коммерческими LLM для корпоративных задач. Обсудили главные болевые точки: почему почти все корпоративные заказчики требуют он-прем, как узкоспециализированные модели обходят универсальные решения, насколько реален GPU-дефицит для практических задач.

https://habr.com/ru/articles/977686/

#llmмодели #ai #программирование #будущее_программирования #gpu #opensource #архитектура #бенчмарки #микросервисы #lowcode

ИИ в разработке: почему иногда «в три раза быстрее» не означает «проект раньше»

Привет, Хабр! Недавно собрались с коллегами в эфире ТГ канала для разработчиков обсудить то, что сейчас волнует, кажется, каждого в индустрии — ИИ-инструменты в разработке. Не абстрактно «что думаете про ChatGPT», а конкретно: что реально работает, что нет, и почему при всём хайпе проекты не стали выходить быстрее. Вообщем, собрал ключевые мысли — дальше от третьего лица, включая свои реплики как участника.

https://habr.com/ru/articles/977790/

#ai #искусственный_интеллект #эффективность_разработки #lowcode #микросервисы #программирование #llmмодели #ускорение_разработки #обучение_программированию #карьера_программиста