NEWAVE. Делаем интеллектуальный ретривал музыки
Двуэнкодерные нейросети, контрастивное обучение, десять датасетов и late fusion. Как мы строили ML-систему ретривала, понимающую человеческий язык вместо фильтров Ну и как же?
https://habr.com/ru/articles/989756/
#CLAP #biencoder #contrastive_learning #retrieval #feature_engineering #ML #DL #machine_learning #project #deep_learning
Query Prediction, или как мы отказались от ANN и полюбили обратный индекс
Всем привет! Меня зовут Антон Пилькевич, я более четырёх лет занимаюсь ранжированием и текстовой релевантностью в поиске Ozon. И вот настал момент, когда у меня появилось время поделиться своими мыслями. В этой статье вас ждёт увлекательное путешествие в ML-мир текстового поиска Ozon, а также знакомство с флорой и фауной существующих решений в этой области!
https://habr.com/ru/companies/ozontech/articles/990180/
#поиск #machine_learning #deep_learning #big_data #nlp #ozon_tech
Kimi K2.5: Как научить нейросеть не бояться параллельности
Moonshot AI выкатили K2.5. Пресс-релиз трубит про «самую мощную open-source модель», но я бы хотел поговорить о другом — о том, что они сделали с агентами. Начну с конца. Там есть график, который стоит тысячи слов. Ось X — сложность задачи. Ось Y — время выполнения. Две линии: одиночный агент и рой агентов. Одиночный агент карабкается вверх линейно. Рой держится почти горизонтально. На сложных задачах разрыв — в четыре с половиной раза. Параллельные агенты обсуждают давно, но тут впервые показали, как этому научить модель, а не прописывать логику декомпозиции вручную. Также, выдали доступ к этим агентам по ценам, похожим на ChatGPT — настоящий рой агентов, выданный в одни руки, за сравнимую стоимость — фантастика. Интересно. Читать далее
https://habr.com/ru/companies/bar/articles/989426/
#машинное_обучение #reinforcement_learning #LLM #мультиагентные_системы #нейросети #искусственный_интеллект #deep_learning #open_source #параллельные_вычисления #Moonshot_AI
SoftMax: как нейросети превращают сырые числа в уверенные вероятности — разбор с примерами и математикой
В реальности всё полно оттенков: ничего чисто чёрного или белого, то же в машинном обучении, тк решения редко бывают абсолютными. Возьмём задачу: нейросеть анализирует фото еды и определяет, это пицца, суши или салат. Для двух классов хватит сигмоиды, но с несколькими нужна функция, которая раздаст вероятности по всем вариантам, чтобы их сумма была точно 1. Вот где и выходит SoftMax- стандарт для многоклассовой классификации. Сегодня разберём её от А до Я: интуицию, шаги, формулы и хитрости.
https://habr.com/ru/articles/988936/
#softmax #pytorch #функция_активации #backpropagation #deep_learning #нейросети #нейронные_сети #tensorflow #вероятностное_моделирование #функция_потерь
✅ Cập nhật 21/1: llama.cpp đã sửa lỗi vòng lặp và đầu ra kém. Hãy tải lại GGUF của GLM‑4.7‑Flash để cải thiện kết quả. Tham khảo các tham số đề xuất của Z.ai:
• Dùng chung: `--temp 1.0 --top-p 0.95`
• Tool‑calling: `--temp 0.7 --top-p 1.0`
• Với llama.cpp: đặt `--min-p 0.01` (mặc định 0.1).
#llama_cpp #AI #MachineLearning #CôngNghệ #AIVietnam #ngôn_ngữ_tự_nhiên #deep_learning
https://www.reddit.com/r/LocalLLaMA/comments/1qiy0ha/glm47flashgguf_bug_fix_redownload_for_better/
Трёхстрочный Deep Learning: 20 примеров нейросетевой магии
В 2012 году AlexNet потряс мир — тысячи строк кода, две видеокарты, недели обучения. Сегодня вы превзойдёте его одной строкой, а модель загрузится за секунды. В статье — 20 полностью рабочих примеров глубокого обучения, каждый ровно в три строки Python. Анализ тональности, резюмирование текста, вопросно-ответные системы, генерация текста, перевод, NER. Детекция объектов, сегментация, оценка глубины, поиск изображений по описанию. Мультимодальные модели, которые отвечают на вопросы о картинках. Это не упрощение и не обман. За тремя строками скрываются модели с миллиардами параметров: BERT прочитал всю Википедию, GPT-2 обработал 40 ГБ текста, CLIP просмотрел 400 миллионов пар «картинка-описание». Всё это знание теперь доступно через один вызов функции. Никакой дополнительной подготовки данных, никаких конфигурационных файлов, GPU не требуется. Скопируйте код — и получите результат, на который ещё пять лет назад ушли бы недели. Те же модели прямо сейчас работают в production у Netflix, Google и тысяч стартапов. К концу статьи вы освоите 20 техник, покрывающих большинство задач NLP и компьютерного зрения — и каждая уместится в твит.
https://habr.com/ru/articles/986782/
#нейросети #deep_learning #transformers #BERT #GPT #компьютерное_зрение #NLP
Стремимся к AGI: обучаем нейросети в экосистеме эволюционно с нуля
Всем доброго времени суток, Хабровчане! В этой статье я покажу, как пытался добиться хороших результатов и создать, что-то умное, поместив это в искусственную среду с такими же нейросетями, которые так же будут конкурировать, общаться, уничтожать и так далее. Это полноценное двухгодичное исследование, подобных экспериментов направленных именно на развитие нейросетей не было, либо они остались неизвестны. Возможно, Вы вспомнили об экспериментах на просторах интернета с тем, когда давали список генов существам и также симулировали эволюцию, это были очень полезные исследования, но это не то - они симулировали начальную стадию эволюции. Существа не имели "разума", как такого, это был больше алгоритм на if-ах с настройкой голода, скорости... Подобие первых РНК и ДНК. Но мы - это в первую очередь наш мозг, а это полноценная нейросеть, которая намного более сложная и куда ближе к Deep Learning, чем к обычным алгоритмам из классического IT. Наиболее близкий по идее проект - Bibites. Это реально интересно, однако там не было реализовано цельного механизма памяти и обучения - то, что и является основополагающим фактором развития. Проект родился из-за желания изучить на что способны эволюционные алгоритмы развития нейросетей в замкнутой системе - удастся ли повторить процесс развития врановых, касаток и людей?
https://habr.com/ru/articles/985454/
#ai #ml #deep_learning #machinelearning #Сезон_ИИ_в_разработке #биология #нейросети #прорыв #нейроэволюционные_алгоритмы #исследование
ML на Мосбирже — почему мой грааль не работает?
Время после нового года решил провести с пользой и окунуться в машинное обучение. Заняться Machine Learning — и посмотреть получится что‑то или нет с российским рынком акций на Московской бирже. Моей целью было построить такую систему, которая будет учиться на истории и в перспективе торговать лучше чем случайное блуждание 50/50. Но из‑за комиссий и спреда подобные блуждания изначально отрицательны — чтобы выйти в плюс надо как минимум покрывать комиссии. Если говорить о результатах очень кратко, то технически всё работает, но вот финансовый результат на грани безубыточности. Если Вы только интересуетесь этой темой Вы можете посмотреть какие‑то шаги в моей статье, а если Вы уже опытный разработчик подобных систем, то можете подсказать что‑нибудь в комментариях. Причём вся эта работа выглядит совершенно не так как показывается в фильмах про уолл‑стрит: фактически это написание скриптов и монотонный запуск и всё происходит полностью локально на компьютере.
https://habr.com/ru/articles/984190/
#machine_learning #deep_learning #московская_биржа #мосбиржа #auc #Сезон_ИИ_в_разработке #алгоритмическая_торговля
🤔 Why use a deep learning library when you can painstakingly recreate one from scratch and rediscover every bug solved since 1970? 🚀 Just grab #NumPy, type until your fingers bleed, and hope for #MNIST magic. 💻✨ Perfect for those who love reinventing the wheel... with square edges. 🛞
https://zekcrates.quarto.pub/deep-learning-library/ #deep_learning #reinvent_the_wheel #programming #challenges #HackerNews #ngated
Archivist: Как я учил нейросеть понимать физику плёнки, вместо того чтобы просто размывать шум
В прошлых статьях я разбирал основы апскейлинга дома и сходил с ума, вырезая закадровый смех из «Скуби-Ду» . Тот опыт привёл меня к выводу: существующие инструменты, будь то плагины вроде NeatVideo или комбайны типа Topaz Video AI — это «чёрные ящики». У них ограниченный набор настроек, и они часто пасуют перед специфическими задачами старой анимации. В этот раз я пошёл от обратного. Сразу снижу градус ожиданий: это любительский эксперимент. Мы сильно ограничены в мощности GPU (в наличии только RTX 4060 Ti), из-за чего натренировать реально точную, тяжелую нейросеть-универсала возможности нет. Поэтому вместо гонки за идеальными метриками я сосредоточился на «неудобных» проблемах. Я написал симулятор уничтожения плёнки, чтобы научить легкую модель понимать физику конкретных дефектов: от сдвига эмульсии до химических ожогов. Спойлер: на это ушло 2 месяца и 2 миллиона итераций. Получилась не «волшебная кнопка», а набор узкоспециализированных инструментов.
#Нейросети #Реставрация #денойзер #deep_learning #realesrgan #апскейл #Porject_Degrader #open_source #мультипликация #ruvds_статьи_выходного_дня
Archivist: Как я учил нейросеть понимать физику плёнки, вместо того чтобы просто размывать шум
В прошлых статьях я разбирал основы апскейлинга дома и сходил с ума, вырезая закадровый смех из «Скуби-Ду» . Тот опыт привёл меня к выводу: существующие инструменты, будь то плагины вроде NeatVideo или комбайны типа Topaz Video AI — это «чёрные ящики». У них ограниченный набор настроек, и они часто пасуют перед специфическими задачами старой анимации. В этот раз я пошёл от обратного. Сразу снижу градус ожиданий: это любительский эксперимент. Мы сильно ограничены в мощности GPU (в наличии только RTX 4060 Ti), из-за чего натренировать реально точную, тяжелую нейросеть-универсала возможности нет. Поэтому вместо гонки за идеальными метриками я сосредоточился на «неудобных» проблемах. Я написал симулятор уничтожения плёнки, чтобы научить легкую модель понимать физику конкретных дефектов: от сдвига эмульсии до химических ожогов. Спойлер: на это ушло 2 месяца и 2 миллиона итераций. Получилась не «волшебная кнопка», а набор узкоспециализированных инструментов.
https://habr.com/ru/companies/ruvds/articles/980304/
#Нейросети #Реставрация #денойзер #deep_learning #realesrgan #апскейл #Porject_Degrader #open_source #мультипликация #ruvds_статьи_выходного_дня
Нейросеть, которая помнит всё: заморозка ядра вместо «костылей» (Frozen Core Decomposition)
Frozen Core Decomposition (FCD) — инновационный метод для решения проблемы катастрофического забывания в continual learning. Используя разложение Tucker, метод достигает 96.1% точности на Split MNIST с минимальным забыванием (0.2%) и поддерживает работу с CNN, ResNet, GPT-2 и другими архитектурами. В статье разбираем математику, результаты экспериментов и реализацию на PyTorch.
https://habr.com/ru/articles/979030/
#continual_learning #neural_networks #frozen_core_decomposition #tucker_decomposition #machine_learning #deep_learning #catastrophic_forgetting #incremental_learning #PyTorch #neural_network_training
Трансформеры для персональных рекомендаций на маркетплейсе: от гипотез до A/B-тестирования
Всем привет! На связи Ваня Ващенко, и я лид по развитию нейросетевых моделей в команде персональных рекомендаций Wildberries. Раньше я развивал B2C-рекомендации и нейросети кредитного скоринга в крупнейшем банке, а теперь вы видите результаты моей работы каждый раз, когда заходите на главную страницу любимого маркетплейса. Сегодняшний рассказ — о том, как мы развиваем WildBERT.
https://habr.com/ru/companies/wildberries/articles/972082/
#рекомендации #рекомендательные_системы #deep_learning #machine_learning #bert4rec #абтесты #recsys #маркетплейс #wildberries #data_science
GR00T N1.5: архитектура, данные и эволюция VLA-моделей
Начинаем серию разборов современных Vision-Language-Action (VLA) моделей для манипуляции. Несмотря на то, что им всего около года (π₀ была представлена ровно год назад — 31 октября 2024), текущие системы уже можно считать вторым поколением VLA-подходов . Их ключевое отличие — появление дополнительного модуля action head , который представляет собой не просто голову над представлениями, а отдельный диффузионный трансформер , обучаемый по задаче flow matching . Сегодня — разбор GR00T от NVIDIA, который с момента релиза N1 уже успел обновиться до версии N1.5 , а на днях ожидается N1.6 . Концепция VLA и постановка задачи VLA-модель — это end-to-end система , принимающая на вход «сырые» сенсорные сигналы различных модальностей (видео, текст, состояния сочленений робота) и напрямую предсказывающая управляющие действия , без внешнего планировщика или постобработки. Для человекоподобного робота входные данные включают:
Momentum Attention: когда внимание получает инерцию
Внимание в трансформерах не имеет памяти между шагами, что ведет к нестабильным градиентам. Решение Momentum Attention, где текущие Value векторы смешиваются с предыдущими через экспоненциальное скользящее среднее. Этот подход добавляет инерцию, стабилизируя фокус модели. Внутри разбор механики, корректный код на PyTorch и анализ трейд оффов
https://habr.com/ru/articles/960624/
#transformers #attention #machine_learning #deep_learning #research #pytorch #нейросети #ai
Умный Learning Rate Scheduler: Управляем скоростью обучения, анализируя ускорение
Классический ReduceLROnPlateau снижает скорость обучения, когда уже поздно модель упёрлась в плато. Я покажу, как сделать шедулер, который замечает замедление заранее, анализируя ускорение улучшений.
https://habr.com/ru/articles/960340/
#deep_learning #pytorch #machine_learning #learning_rate #optimization #ai
Diffusion Beats Autoregressive in Data-Constrained Settings
https://blog.ml.cmu.edu/2025/09/22/diffusion-beats-autoregressive-in-data-constrained-settings/
#ycombinator #Machine_learning #artificial_intelligence #deep_learning #natural_language_processing #automated_machine_learning #big_data #data_science #neural_networks #ethics_and_ai #computer_science #research
Полезные задачи на Kaggle ( LLM, Diffusion Models)
В мире Data Science и Data Engineering ценится не только теория, но и практический опыт: умение работать с реальными данными, строить модели и доводить решения до результата. Однако получить такой опыт непросто: рабочие проекты часто закрыты NDA, а учебные кейсы не отражают сложность реальных задач. Именно поэтому платформа Kaggle заняла особое место в индустрии. Это крупнейшее мировое сообщество специалистов по данным:
https://habr.com/ru/articles/947530/
#kaggle #AI #Machine_Learning #deep_learning #LLM #diffusion_models
Играемся с видеокартой Tesla H100 (GH100)
Продолжаем статьи про практические тесты актуальных картонок от Nvidia ( RTX 5090 , A5000 Ada , A100 , 3090 и A10 ). В этот раз мне уже предложили покрутить на несколько часиков H100 с 80 GB VRAM. Тренировать опять ничего не будем, снимем попугаев через gpu-burn , попробуем MIG (multi-instance GPU) и также замерим инференс одной нашей прожорливой сетки. С A100 и MIG мне как-то тоже пришлось поиграться, но я не думал, что в России в принципе когда-либо появятся H100. Поэтому в этот раз главная шутка будет про санкции и про сумочку , сделанную из H100. Также пару слов расскажем про "фишку" MIG, доступную для самых толстых карт в линейках NVIDIA (из "доступных" в основном A100 и H100, но есть и экзотика). В конце даже получилась небольшая детективная история. Поехали
https://habr.com/ru/articles/945290/
#nvidia #H100 #hopper #deep_learning #машинное_обучение #видеокарта #nvidia_tesla #nvidia_tesla_h100
Обучаем GigaAM-Emo распознавать ещё больше эмоций
Модель распознавания эмоций в речи GigaAM-Emo умеет классифицировать 4 эмоции: angry , sad , neutral , positive . Для некоторых задач бывает не достаточно классифицировать эмоции на 4 класса и хочется иметь более полный список эмоций. В статье рассмотрим: существующие корпуса данных для распознавания эмоций, ключевые возможности разработанного пайплайна для дообучения GigaAM с использованием библиотек hydra и Pytorch Lightning , результаты экспериментов с различными архитектурами и функциями потерь. Демо можно попробовать тут
https://habr.com/ru/articles/935802/
#распознавание_эмоций #deep_learning #gigaam #pytorch_lightning #hydra #космотекст
