Memory Is All You Need: Активная память для трансформеров — мой новый подход к долгосрочным зависимостям в ИИ

Переосмысливаем память в ИИ: от пассивного контекста к активной, 'живой' системе. Мой проект MemNet с Hebbian-графом и 'сновидениями' решает задачи долгосрочных зависимостей. Код на GitHub + эксперименты внутри!

https://habr.com/ru/articles/983684/

#AI #machine_learning #transformers #memory_augmented_networks #continual_learning #neural_memory #longterm_dependencies #rag #neuroscience #paradigm_shift

Нейросеть, которая помнит всё: заморозка ядра вместо «костылей» (Frozen Core Decomposition)

Frozen Core Decomposition (FCD) — инновационный метод для решения проблемы катастрофического забывания в continual learning. Используя разложение Tucker, метод достигает 96.1% точности на Split MNIST с минимальным забыванием (0.2%) и поддерживает работу с CNN, ResNet, GPT-2 и другими архитектурами. В статье разбираем математику, результаты экспериментов и реализацию на PyTorch.

https://habr.com/ru/articles/979030/

#continual_learning #neural_networks #frozen_core_decomposition #tucker_decomposition #machine_learning #deep_learning #catastrophic_forgetting #incremental_learning #PyTorch #neural_network_training