Обеспечение безопасности рабочих нагрузок машинного обучения в облачной инфраструктуре
Внедрение систем машинного обучения в производственные среды становится стандартной практикой для множества организаций. Однако специфика архитектуры и жизненного цикла таких систем создаёт угрозы, выходящие за рамки традиционных подходов...
#DST #DSTGlobal #ДСТ #ДСТГлобал #MLSecOps #машинноеобучение #искусственныйинтеллект #DevSecOps #Kubernetes #кибербезопасность
Сканеры ML-моделей: разбор инструментов и некоторых методов обхода их проверок
Не у всех нас имеется достаточное количество ресурсов (вычислительных, умственных и других) для проектирования и обучения моделей машинного обучения с нуля. Поэтому кажется логичным взять уже готовые модели — к счастью, за нас многое уже сделано. Для понимания масштаба: на одном только HF уже доступно для скачивания более двух миллионов моделей. Не все они были загружены авторитетными компаниями или экспертами, не все имеют десятки тысяч скачиваний в сутки. Даже изначально легитимные открытые репозитории могут оказаться источником риска. Компания Mitiga недавно поделилась статистикой о проценте репозиториев в мире AI/ML, содержащих уязвимости критического или высокого уровня опасности в GitHub Actions Workflows. В этой статье я расскажу о том, какие существуют инструменты для проверки ML-моделей, как они сканируют артефакты различных ML-фреймворков, о том, какой еще функционал заложен в них. А в финале несколькими способами попробуем обойти проверки рассматриваемых инструментов.
https://habr.com/ru/companies/pt/articles/985692/
#ai_model_scanners #ai_security #mlsecops #information_security
Безопасная и отказоустойчивая архитектура автономных ИИ-агентов и киберфизических ИИ-систем
Современные автономные ИИ-агенты и киберфизические ИИ-системы (от беспилотного транспорта и умных электросетей до медицинских роботов и промышленных контроллеров) всё чаще принимают решения, напрямую влияющие на жизнь, здоровье, экономику и национальную безопасность. В современных условиях вопросы безопасности и отказоустойчивости перестают быть вспомогательными и становятся центральными при проектировании, развёртывании и сопровождении таких систем. При этом главная проблема заключается в том, что ИИ-системы, особенно автономные, функционируют в условиях высокой неопределённости: данные могут меняться, сенсоры — выходить из строя или банально загрязняться, внешняя среда — вести себя очень непредсказуемо, а злоумышленники — целенаправленно атаковать сотнями разных способов уязвимости моделей или инфраструктуры. При этом физические последствия сбоев могут быть катастрофическими. Поэтому архитектура таких систем должна быть изначально ориентирована не на максимальную производительность, а на безопасность, отказоустойчивость, верифицируемость и контролируемость.
https://habr.com/ru/articles/982618/
#MLSecOps #иисистемы #архитектура_системы #безопасность #ai_governance #ииагенты #киберфизические_системы #отказоустойчивость
MLSecOps: системный взгляд на угрозы и защиту на каждом этапе разработки и внедрения моделей
Всем привет! На связи Angara Security. Сегодня Лариса Карпан, старший специалист по безопасной разработке, подготовила статью для AppSec- и DevSecOps-специалистов, а также для CISO, которые уже столкнулись с интеграцией ИИ в свои процессы и системы, но пока не знают, с какой стороны подойти к вопросам безопасности. Это, по сути, «MLSecOps для самых маленьких». Просим опытных экспертов в области безопасности AI проходить мимо и не бросаться помидорами, статья рассчитана на новичков в данной области. Также хотим подчеркнуть, что данный материал относится ко всем типам ML-моделей, включая генеративный ИИ (GenAI) и предиктивный ИИ (PredAI).
https://habr.com/ru/companies/angarasecurity/articles/976798/
#devsecops #mlsecops #appsec #разработка #secure_by_design #иимодель
Новый интернет: когда в сеть заходят не люди, а агенты
Мы создали интернет, чтобы иметь быстрый доступ к библиотеке человеческого знания из любой точки земного шара...Интернет создал агентов — чтобы мы перестали в него заходить. Интернет больше не ждёт ваших кликов — теперь он сам отвечает на них. С выходом Atlas начинается эпоха, где сайты читают не люди, а нейросети. Что это значит для нас, для безопасности и для самого веба — читайте в статье о том, как интернет перестаёт быть человеческим .
https://habr.com/ru/articles/962418/
#ML #LLM #ИБ #Нейросети #Безопасность_ИИ #ChatGPT #Atlas #ChatGPT_Atlas #MLSecOps
📢 Last week, Andreas Kellas presented our work on secure deserialization of pickle-based Machine Learning (ML) models at @acm_ccs 2025!
#PickleBall is a static analysis framework that automatically derives and enforces safe deserialization policies for pickle-based machine learning models. It infers permissible object types and load-time behaviors directly from ML-library code and enforces them through a secure, drop-in replacement for Python's pickle module.
This work continues our broader effort to secure deserialization across ecosystems -- building on our earlier research presented by Yaniv David at @ndsssymposium 2024 (https://cs.brown.edu/~vpk/papers/quack.ndss24.pdf), and Neophytos Christou and Andreas Kellas at BlackHat USA 2025 (https://www.blackhat.com/us-25/briefings/schedule/index.html#quack-hindering-deserialization-attacks-via-static-duck-typing-44934), which focused on hardening PHP code against deserialization attacks using a static, duck-typing-based approach.
Joint work with Neophytos Christou (Brown University), Columbia University (Junfeng Yang, Penghui Li), Purdue University (James (Jamie) Davis, Wenxin Jiang), Technion (Yaniv David), and Google (Laurent Simon).
✳️ Paper: https://cs.brown.edu/~vpk/papers/pickleball.ccs25.pdf
💾 Code: https://github.com/columbia/pickleball
Heading to #PyTorchCon 2025? Don’t miss our BoF on Applying DevSecOps Lessons to MLSecOps (Oct 23 | 10:30 AM PDT).
Join Jeff Diecks + @mihaimaruseac as we explore secure AI/ML development with the OpenSSF AI/ML Security WG.
Just launched: A whitepaper from the AI/ML Security Working Group
🔐 Visualizing Secure MLOps (#MLSecOps)
Read the blog by Dell’s Sarah Evans & Ericsson’s Andrey Shorov + download the full guide:
🔗 https://openssf.org/blog/2025/08/05/visualizing-secure-mlops-mlsecops-a-practical-guide-for-building-robust-ai-ml-pipeline-security/
За неделю от ночных кошмаров до спокойного сна: как я автоматизировал защиту от AI-хакеров
Никто не любит быть тем парнем, который говорит "а давайте еще и защиту поставим". Особенно когда речь идет о блестящем новом AI-продукте, который должен был запуститься "еще вчера". Но когда твой корпоративный чат-бот начинает выдавать системные промпты направо и налево, а в 2 ночи тебе в Telegram прилетают сообщения "СРОЧНО! Хакеры взломали бота!" — понимаешь, что без брони в бой идти нельзя.
https://habr.com/ru/articles/930522/
#devsecops #машинное_обучение #rag #информационная_безопасность #искуственный_интеллект #devops #python #llm #mlsecops
MLDR. Как не стать героем инцидента будущего. Часть 1
Всем привет! Я Александр Лебедев, ml инженер в команде, занимающейся MlSecOps проектами в Innostage. Мы разрабатываем решения для безопасности моделей машинного обучения и внедрением ml в системы информационной безопасности. И сегодня мы поговорим о том, как не взломать искусственный интеллект. В легендарном фильме Терминатор-2 есть сцена, где робот Т-800 (герой Шварценеггера) объясняет Саре Коннор, что он вдруг решил защищать её сына, потому что его «перепрограммировали». То есть, по сути проникли в защищённый контур работы модели, сделали «промт‑инъекцию», перевернувшую с ног на голову весь «алаймент» установленный Скайнетом, и поменявшей выходы модели на противоположные. Это можно считать одним из первых успешных, с точки зрения злоумышленников, инцидентов в сфере кибербезопасности искусственного интеллекта. А нет, это же будет в 2029 году, так что пока не считается. А пока у нас есть время до того момента, когда мы будем «перепрошивать» терминаторов как playstation, обозначим два основных направлениях кибербезопасности в эпоху искусственного интеллекта: Узнать о том, как сберечь свой ИИ
https://habr.com/ru/companies/innostage/articles/929924/
#ии_и_машинное_обучение #информационная_безопасность #llm #mlsecops #ииагенты
Как построить безопасный MLOps-pipeline: Tier-уровни зрелости, принципы и реальные инструменты
На практике продакшен-модели чаще всего «падают» из-за трёх вещей: несоответствие с инфраструктурой, дрейфа данных, и ошибочного отката/обновления версии. Единый гайд по безопасной разработке ML-моделей — от хаотичного до полностью автоматизированного уровня зрелости. Что внутри: Как применять Infrastructure-as-Code для ML-кластеров и не оставлять открытые порты; Зачем даже маленькой команде нужен Feature Store и как избежать training-serving skew ; Где прячутся CVE в ML-библиотеках и как их ловить до релиза; Канареечный деплой с авто-откатом по метрикам и разумными порогами; мониторинг дрейфа данных и качества модели в реальном времени; Чек-лист DevSecOps : от тега в Model Registry до регулярных Model Review . Материал поможет выстроить MLOps-процесс, устойчивый к атакам и сбоям, не превращая релизы моделей в ночной марафон.
https://habr.com/ru/companies/swordfish_security/articles/921720/
#mlsecops #mlops #DevSecOps #ai_security #ai_safety #безопасная_разработка_ML #жизненный_цикл_ML_модели #Kubernetes_ML
Проверка на Data Poisoning в MLSecOps
В первой обзорной статье про MLSecOps мы сформировали общее понимание этого нового направления в IT, узнали про основные навыки, необходимые инженерам и архитекторам MLSecOps для успешной работы, подсветили яркое будущее и перспективы этой профессии. Cсылка на статью: MLSecOps: защита машинного обучения в эпоху киберугроз / Хабр Давайте сегодня погрузимся в практику и разберем один из наиболее часто задаваемых мне вопросов: «Как защищаться от отравления данных? Как проверять данные на Data Poisoning»? Подчеркну – не обязательно все советы из статьи реализовывать, возможно какие-то меры будут избыточны, так как в вашей практике уже реализованы альтернативные и при этом не менее эффективные стандарты защиты данных от отравления. Итак, желающих узнать ответ на этот вопрос приглашаю под кат.
https://habr.com/ru/articles/920936/
#mlsecops #data_poisoning #отравление_данных #безопасный_ии #ai_security #aurora #owasp_top10 #очистка_данных #машинное_обучение #информационная_безопасность
MLSecOps: защита машинного обучения в эпоху киберугроз
MLSecOps: защита машинного обучения в эпоху киберугроз На днях исследователь Цзянь Чжоу сообщил о критической уязвимости (CVE-2025-32434), затрагивающей все версии PyTorch до 2.5.1 включительно. Ошибка устраняется только обновлением версии до 2.6.0. Уязвимость соответствует критическому уровню риска, и позволяет злоумышленнику выполнить произвольный код на стороне жертвы без какого-либо взаимодействия с пользователем. Единственным условием является факт загрузки модели, созданной атакующим, даже при якобы безопасном параметре weights_only=True. Эта опция ранее считалась надежной, но, как выяснилось, не спасала от угроз. Подобные инциденты с развитием и повсеместным распространением нейронных сетей будут происходить всё чаще. Это еще один повод начать внедрение инструментов и технологий MLSecOps, даже на базовом уровне. Всех желающих подробнее познакомиться с особенностями и перспективами направления MLSecOps, узнать про основные виды атак, базовые методы защиты и дополнительные источники для обучения, приглашаю под кат.
https://habr.com/ru/articles/906172/
#MLSecOps #HiveTrace #LLAMATOR #Искусственный_интеллект #Машинное_обучение #Кибербезопасность #OWASP_Top_10 #Data_Poisoning #Защита #Атака
Palo Alto Networks Acquires Protect AI to Bolster Artificial Intelligence Security Tools
#AI #PaloAltoNetworks #ProtectAI #AISecurity #Cybersecurity #Acquisition #M&A #PrismaAIRS #MachineLearning #CloudSecurity #EnterpriseTech #PANW #MLSecOps #TechNews
Nieuwe methodes om zero-day kwetsbaarheden in ai/ml systemen aan te pakken https://www.trendingtech.news/trending-news/2024/10/43469/nieuwe-methodes-om-zero-day-kwetsbaarheden-in-ai-ml-systemen-aan-te-pakken #AI beveiliging #zero-day kwetsbaarheden #machine learning #MLSecOps #cybersecurity #Trending #News #Nieuws
Создание своих тестов для Garak
В прошлой статье ( https://habr.com/ru/companies/oleg-bunin/articles/843644/ ) я уже говорил о тёмной стороне больших языковых моделей и способах борьбы с проблемами. Но новые уязвимости вскрываются ежедневно, и даже самые крутые инструменты с постоянными обновлениями не всегда за ними успевают. Именно поэтому команда Garak дает пользователям возможность самостоятельного расширения функционала своего инструмента. Меня зовут Никита Беляевский, я исследую аспекты безопасности LLM решений в лаборатории AI Security в Raft. В этой статье я расскажу, как, изучив документацию Garak, можно легко добавить свои тесты и тем самым значительно повысить его полезность для ваших задач.
https://habr.com/ru/companies/oleg-bunin/articles/846450/
#Garak #mlsecops #ai #llmattack #malware #большие_языковые_модели #анализ_уязвимостей #выявление_угроз #llm
Garak: инструмент Red-Team для поиска уязвимостей в LLM
«ChatGPT раскрывает личные данные реальных людей!», «Атака на ChatGPT по сторонним каналам!», «Чат-бот ChatGPT стал причиной утечки секретных данных!», «Хакеры стали использовать ChatGPT в схемах фишинга!». — Эти новостные заголовки раскрывают нам тёмную сторону больших языковых моделей. Да, они генерируют за нас контент и анализируют данные, но помимо удобства, приносят новые виды атак и уязвимостей, с которыми надо уметь бороться. Меня зовут Никита Беляевский, я исследую аспекты безопасности LLM решений в лаборатории LLM Security AI Talent Hub и хочу поделиться нюансами настройки и использования инструмента для выявления угроз в системах на основе LLM.
https://habr.com/ru/companies/oleg-bunin/articles/843644/
#Garak #MLSec #mlsecops #Ai #llm #llmattack #большие_языковые_модели #malware #анализ_уязвимостей #выявление_угроз
Безопасность ML — фантазии, или реальность?
Так много выходит статей про атаки на машинное обучение, фреймворки по MLSecOps возникают то тут, то там... Но вот вопрос... "А был ли мальчик?" Есть ли действительно люди, которые пользуются методами проведения атак на искусственный интеллект? Выходит ли сегодня эта тема за рамки строгих математических кругов и лабораторных условий. Спойлер - да. Чтобы прочитать статью, нужно всего лишь..
MLSecOps: почему, зачем и кому это нужно?
Всем привет! Меня зовут Никита, я работаю в центре машинного обучения «Инфосистемы Джет». Сейчас я учусь в своей второй магистратуре в ВШЭ ФКН на программе «Современные компьютерные науки» и в Школе анализа данных (ШАД). Сегодня я хочу рассказать о сравнительно новой концепции, которая становится все более актуальной и использование которой совершенно точно необходимо в больших промышленных ML-проектах, — MLSecOps. Узри MLSecOps!
https://habr.com/ru/companies/jetinfosystems/articles/832288/
#MLSecOps #ml #mlops #атаки #машинное_обучение #искусственный_интеллект #ии #ии_и_машинное_обучение
