Building an ML-Powered Transaction Classifier with Retraining and A/B Testing
Every month I download a CSV from my bank with all our household transactions. Each one needs a category: groceries, fuel, mortgage, subscriptions, insurance.
https://www.hylkerozema.nl/2026/02/26/building-an-ml-powered-transaction-classifier-with-retraining-and-a-b-testing/
#DataScience #MachineLearningEngineering #classification #DataScience #Flask #MachineLearning #MLflow #MLOps #mongodb #NAS #Optuna #Python

We’re looking for a way to version and catalogue self-trained deep learning models (training data, code revision, etc.) from our Tissue-Concepts family of medical foundation models.

We’ve briefly looked at #W&B, #MLflow (now integrated into GitLab), and intensely tried storing more-or-less-documented model snapshots to disk.

Has anyone had good or bad experiences with these tools in research / medical ML settings? Any recommendations?

#ComputationalPathology #datascience #deeplearning

And, finally, success. Figuring out access controls took a bit of work too. It was particularly weird to see that I could navigate to the 'create user' section through the browser, but not actually create the user. The solution to that was setting the --cors-allowed-origins flag to be the sites own URL (I'm sure this makes perfect sense to a webdeveloper).
It will take a bit of getting used to that some management will happen through python scripts (such as changing user passwords)

#mlflow

For anyone curious: 'Invalid Host header' means that the '--allowed-hosts' flag has to be set, with the actual web address through which mlflow will be accessed. That works now.

Next step is checking that the python api also works, and then figuring our access control(s).

Given my zero web developing knowledge, I am feeling very technical.

#mlflow

Next hurdle was acually connecting to the machine through the internet. There are two ways which need to work:

- through a browser, so we can inspect our results.
- through the python API, so we can actually log our results.

This morning I figured out how to get the browser thing to work. Or, more precisely, a friendly IT guy told me what my error message meant, so I could figure out what to change in the setup.

#mlflow

I thought I would start a thread documenting my exploration of #mlflow as a #neptune replacement to track machine learning experiments and results in my group.

First results:
I got the university to set up a virtual machine (which was, disappointingly, not-free) on which to run the service. That took a lot of back-and-forth with IT until both I and a few phd students could actually log in. But we got there.

#selfhosting

MLflow로 AI 에이전트 안전성 테스트: GPT vs Gemini 레드팀 실험

https://aisparkup.com/posts/7821

AI Skills 2025: LangChain, RAG & MLOps—The Complete Guide

https://techlife.blog/posts/ai-skills-2025-langchain-rag-mlops-guide/

#LangChain #RAG #MLOps #LangGraph #DeepAgents #Kubernetes #VectorDatabases #ChromaDB #Weaviate #Pinecone #MLflow

Benchmark Driven Development: почему мы перестали верить чужим бенчмаркам

В этой статье расскажем, как мы пришли к подходу, который внутри называем Benchmark Driven Development (BDD) — разработка, движимая бенчмарками на своих данных. (Да, мы знаем, что BDD — это ещё и Behavior Driven Development, тут у нас своя расшифровка 🙂)

https://habr.com/ru/articles/975188/

#ML #mlflow #datascience #benchmark #ocr

🚀 New blog post: Choosing the Right LLM with MLflow

How do you systematically evaluate which open-source LLM performs best for your use case?

I wrote a hands-on guide covering:
✅ Comparing multiple models (Llama, Mistral, DeepSeek)
✅ Docker Compose infrastructure
✅ Complete Python & bash code

The evaluation pipeline works unchanged from local → staging → production.

https://www.lotharschulz.info/2025/12/08/choosing-the-right-llm-systematic-model-evaluation-with-mlflow/

#MLOps #LLM #MLflow #Python #DevOps #MachineLearning #OpenSource #AI

Единый вход для ML-стека на примере Keycloak

Привет! Я Саша Абакумов, DevOps-инженер в KTS . Нашей команде часто приходится поднимать инфраструктуру под ML-проекты. Со временем число ML-инженеров и разработчиков на таких проектах росло, и логиниться в каждый по отдельности становилось все больнее. Чтобы упростить коллегам жизнь, мы интегрировали Single Sign-On (SSO) в стек одного из наших проектов, состоящий из JupyterHub, Airflow и MLflow. SSO позволяет единообразно аутентифицироваться во всех инструментах под одной учетной записью. Помимо очевидного удобства, нам это также дало возможность централизованно управлять доступом и внедрить RBAC — сопоставление ролей в инструментах с группами или ролями в IdP. В качестве инструмента для реализации SSO я использовал OIDC-провайдер Keycloak, наверняка многим хорошо знакомый. Ниже я расскажу о том, как с его помощью настроить SSO для JupyterHub, MLflow и Airflow (все компоненты разворачиваются с помощью Helm-чартов).

https://habr.com/ru/companies/kts/articles/971982/

#ml #mlflow #sso #sso_аутентификация #jupyterhub #airflow #keycloak

Thiết lập homelab trong phòng trọ: Lựa chọn giữa Laptop 16GB RAM hay Xeon E5-2680v4 mạnh hơn? Cần tối ưu cho GitLab, CI/CD và MLflow (không huấn luyện mô hình). Lo ngại về ồn, nhiệt và mạng 2Mbps upload. #Homelab #DevOps #MLOps #GitLab #MLflow #Xeon #GiayTocLap #StudentTech #SelfHosted

https://www.reddit.com/r/selfhosted/comments/1p69f7f/student_homelab_in_a_dorm_laptop_vs_xeon_for/

In part 1 of our article "Assembling MLOps practice", published in May, we discussed the definition of MLOps and outlined the requirements for implementing this practice within an organisation. This time with part 2 of the article, we move forward by exploring part of the technical stack that could be an option for implementing MLOps...
Article link >> http://www.beolle.info/Pe6L

#mlops #MLflow #DevOps

MLflow has added an MCP server in the most recent release, MLflow 3.4.0. You can e.g. use natural language to find and diagnose failing agent traces w Clauded Desktop. This is a huge step toward making MLflow a tool usable by agents.

Blog on setting this up coming soon.

#mlflow #ai #agents

Unlock MLOps mastery! Dive into the power of MLflow tracking with our 5 essential steps. Transform your ML workflow from chaos to clarity and achieve true reproducibility. #MLOps #MLflow #MachineLearning #DataScience #AI #TechTutorial

https://teguhteja.id/mlops-mlflow-tracking-guide/?utm_source=mastodon&utm_medium=jetpack_social

Библиотека OutboxML от Страхового Дома ВСК

Хабр, привет! Меня зовут Семён Семёнов, я руковожу Data Science и Machine Learning в Страховом Доме ВСК. В этой статье расскажу, как мы создали систему автоматического обучения и развёртывания моделей машинного обучения с открытым исходным кодом. Первый вопрос, который может задать себе читатель, знакомый с темой современного машинного обучения: «Почему бы не взять одну из десятков (если не сотен) открытых AutoML-библиотек?» Ответ прост: мы не стремились создать ещё один «стандартный» проект AutoML. Наша цель — сфокусироваться на вещах, которые редко встречаются в готовых решениях:

https://habr.com/ru/companies/vsk_insurance/articles/942110/

#automl #машинное_обучение #машинное_обучение_python #data_science #mlops #mlflow #fastapi #grafana #открытый_код #ml

pip install -U mlflow

#MLflow 3 has been released.

#ML #AI

MLflow для исследований: как систематизировать ML-эксперименты

Когда речь заходит о таких инструментах, как Airflow, MLflow или Docker, многие сразу представляют себе продакшен-среду, и новичков это может пугать. Однако на самом деле эти инструменты полезны не только в проде или крупных компаниях. Сегодня я хочу рассказать об MLflow. Эта статья рассчитана на тех, кто только начинает свой путь в машинном обучении и обладает базовыми знаниями, а также на практикующих ученых в области ИИ, которые пока не знакомы с этим инструментом или сознательно им не пользуются.

https://habr.com/ru/articles/905986/

#mlflow #машинное_обучение #искусственный_интеллект #эксперименты #логирование #трекинг #mlops

Введение в MLflow: настройка и запуск

Введение в MLflow: настройка и запуск Привет, Хабр! Я Александр Кузьмичёв, специалист по анализу данных и машинному обучению в ПГК Диджитал. Мы в компании занимаемся разработкой цифровых продуктов для железнодорожных грузоперевозок. Ранее я рассказывал о том, как открытая платформа MLflow помогает нам в работе. В этой серии статей я хотел бы поделиться с вами увлекательным путешествием в мир MLflow, Optuna, AutoML и развёртывания моделей с помощью MLflow. Сегодня мы заложим фундамент, начнём с вводной статьи. Я расскажу, как установить и настроить MLflow, а также как опубликовать его с доступом в интернет. Это пригодится для мини- и пет-проектов. В дальнейшем добавлю функционал по логированию, что значительно упростит процесс работы с моделями. Что потребуется: Docker Statics IP- статический (неизменяемый внешний) IP Internet Free space ~40gb Что получим: MLflow Jupyter Minio Mysql Настроенные пути к портам Логин и пароли для моделей

https://habr.com/ru/companies/pgk/articles/904078/

#mlflow #mlops #python #ML #devops #jupyter #minio #mysql

Explore how to design a #MachineLearning pipeline with built-in observability for credit card fraud detection.

The approach leverages powerful tools like MLflow, Streamlit, Prometheus, Grafana & Evidently AI.

📖 #InfoQ article: https://bit.ly/4l0FrBa

#MLflow #Streamlit #Prometheus #Grafana #EvidentlyAI #Observability #Performance #DataVisualization