✨ #AI in #BI is like a self-driving car: that still needs you at the wheel.
Maxime Beauchemin, creator of Apache #Superset and Apache #Airflow, explains why #analytics aren't ready to go full autopilot and how we can embrace smart assistance instead. Because 90% isn’t good enough.
🎥 Watch now! https://abracadata.space/sessions/2025/ai-in-bi/
Как мы мигрировали с Zeppelin и что из этого вышло. Часть 1. Рассылки
Для задач аналитики Zeppelin - это чуть ли не находка. Он может в одной книжке исполнять код на любом языке (был бы интерпретатор), выводить его в виде красивых табличек, графиков и в любом другом виде, который удобен. И на Хабре есть много статей , посвященных плюсом данного решения для задач аналитики. В результате в аналитический отдел ТКБ Инвестмент Партнерс данный инструмент проник достаточно глубоко: на нем писались аналитические отчеты для разных отделов, расчетные таблицы, которые затем отсылались в дашборды, также данными книжками могли пользоваться все, кто знал какие-либо языки программирования. И мы попали в зависимость от него. Панацея, которая должна была стать легким решением для (почти) любой задачи превратилась в наше проклятие. Из-за проблем с данной системой на нас приходило по 5-7 тикеров в неделю, а также потерей доверия к нашим сервисам. Как мы с этим справились?
Как мы разгрузили базу данных в проде и не сломали систему
Наверное, всем знакома ситуация, когда собираешь красивый отчет в BI-системе, пользуешься им полгода, а потом он с каждым днем тормозит все сильнее? Графики обновляются дольше обычного, таблицы медленно грузятся. А все потому, что BI работает на одной базе на пределе своих возможностей из-за перегруженности. Пример классической схемы, с которой начинают почти все компании: BI + база данных. Пока стартапы не могут позволить себе дорогостоящее озеро данных или DWH, они устанавливают базу данных, заполняют ее и прикручивают рядом BI-систему. Вот только данные в растущей компании имеют свойство прибывать. К примеру, у стартапа в первые месяцы работы было пять заказов в день, затем 100, 1 000 и еще больше. День за днем, год за годом все данные складываются в одну базу данных, и в итоге получается тяжелая, медленная система, которой банально неудобно пользоваться. Можно увеличить мощность базы данных, но это лишь отложит проблему на время, а не решит ее. А можно снять нагрузку с базы и доверить обработку накопленных данных другим инструментам и системам хранения. В этой статье я расскажу, как решить проблему с базой данных, которая трещит по швам, с помощью облачных managed-сервисов.
https://habr.com/ru/companies/cloud_ru/articles/987934/
#хранение_данных #bi #s3 #база_данных #хранение_данных_в_облаке #trino #metastore #airflow
Hello #Fediverse! Looks like I’m an #introduction away from joining the conversation so here goes!
I lead data teams for a healthcare system in New Mexico. My healthcare path started in acute care nursing before moving into #Informatics. These days, I’m deep into #Python, #Airflow, and #LLMs. I also love #Soccer (#Football), #Sailing, and doing anything my kids let me tag along for.
Looking to connect on #HealthIT, #DataEngineering, and #DataScience or just chat about other interests.
There are better, but after designing and printing my own fan shroud for a case fan to add better airflow for my gpu, I'm kinda proud of myself, thats a 10C difference. #gpu #burn #airflow #3dprint #Temperature
Join our Weekend Workshop: #Apache #Airflow - Basics to Advanced
Airflow is a leading task orchestration tool, widely used in the industry. Although it's often linked with data engineering, its capabilities extend far beyond.
Dates: 14 - 15 Feb
https://prelude.tech/upcoming_workshops/14/details
Use the code GIFT25 to enjoy a 25% festive discount! Offer valid until 11 January.
💡 Apache Airflow 2025 Recap
2026 has arrived which marks a great opportunity to review and assess the changes the last year has brought to the ever evolving landscape of open source data tools.
In our new #blog post we look at Apache Airflow and how the leading open source orchestration platform has changed in the last year with the bit v3 major release.
#apacheairflow #airflow #opensource #dataengineering #datascience
If you have any new years resolutions that involve learning, then come learn with us :) We're running some holiday specials! https://prelude.tech/upcoming_training
Offer valid until 11 January!
#django #htmx #alipinejs #airflow #tailwindcss #git #playwright
If you have any new years resolutions that involve learning, then come learn with us :) We're running some holiday specials! https://prelude.tech/upcoming_training
Offer valid until 11 January!
#django #htmx #alipinejs #airflow #tailwindcss #git #playwright
I've been thinking about learning #n8n so I can automate a few things in my life. I keep hearing how cool it is. After poking around a bit, I think #Airflow is a better fit for me. It's way more flexible (because Python) and scalable.
I think people misunderstand what Airflow really is. It's not a data pipelining tool. It's a task orchestrator.
Hearing Max explain how he told Airbnb he would not work without building Airflow is a masterclass in knowing your leverage as an engineer. Watch: https://youtube.com/shorts/-n8335QlDRI #CareerAdvice #Airflow
"The release served as a crucial turning point for the project. Downloads from its GitHub repository increased, and more enterprises adopted the software. Encouraged by this growth, the team envisioned the next generation of Airflow: a modular architecture, a more modern user interface, and a “run anywhere, anytime” feature, enabling it to operate on premises, in the cloud, or on edge devices and handle event-driven and ad hoc scenarios in addition to scheduled tasks. The team delivered on this vision with the launch of Airflow 3.0 last April.
“It was amazing that we managed to ‘rebuild the plane while flying it’ when we worked on Airflow 3—even if we had some temporary issues and glitches,” says Jarek Potiuk, one of the foremost contributors to Airflow and now a member of its project-management committee. “We had to refactor and move a lot of pieces of the software while keeping Airflow 2 running and providing some bug fixes for it.”
Compared with Airflow’s second version, which Koka says had only a few hundred to a thousand downloads per month on GitHub, “now we’re averaging somewhere between 35 to 40 million downloads a month,” he says. The project’s community also soared, with more than 3,000 developers of all skill levels from around the world contributing to Airflow."
https://spectrum.ieee.org/apache-airflow-3-programmatic-workflows
#AirFlow #ApacheAirflow #AirBnB #OpenSource #FLOSS #WorkflowOrchestratror #Python #DataPipelines
We sat down with Max Beauchemin, creator of Airflow and Superset. Here are the takeaways: 🧵 #DataEngineering #Airflow
If you have any new years resolutions that involve learning, then come learn with me :) I'm running some holiday specials! https://prelude.tech/upcoming_training
#django #htmx #alipinejs #airflow #tailwindcss #git #playwright
dag_generator: лоукод-генерация гетерогенных Airflow DAG
Многие команды сейчас меняют проприетарное ПО на открытые аналоги. Под «открытостью» мы понимаем не только миграцию с платного софта на бесплатный, но и новый подход к построению data-платформ, где каждый продукт развивает свой сегмент платформы с помощью релевантного стека технологий. Полноценных open-source-альтернатив, которые закрыли бы все наши потребности, не нашлось. Поэтому мы решили создать свой «мультитул» — low-code-фреймворк для генерации гетерогенных Airflow DAG с незамысловатым названием dag_generator. Цель этой статьи — поделиться опытом внедрения подобного инструмента. Генерация выполняется по старинке, так что про ИИ здесь пока ничего не найдете.
I have a few exciting workshops coming up early next year, covering #Airflow, #Django's internals, #AllAuth, #HTMX, #AlpinJS, #Tailwind and #Playwright.
I'll be donating a significant portion of my income to #PyConNamibia.
Use the code PYCON_NAMIBIA to get 20% off, I'll donate a further 30% to #PyConNamibia
От CSV к дашбордам: гибкая отчетность на Postgres, Airflow и Superset
Привет, Хабр! Я Дмитрий Смотров, тружусь бэкендером в Astra Linux в команде продукта ACM — микросервисной системе, разворачиваемой на клиентских мощностях. Мы позволяем удаленно управлять клиентской инфраструктурой. Сначала я разрабатывал функциональность снятия инвентаризации и удаленного выполнения команд установки и удаления ПО, но в один момент моя жизнь резко изменилась. На проекте возникла необходимость в функциональности красивой и настраиваемой отчетности, в чем я увидел возможность проверить себя в новой для себя области. Я вызвался разобраться и помочь продукту стать еще лучше. Под катом расскажу о том, с какими трудностями столкнулся в процессе, как я их решал и что в итоге получилось. Приятного чтения :)
https://habr.com/ru/companies/astralinux/articles/972328/
#backendразработка #python #airflow #data_engineering #superset #postgresql
Единый вход для ML-стека на примере Keycloak
Привет! Я Саша Абакумов, DevOps-инженер в KTS . Нашей команде часто приходится поднимать инфраструктуру под ML-проекты. Со временем число ML-инженеров и разработчиков на таких проектах росло, и логиниться в каждый по отдельности становилось все больнее. Чтобы упростить коллегам жизнь, мы интегрировали Single Sign-On (SSO) в стек одного из наших проектов, состоящий из JupyterHub, Airflow и MLflow. SSO позволяет единообразно аутентифицироваться во всех инструментах под одной учетной записью. Помимо очевидного удобства, нам это также дало возможность централизованно управлять доступом и внедрить RBAC — сопоставление ролей в инструментах с группами или ролями в IdP. В качестве инструмента для реализации SSO я использовал OIDC-провайдер Keycloak, наверняка многим хорошо знакомый. Ниже я расскажу о том, как с его помощью настроить SSO для JupyterHub, MLflow и Airflow (все компоненты разворачиваются с помощью Helm-чартов).
https://habr.com/ru/companies/kts/articles/971982/
#ml #mlflow #sso #sso_аутентификация #jupyterhub #airflow #keycloak
