🚀 Big Data meets AI—powered by Iceberg, Spark & LLMs
At #ArcOfAI, Pratik Patel shows how to build a real architecture that lets users query massive datasets with natural language—no dashboards, no SQL, just questions & insights.
https://www.arcofai.com/speaker/1c241471d7f04018a0da70efffd35b32
🎟️ Get tickets: https://arcofai.com
#ArtificialIntelligence #BigData #DataArchitecture #ApacheSpark #ApacheIceberg #LLM #GenAI #EventStreaming #Kafka #Flink #AIEngineering #TechLeadership
Open Table Formats — Iceberg vs Paimon — практика использования
Привет, Хабр. Меня зовут Василий Мельник, я product owner решения для потоковой обработки данных Data Ocean SDI в компании Data Sapience. Наша команда приобрела большой практический опыт работы с Apache Iceberg в задачах на стыке традиционной пакетной обработки и near real-time и конкретно с использованием технологий на базе Flink, поэтому мы не могли пройти мимо нового открытого табличного формата (OTF) Paimon от разработчиков Apache Flink. В этой статье я опишу наш опыт и те практические выводы, которые мы сделали на промышленных средах, в виде репрезентативного тестирования, на котором проиллюстрирую ключевые практические сценарии.
https://habr.com/ru/companies/datasapience/articles/988308/
#iceberg #Paimon #Open_Table_Format #тесты_производительности #flink #spark
I've started using (generated) click tracking events as a data source when introducing #FlinkSQL - it's simple, yet still rich enough to let me explain a variety of nice #Flink features.
I've written up a few examples at https://dalelane.co.uk/blog/?p=5806
Bij #TacoMundo besteld en nu aan het duimen dat ze ook langskomen. #Flink liet me laatst eerst voor mijn boodschappen betalen om daarna toch maar de bestelling te annuleren. #AlbertHeijn en #Picnic leveren pas met Sint Juttemis.
Zou Taco Mundo ook in de categorie "noodpakket" vallen?
𝗙𝗹𝗶𝘁𝘀𝗯𝗲𝘇𝗼𝗿𝗴𝗲𝗿 𝗙𝗹𝗶𝗻𝗸 𝘀𝗹𝘂𝗶𝘁 𝗹𝗼𝗰𝗮𝘁𝗶𝗲𝘀 𝗱𝗼𝗼𝗿 𝘀𝗻𝗲𝗲𝘂𝘄, 𝗹𝗮𝗻𝗴𝗲𝗿𝗲 𝘄𝗮𝗰𝗵𝘁𝘁𝗶𝗷𝗱𝗲𝗻 𝗯𝗶𝗷 𝗧𝗵𝘂𝗶𝘀𝗯𝗲𝘇𝗼𝗿𝗴𝗱
Wie in deze omstandigheden eten of boodschappen wil laten bezorgen omdat 'ie zelf de deur niet uit durft, moet geduld hebben. Door het winterse weer kampen bezorgdiensten zoals Thuisbezorgd en Flink met vertragingen. In sommige regio's zijn locaties...
Flink Stateful Functions https://nightlies.apache.org/flink/flink-statefun-docs-stable/ hasn't had an update in several years and is still compiled against an old version of Apache Flink.
I spent some time during the holidays uplifting it to Flink 2.2.0 https://github.com/fransking/flink-statefun/commit/25b2dfcc3feafd701eb2fec32d413fab56e1cfe6
Notionally it appears to be working as expected.
Flink Kubernetes operator: опыт построения стриминговой Big Data платформы
Всем привет! Меня зовут Артемий, я работаю SRE-инженером в команде RTP (real time processing) Clickstream в Авито . Сегодня мы хотим поделиться нашей историей о том, как мы переехали в Kubernetes, развернув Apache Flink с помощью Flink k8s operator.
https://habr.com/ru/companies/avito/articles/972412/
#data #dwh #DataOps #bigdata #flink #sql #realtime #analytics #analytical_engine
От минут к секундам, от ClickHouse к StarRocks: путь к real‑time в Hello
Кейс Hello: миграция 100+ млрд строк с ClickHouse на StarRocks. Как ускорить аналитику в 5 раз, снизить расходы на инфраструктуру на 80% и построить real-time DWH. Разбор архитектуры, самописных инструментов валидации и подводных камней перехода.
https://habr.com/ru/articles/970388/
#StarRocks #ClickHouse #Big_Data #OLAP #миграция_данных #realtime_analytics #Data_Lake #Flink #оптимизация #DWH
FlinkSQL в Авито: что внутри и как нам это помогает
Привет! Меня зовут Артемий, я инженер в команде Processing и веду фичатрек по развитию FlinkSQL в Авито . Сегодня я расскажу про инструмент, который мы развиваем в Avito — FlinkSQL. Он использует потоковые данные для аналитики в реальном времени: метрики, временные срезы, A/B-расчеты, поиск аномалий. Все это на привычном SQL, чтобы команда видела картину и могла действовать сразу.
https://habr.com/ru/companies/avito/articles/959382/
#Flink #kubernetes #bigdata #k8s #operator #kubernetes_operator #flink_kubernetes_operator #Apache_Flink #DataOps #dataops_platform
a quick example of using LISTAGG and ARRAY_AGG in #Flink SQL (and I managed to avoid mentioning how much the inconsistent use of underscores in SQL bugs me 😜)
Some suggestions of open source tools for data #analytics for people thinking which tools to use or consider to use.
#Plausible for #web analytics. It's very lightweight and #privacy-friendly, #GDPR-compliant. It's possible to self-host, but their #SaaS offering is affordable and meets needs.
#Metabase (self-hosted) for #business intelligence and organizing business/customer #data. It takes some time to configure and prepare #datasets, but for long-term is worthy.
#Clickhouse for sub-second #OLAP analytics.
Depending on projects/business scenarios, Apache Software Foundation's tools like #Doris, #Airflow, #Druid, #Flink, #Cassandra. They require some time to learn, but it's good idea to be familiar with them.
#dataanalytics #business #opensource #tech
Join us in #Lucerne on October 15, 2025 for an exciting talk by Viktor Gamov about #StreamProcessing with #Apache #Flink!
Stream processing has come a long way. Today’s systems handle strict correctness guarantees, low latency, and terabytes of state. In this talk, Viktor will introduce #ApacheFlink, explain concepts like stateful and event-time stream processing, and explore its APIs and ecosystem.
More info & registration: https://www.jug.ch/html/events/2025/stateful_stream_processing.html
Sure, you can read the docs — or you can tap into insights from real #Flink deployments. Charos Alexandros packs the essential lessons for going from #IDE to #Cluster. Ready to level up your workflows?
Click through: https://javapro.io/2025/05/02/a-tale-of-two-runtimes-setting-up-your-local-java-development-with-flink/
Time series models are #machinelearning models that make forecasts and predictions from ordered, sequential, time-labelled data.
I've shared a demo showing how this makes them a great fit for data on our #Kafka topics, and how #Flink SQL can help orchestrate that
https://taz.de/Lieferfahrer-aus-Suedasien/!6033346/ #Lieferfahrer aus #Südasien
#Indien, #Pakistan #Bangladesch
Die meisten der „#Rider“, die für #Lieferando und Co. radeln, stammen aus #Südasien. Früher seien die #Kolonialisten mit dem Schiff nach #Indien gekommen – „heute bezahlen wir unsere eigenen Flugtickets, um uns hier zu Sklaven zu machen“. #FahrradRider #Kuriere #Indien, #Pakistan #Bangladesch, #Wolt #Flink #UberEats.
https://www.tagesspiegel.de/wirtschaft/lieferando-flink-bolt-uber-wie-prekar-sind-die-arbeitsbedingungen-wirklich-14025368.html (€) Von zehn möglichen Punkten, die nur den Mindeststandard von fairer Arbeit aufzeigen, bescheinigt #Fairwork dem #Lieferdienst #Lieferando nur vier Punkte, #Flink nur drei und #Helpling nur einen Punkt. #Uber, #UberEats, #Bolt und #Wolt erhalten gar keine Punkte von den Wissenschaftler:innen.
Flink App: the only way to stop us forcing ads down your throat is by going outside the app to the system settings and blocking us from there.
Big data processing is key in todays software, so I recently ran an experiment on how Confluent Kafka, Flink, and Tableflow can be used to handle it. The result — a good solution when the conditions are right :)
The full article and code: https://dev.to/gintautasm/creating-data-product-using-confluent-kafka-flink-tableflow-pyiceberg-and-aws-5g5c
Wollte was bei #Flink bestellen. Wundere mich wieso so viele Artikel um 30% reduziert sind.
Tjoar, weil der #Mindestbestellwert um 10€ auf jetzt 25€ angehoben wurde.
Damit ist Flink für mich aus dieser "Ich habe was vergessen zu kaufen und keine Lust mehr in den Supermarkt zu gehen"-Bequemlichkeitskategorie gerutscht.
Dafür sind die Preise einfach auch zu teuer.
Schade.
Wednesday Links - Edition 2025-06-25
https://dev.to/0xkkocel/wednesday-links-edition-2025-06-25-1e7f
#java #jvm #docker #openrewrite #flink
