Medallion в ClickHouse: DWH без миграций схемы

Десять запросов — и ты уже думаешь об индексах. Тысячи запросов — и начинаешь молиться на базу. Миллионы строк — и ищешь, как поделить данные на кластера. А триллионы? Ты уже не инженер. Ты смотритель в зоопарке. И пока ты строишь этот цирк из движков, ответ был прямо перед тобой. В том самом «движке для отчётов», который уже стоит у тебя в углу. Может, покончить со зверинцем БД? Логи, метрики, векторы, живые данные — можно просто положить в один движок. И он давно у вас есть, и, кажется, пора дать ему работать.

https://habr.com/ru/articles/991588/

#ClickHouse #PostgreSQL #Data_Engineering #DWH #Medallion_Architecture #ETL #PeerDB #Realtime_analytics #Data_Vault

Реализация MCP в Open WebUI. Часть 1. Интеграция c Open WebUI

В момент выхода протокола MCP нас очень заинтересовали его возможности. Нам хотелось использовать этот протокол для того, чтобы внутренние пользователи могли обращаться к базе данных в свободной форме и получать данные в течение нескольких минут. MCP для этого выглядел очень хорошо: пользователь может сформировать запрос на удобном для него языке, а LLM поймет, что нужно сделать и сделает это. На первый взгляд MCP в связке с LLM полностью закрывал данные проблемы, однако с ростом объема данных стало заметно, что LLM не удается обрабатывать их быстро и качественно, а написание SQL запросов для нее не всегда легкая задача (даже если примеры этих запросов у нее есть в промпте). В итоге мы получили потерю контроля над контекстом модели и непредсказуемый результат. В этой части я расскажу про интеграцию с Open WebUI и какая архитектура модели позволила победить вышеуказанные проблемы. Следующие статьи расскажут о реализации MCP таким, каким он позволяет выполнять наши задачи (но не финальной версии). Эта статья может быть полезна всем, кто строит свои модели на основе Open WebUI или еще только выбирает фреймворк, на котором предстоит строить будущую модель К интеграции с Open WebUI

https://habr.com/ru/articles/993802/

#openwebui #mcp #clickhousemcp #clickhouse #интеграции

We have temporarily paused the discussion on digital sovereignity to enjoy some free food and beers from #Clickhouse, an American VC funded company. #FOSDEM

Как мы сократили объем данных в 10 раз, не повредив пользовательскому опыту, или переезд Postgres → ClickHouse

Всем привет, меня зовут Алексей Леонтьев, я техлид и архитектор на проекте Smartbot в компании KTS. Smartbot — это nocode-платформа для настройки сценариев чат-ботов, которые могут работать в нескольких соцсетях и мессенджерах одновременно. Мы храним много данных о событиях, которые обрабатывает наша платформа. Раньше для этого мы использовали Postgres. Но возникла задача сократить потребляемые кластером ресурсы. В этой статье я расскажу о том, как мы бесшовно перенесли данные из Postgres в ClickHouse. И при этом сократили оперативную память в 4 раза, а размер потребляемого дискового пространства — на порядок.

https://habr.com/ru/companies/kts/articles/988510/

#Postgres #clickhouse

New pg_clickhouse release today, v0.1.3 improves time zone conversion, UUID and INET support, test runtime, and code quality. It also introduces a security policy. Easy upgrade, no need to `ALTER EXTENSION`, just reload the library.

https://github.com/ClickHouse/pg_clickhouse/releases/tag/v0.1.3

#PostgreSQL #ClickHouse

I’ll write a longer thing about it but #clickhouse is the craziest leap forward in observability technology I’ve ever seen. The ability to process queries of billions of logs in 1-2 seconds is unlike anything on the market I have tried. #observability

ok so i spent a couple days wiring some tricky service logs up to #clickhouse through #vector and now i want literally every line of log output on my hosts to do that, has anybody else played with this? https://vector.dev/

🌗 ClickHouse 正式收購 Langfuse：聯手打造頂尖 LLM 工程平臺
➤ 當高效能數據庫遇上生成式 AI 觀測平臺，加速 LLM 應用規模化生產
✤ https://langfuse.com/blog/joining-clickhouse
開源 LLM 工程平臺 Langfuse 宣佈正式併入 ClickHouse 旗下。這項收購源於雙方在技術架構上的深度合作：Langfuse 在 v3 版本中為了克服高吞吐量數據處理的瓶頸，已將核心數據層遷移至 ClickHouse。收購後，Langfuse 承諾將維持其開源精神與自託管（Self-hosting）路徑，並確保現有雲端服務不受影響。透過 ClickHouse 強大的工程資源，Langfuse 將加速開發更高效、穩定且符合企業級合規要求的追蹤與評估工具，協助開發者縮短 AI 代理（Agents）從實驗室到生產環境的開發週期。
+ 「對於自託管用戶來說，看到官方承諾不更改開源協議（License）真的鬆了一口氣。ClickHouse 的加入
##科技併購 #開源軟體 #AI基礎建設 #LLM工程 #ClickHouse

🎉 Breaking news: #ClickHouse swallows #Langfuse whole! 🤯 Don't worry, dear user, absolutely nothing will change... except everything. Welcome to the magical world where acquisitions mean "business as usual" and your roadmap is still shrouded in ✨ corporate mystery ✨.
https://langfuse.com/blog/joining-clickhouse #Acquisition #BusinessAsUsual #CorporateMystery #DataNews #HackerNews #ngated

ClickHouse Acquires Langfuse

https://langfuse.com/blog/joining-clickhouse

#HackerNews #ClickHouse #Langfuse #Acquisition #TechNews #DataAnalytics

Куда Clickhouse прячет данные и как их восстановить

Clickhouse никогда не удаляет ваши данные, главное помнить об этом и знать где искать. Наш кейс миграции на Clickhouse Keeper, история потери и восстановления данных

https://habr.com/ru/articles/985844/

#Clickhouse #dba

Ya esta disponible La Experimental #17:

🔧 Apps de Markdown
🚀 Django 6.0
💻 Navegador Markdown CLI
📚 Curso ClickHouse
🧑🏻‍💻 App de diagramas
🐍 Tool Python
💾 Comparativa de data tools
🌩️ Gestor de tareas SelfHosted
💼 Guía salarial Tech España

Link: https://open.substack.com/pub/laexperimental/p/le-17?r=54y3on&utm_campaign=post&utm_medium=web&showWelcomeOnShare=true

#ia #ai #python #tech #technology #selfhosting #cli #linux #opensource #development #dev #markdown #Django #ClickHouse #data #spain

Dear #infosec #lazyweb Are there any browsers that support sending their #logs to #ElasticSearch / #ClickHouse etc?

I'd kinda like to see what these fucking programs are doing with all my data and the way I normally see what a fucking program is doing is by #regex matching against a #log

(This post was indeed inspired by a post about garbage collecting fail2ban rules)

@andruwa13 @lina

Я сам був в шоці.
Але вони після того, як у них все лягло, самі описали, що відбулося.
І в ньому вони згадували про #clickhouse

Как JOIN изменил наш подход к инфраструктуре данных в NAVER

После миграции с ClickHouse на StarRocks NAVER существенно оптимизировала обработку многотабличных JOIN. StarRocks повысил производительность запросов, обеспечил бесшовное масштабирование и позволил построить единый слой запросов, совместимый с множеством источников данных. Эти улучшения позволили предоставлять инсайты в реальном времени и поддерживать принятие решений на основе данных во всей экосистеме NAVER.

https://habr.com/ru/articles/983356/

#StarRocks #ClickHouse #Apache_Iceberg #Lakehouse #JOIN #OLAP #Kubernetes #материализованные_представления #federated_analytics #аналитика_в_реальном_времени

Introducing pg_clickhouse: A #Postgres extension for querying #ClickHouse https://clickhouse.com/blog/introducing-pg_clickhouse

Как я вкатывался в Clickhouse

Я блокчейн разработчик, и в проекте у нас базы на сотни гигабайт с децентрализованных бирж. Чтобы строить аналитические отчеты и делать агрегации, такие как вычисления цен, биржевых свечей, объемов торгов, цен на токены, мы используем БД Clickhouse. До этого я работал только с Postgres (и давно с MSSQL), и хочу рассказать, как я вкатывался, что удивило – практический опыт и WTFы. Прочитав эту статью вам, возможно, захочется сделать аналитику по своим данным в Clickhouse – возможно, ищете, что полезного освоить на длинных выходных. Итак, поехали!

https://habr.com/ru/articles/982130/

#clickhouse #bigdata #аналитика #блокчейнданные #личный_опыт

Dành cho kỳ nghỉ: danh sách blog công nghệ đáng đọc do người sáng lập ClickHouse đề xuất. Bao gồm các chuyên mục về hệ thống, dữ liệu, lập trình và xu hướng công nghệ mới. Thêm vào bookmark để cập nhật kiến thức và truyền cảm hứng! #CôngNghệ #TechBlogs #LậpTrình #Data #ClickHouse #ReadingList #HolidayReading

https://www.reddit.com/r/programming/comments/1pzixly/good_technology_blogs_a_reading_list_for_the/

Từ người tạo ra ClickHouse... Công bố thông tin mới #ClickHouse #Database #CôngNghệ #DatabaseManagement # TinCôngNghệ

https://clickhouse.com/blog/tech-blogs

Проверяем популярные движки вычислений на задаче BI-доступа с помощью теста ClickBench

В сегодняшней публикации мы попробуем разобраться в производительности популярных MPP-движков в специализированной задаче ХД – предоставлении доступа к денормализованной витрине данных. Также ответим на вопрос: нужен ли ClickHouse в аналитическом ландшафте, спроектированном по принципу Lakehouse-платформ? Для этого будем использовать бенчмарк ClickBench. ClickBench появился не так давно, в 2022 году. Методика создана и поддерживается командой ClickHouse. Авторы позиционируют его следующим образом - «Этот бенчмарк представляет типичную рабочую нагрузку в следующих областях: анализ потоков кликов и трафика, веб-аналитика, машинно-генерируемые данные, структурированные журналы и данные о событиях. Он охватывает типичные запросы в ad-hoc аналитике и дашбордах реального времени». Последний сценарий вызывает у нас особый интерес, ведь редко встретишь архитектурный дизайн аналитического ландшафта, где не было бы решения на базе ClickHouse именно для этой цели, на вершине пирамиды тракта данных от источника до потребителя.

https://habr.com/ru/companies/datasapience/articles/978430/

#clickhouse #starrocks #trino #impala #bigdata #dwh #s3 #bi