A gente provoca o governo falando em SOCIAL.GOV.BR, mas o banco PostgreSQL do Mastodon escalaria fácil pra dezenas de milhões de usuários?

🤔

#vemprofediverso #thefutureisfederated #Mastodon #postresql #GOVBR

Postgres 18 async IO – шаг к «взрослым» нагрузкам?

Давайте честно – пока что Postgres редко используется для действительно больших и нагруженных баз. Этому множество причин, но главная формулируется просто: « не тянет ». У каждого есть своя граница, где Postgres ещё применим, а дальше —уже нет. Обычно это где-то между одним и пятью терабайтами , дальше жить с этим « больно ». База просто не может обработать большой объем данных с той скоростью, которую способны выдать диски. И вот — Postgres 18, впервые за долгое время, предлагает не косметическую, а фундаментальную новинку . То, что в Oracle есть уже 20+ лет — асинхронный ввод-вывод (аsync IO) . Попробуем посмотреть async IO и ответить на вопрос - стал ли Postgres ближе к «взрослым» нагрузкам?

https://habr.com/ru/articles/958382/

#PostreSQL #Postgres #async_io

Из Excel в SQL. Имеет место быть?

Эта статья, скорее для ознакомления и хотелось бы получить советы по данной работе. Итак, Excel-файл весит 500+ мегабайт, состоит из сотен тысяч строк, десятков листов и формул, которые «протягиваются» по 30+ столбцам — это не работа, а страдание. Именно с таким «монстром» я столкнулся, когда в компании собрались данные из разных отделов в один файл. Вкратце структура файла - Лист "Массив" (Data_Lake - в левой части 34 столбца с которым работают специалисты и на котором отрабатывают основные формулы и правая часть с 46 столбцами, куда подтягиваются сырые данные, с которыми будет производиться обработка). И множеством листов со справочниками, правками. Открытие этого Excel-файла занимает 10 минут, а если обновить хотя бы часть формул — можно идти пить чай. Работать с такими данными просто невозможно, особенно если тебе нужно анализировать их, строить отчёты или готовить выгрузки. Поэтому решил попробовать все перевести на PostgreSQL. Для этого всего лишь требовалось переписать формулы с Excel на SQL. Хорошо, что большинство формул это условия ЕСЛИ, ИЛИ. Вот самая простая формула:

https://habr.com/ru/articles/931758/

#sql #postresql #python #оптимизация #excel

Why in the world did #PostreSQL choose `||` as the string concatenation operator?

[Перевод] Я завайбкодил и запустил приложение за три дня. И его взломали. Дважды. Вот что я усвоил

Моё приложение представляет собой каталог, который объединяет профили исследователей безопасности с различных платформ, таких как HackerOne, Bugcrowd, GitHub и других. Фронтенд подключается к Supabase, и я создал его с помощью инструментов Lovable и Cursor. Вся автоматизация, которая подает данные в базу данных, обрабатывается отдельно. Изначально я планировал разрешить пользователям самостоятельно регистрироваться через Supabase Auth и запрашивать профили, которые они хотели бы агрегировать. Но в процессе реализации я понял: это создаёт риски, ведь нужно корректно управлять как аутентификацией (какой именно пользователь), так и авторизацией (что ему разрешено). Я отказался от саморегистрации… но упустил важную деталь. (Подробнее об этом чуть позже.)

https://habr.com/ru/articles/915324/

#вайбкодинг #postresql #rls #frontend #безопасность #supabase #cursor

Performance archaeology: OLAP #postresql https://vondra.me/posts/postgres-performance-archaeology-olap/

High Availability в Postgres Pro без головной боли

Для тех, кто устал от «зоопарка» решений по созданию отказоустойчивых кластеров, расскажем, как добиться нужной функциональности одним решением. BiHA позволяет данным «выжить», даже если один из ЦОДов был физически уничтожен. Как же мы этого добились?

https://habr.com/ru/companies/postgrespro/articles/898396/

#postresql #postrgres #biha #отказоустойчивость #отказоустойчивые_системы #резервирование #высокая_производительность #высокая_нагрузка #высокая_доступность

PostGIS 3.5.0 #gis #postresql https://postgis.net/2024/09/PostGIS-3.5.0/

#Development #Releases
PostgreSQL 17 · The database gets incremental backup, SQL queries for JSON https://ilo.im/1608f7

_____
#OpenSource #Database #SQL #PostreSQL #Backup #Replication #Transaction #JSON #WebDev #Backend

Как реализовать и оптимизировать UPSERT в Greenplum 6

Привет! Меня зовут Антон Васильев, я работаю инженером технической поддержки компании Arenadata и нередко сталкиваюсь с довольно каверзными задачами и багами. Одной из них была проблема оптимизации механизма UPSERT в Greenplum 6. В этой статье я хочу рассказать, как эта задача может быть решена.

https://habr.com/ru/companies/arenadata/articles/830864/

#greenplum #arenadata_db #postresql #upsert #sql #pgsql

Как расширить JPA для работы с PostgreSQL

Всем привет! Меня зовут Антон, я — архитектор компании ITFB Group. Пережив несколько проектов, на которых встречается стек PostgreSQL с использованием связки PostgreSQL + JPA, мне удалось устранить большое количество проблем, связанных с неоптимальной интеграцией функциональности PostgresSQL в Java-приложения. В этой cтатье мы максимально подробно разберем, как можно настроить JPA для эффективной работы с PostgreSQL. Всем, кому интересна эта тема, добро пожаловать под кат)

https://habr.com/ru/companies/itfb/articles/825406/

#postresql #jsonb #tsquery #hibernate #jpa #spring_data_jpa #dialect #sql #java #javascript

Telegram Боты на Aiogram 3.x: Первые Шаги

Привет, друзья! За свою практику программирования я успел написать множество малых, средних и крупных проектов, преимущественно в формате Telegram-ботов. Моя история началась с популярной на то время версии aiogram 2.24 (тех, кто в теме, поймут), а сейчас я полностью перешел на версию 3.x, о чем нисколько не жалею. В этом посте я хочу начать делиться с вами своим опытом разработки Telegram-ботов через библиотеку aiogram. Сейчас вы читаете вводный пост по этой обширной, но на самом деле не такой уж и сложной теме. Если я увижу положительный отклик, то пойму, что эта информация вам полезна, и мы будем углубляться в разработку ботов все дальше и дальше. Сегодня мы научимся:

https://habr.com/ru/articles/820527/

#aiogram #aiogram3 #telegram #telegrambot #postgres #postresql #apscheduler

Ни минуты даунтайма. Автоматизированная система управления обращениями для бизнеса

Как мы помогли ГУП «Водоканал Санкт-Петербурга» улучшить работу с обращениями жителей самого северного мегаполиса мира. Водоканал управляет почти 18 000 км водопровода и канализации. Каждый день предприятие делает более комфортной жизнь 5 миллионов человек, десятков тысяч предприятий и организаций Петербурга. Чтобы ускорять работу с обращениями внешних потребителей и заявками сотрудников для оказания качественного сервиса, нужна налаженная работа с обращениями. Для этого предприятию требовалось современное и удобное решение. Им стала автоматизированная система управления обращениями на базе Naumen, которую внедрила СИГМА.

https://habr.com/ru/companies/sigma/articles/816863/

#контактцентр #naumen #amcharts #postresql #redis #ivr #автоматизация_бизнеспроцессов #автоматизация_предприятий

Step 1: Enable #dotnetaspire orchestration
Step 2: Enable #dotnetaspire service discovery
Step 3: Enable awesome functionality with components that make everything easier! I show you how:

https://youtu.be/4t_-g4fwEG0

#dotnet #postresql #rediscache #cloudnative

@tamas having recently moved 2 #django projects to #flyio I would recommend them. Host your projects on #gitlab, use their #ci to create a container of the project and push that to #flyio with their #postresql backend. Add a CDN in front if you need to.

In conversation last night calculation of drainage basins from #OpenStreetMap data came up. I've played with the data before: http://sk53-osm.blogspot.com/2016/10/skeletons-in-water.html

Since then I've learnt of the power of DBScan Clustering, so here's a crude draft of British drainage basins just using #PostreSQL ST_ClusterDBScan.

¿Que gestor de base de datos SQL free preferís, #Mariadb o #PostreSQL?

today is the first day that i've appreciated the symmetry of #PostreSQL & #SQLServer storing their schema info in INFORMATION_SCHEMA — any tools used for analyzing data can also be used for analyzing schemas

it feels very lispy to me

@fluffy

I’m looking into migrating #pleroma (and #postresql) to #docker containers using docker compose.

(Btw If anyone reading this made this type of migration, let me know how it went)

If all goes smoothly I’ll also deploy an #XMPP container as well (probably #ejabberd)

Also might try to use #codeberg ‘s pages to host a simple site, just for shits and giggles

Veille matinale #19 https://blog.welcomattic.com/veille/2021-04-09-veille-matinale-19/ #secrets #php #postresql