Cloudflare R2 Bucket清理僵尸上传

1. 安装

sudo apt update
sudo apt install awscli

1. 配置

aws configure
AWS Access Key ID: R2 Access Key
AWS Secret Access Key: R2 Secret Key
Default region name: auto
Default output format: json

export AWS_ENDPOINT_URL="https://id.r2.cloudflarestorage.com"

1. 列出

aws s3api list-multipart-uploads \
  --bucket XXX \
  --endpoint-url "https://id.r2.cloudflarestorage.com" \
  --query "Uploads[].{Key:Key,UploadId:UploadId}" \
  --output text

1. 清理

aws s3api list-multipart-uploads \
  --bucket XXX \
  --endpoint-url "https://id.r2.cloudflarestorage.com" \
  --query "Uploads[].{Key:Key,UploadId:UploadId}" \
  --output text \
| while read key upload_id; do
    echo "Aborting upload: $key  $upload_id"
    aws s3api abort-multipart-upload \
      --bucket XXX \
      --key "$key" \
      --upload-id "$upload_id" \
      --endpoint-url "https://id.r2.cloudflarestorage.com"
  done

#multipart_upload #cloudflare #r2 #aws #awscli #bucket

Мультипарт-загрузка в объектное хранилище Selectel: пишем тривиальный пример на Python

Объектные хранилища с доступом на базе S3 API — это, возможно, лучшее решение для хранения больших объемов данных. Однако при загрузке крупных файлов могут возникнуть проблемы. Например, долгая передача данных из-за сетевых ограничений или таймауты и обрывы соединения. Как ни крути, а интернет даже здесь диктует свои условия. Попробуем их обойти с помощью мультипарт-загрузки. Привет! Меня зовут Гришин Александр, я продакт-менеджер в Selectel и отвечаю за развитие объектного хранилища и облачных баз данных. В этой статье я расскажу, как загружать большие файлы в S3 с помощью мультипарт-загрузки, используя Python и boto3. Под катом вы узнаете, как работает этот механизм и как его настроить для эффективной работы.

https://habr.com/ru/companies/selectel/articles/887698/

#selectel #s3 #объектное_хранилище #multipart_upload #python #storage #object_storage