Jouons avec MinIO

Présentation

MinIO est un service de stockage objet compatible avec S3.

Stockage

Disques/ssd
S3-like (AWS, ovh & co)

Protection des données

Code d’effacements

Tester avec docker

systemctl start docker

Documentation

mkdir -p ${HOME}/minio/data

docker run -p 9000:9000 -p 9090:9090 \
     --net=host \
     --name minio \
     -d --restart=always \
     -e  "MINIO_ACCESS_KEY=minioadmin" \
     -e  "MINIO_SECRET_KEY=minioadmin" \
     -v /home/minio/data:/data \
     -v /home/minio/config:/root/.minio \
     minio/minio server \
     /data --console-address  ":9090" -address  ":9000"

Interface web de gestion :

http://localhost:9090/login

Administration

Ligne de commande

wget https://dl.min.io/client/mc/release/linux-amd64/mc
chmod +x mc
./mc alias set local http://127.0.0.1:9000 ROOTUSER CHANGEME123

Lister les différentes configs

 ./mc config host list
gcs  
  URL       : https://storage.googleapis.com
  AccessKey : YOUR-ACCESS-KEY-HERE
  SecretKey : YOUR-SECRET-KEY-HERE
  API       : S3v2
  Path      : dns

local
  URL       : http://127.0.0.1:9000
  AccessKey : ROOTUSER
  SecretKey : CHANGEME123
  API       : s3v4
  Path      : auto

play 
  URL       : https://play.min.io
  AccessKey : Q3AM3UQ867SPQQA43P2F
  SecretKey : zuf+tfteSlswRu7BJ86wekitnifILbZam1KYY3TG
  API       : S3v4
  Path      : auto

s3   
  URL       : https://s3.amazonaws.com
  AccessKey : YOUR-ACCESS-KEY-HERE
  SecretKey : YOUR-SECRET-KEY-HERE
  API       : S3v4
  Path      : dns

résultat :

  URL       : https://storage.googleapis.com
  AccessKey : YOUR-ACCESS-KEY-HERE
  SecretKey : YOUR-SECRET-KEY-HERE
  API       : S3v2
  Path      : dns

local
  URL       : http://127.0.0.1:9000
  AccessKey : ROOTUSER
  SecretKey : CHANGEME123
  API       : s3v4
  Path      : auto

play 
  URL       : https://play.min.io
  AccessKey : Q3AM3UQ867SPQQA43P2F
  SecretKey : zuf+tfteSlswRu7BJ86wekitnifILbZam1KYY3TG
  API       : S3v4
  Path      : auto

s3   
  URL       : https://s3.amazonaws.com
  AccessKey : YOUR-ACCESS-KEY-HERE
  SecretKey : YOUR-SECRET-KEY-HERE
  API       : S3v4
  Path      : dns

Synchronisation

Temps de mis en place ? 3 min !

Côté distant, sur le minio de démo :

Création d’un bucket :

Côté local :

Activation de la synchro avec les éléments : play.min.io + key + secret et versionning activé

Test de synchro ?

Poser un fichier sur la partie locale :

Le fichier est synchronisé sur le distant :

Gestion des versions

Les buckets peuvent gérer des versions de chaque fichier

Gestion événementielle

Ces événements peuvent être envoyés à des différentes notification target

Gestion de la durée de vie des objets

Cas d’usage

Passerelle S3
Réplication de fichiers
backup / archivage de données + sync S3 like

Slides

L’hébergement de splunk (2020)

200 ssd 16 To
intercos à 25Gb/s
Replication Wan 10Gb/s

Vidéos

Vidéo de 2019

Tous les articles sur ce thème : IA, data et numérique depuis les Alpes

Qui écrit ici ?

Je suis Alexandre Modesto. Depuis plus de vingt ans, je connecte la Maurienne au monde (fibre, webcams, faisceaux hertziens) et je suis ses laves torrentielles et ses éboulements sur le long terme. En savoir plus sur moi ou m’écrire.

Toutes les deux semaines, ma lettre L’Univers n’est pas la limite part d’une observation de terrain et dit ce que l’IA, l’énergie et le climat changent. Gratuite, sans publicité, et on se désabonne en un clic.

Je reçois la prochaine lettre