Transfert de données volumineuses entre serveurs rapides

C’est une question courante, mais googler cela donne beaucoup de merde.

Alors que les volumes de données deviennent de plus en plus élevés, tout comme la puissance de traitement et les capacités cloud, nous constatons un besoin croissant de technologies de transfert de données rapides capables de libérer toutes les données disponibles en les répartissant / déplaçant / partagés sur différents serveurs clients.

Dans notre cas, nous enregistrons des données binarys en temps réel (50 Go par jour) et nous devons les télécharger / télécharger chaque jour vers / depuis les abonnés (oui, tout est nécessaire localement par chaque serveur d’abonné, pour l’informatique et divers trucs d’parsing de données)

Donc, pour être bref, quels sont les choix disponibles aujourd’hui pour transférer de nombreux Gigs de données VRAIMENT RAPIDEMENT entre des serveurs Windows distants (VPS, Cloud, avec une bande passante assez cohérente – (fibre optique mise de côté))

C’est une question ouverte. Chaque idée est la bienvenue quel que soit le protocole.

L’enjeu de l’envoi et de la réception des données sur le réseau est multiple.

  1. La bande passante du réseau est le facteur le plus limitant et vous ne pouvez pratiquement rien y faire au niveau de l’application (à l’exception de la compression occasionnelle des données et même dans ce cas, le taux de compression détermine le gain). Donc, le réseau plus rapide est le premier choix.

  2. Certains protocoles sont plus adaptés au transfert de certains types de fichiers / données. Par exemple, http est un protocole basé sur du texte et n’est pas vraiment adapté aux contenus binarys et volumineux. Mais comme c’est le protocole Web le plus populaire qui nécessite l’envoi de contenus binarys sur le réseau, des techniques telles que l’ encodage et le découpage ont évolué. HTTP n’est vraiment pas le choix si vos données sont dans l’ordre des Go, ce qui est votre cas.

  3. FTP est le protocole le plus utilisé pour transférer des fichiers sur le réseau et est spécialement conçu pour le transfert de fichiers. Il existe plusieurs extensions de FTP comme GridFTP , bbftp qui sont très spécifiquement conçues pour les transferts de données volumineux.

  4. BitTorrents est une autre option qui peut être explorée. Facebook utilise BitTorrents pour pousser les fichiers binarys vers les serveurs (des dizaines de milliers).

Votre problème est très ouvert et je suis limité par mon expérience :). Voici le lien que j’ai trouvé qui traite de gros transferts de données. J’espère que cela vous aidera.