Désagrégation des ressources

NEC UDTS

À mesure que les volumes de données augmentent rapidement dans les environnements de recherche, le déplacement des données — et non la performance de calcul — est devenu le principal goulot d’étranglement. Les données de recherche, alimentées par l’observation, la simulation et l’IA, ont rapidement atteint l’échelle de TB à PB, mais l’infrastructure de transfert n’a pas suivi le rythme.

Le Défi	Ce que UDTS offre
Le transfert de jeux de données volumineux entre HPC et systèmes de stockage prend beaucoup de temps, et la bande passante réseau disponible n’est pas pleinement exploitée	Réduit de façon spectaculaire le temps de transfert pour les ensembles de données à grande échelle en exploitant pleinement la bande passante réseau disponible
Le transfert de données entre sites de recherche distribués et collaborations internationales est lent et peu fiable	Prend en charge le partage inter‑institutionnel, la sauvegarde et la collaboration internationale à travers des environnements de recherche distribués
Le déplacement des données repose fortement sur des opérations manuelles par les chercheurs ou les administrateurs, augmentant la charge opérationnelle	Permet des transferts automatisés, intégrés au flux de travail — réduisant l’intervention manuelle et libérant les chercheurs pour se concentrer sur leur travail

Cas d’utilisation

UDTS est conçu pour répondre aux scénarios de transfert de données les plus courants et exigeants dans les environnements de recherche.

Transfert de données HPC et utilisation à distance

Use Case	Environnement de recherche	Ce que UDTS permet
Transfert de données HPC et utilisation à distance	Centres HPC, instituts de recherche et installations de stockage répartis sur plusieurs sites ou frontières nationales	Ensembles de données à l’échelle de téraoctets déplacés rapidement entre sites — les équipes distribuées peuvent travailler comme si les ressources étaient locales
Transfert de Données Observationnelles	Observatoires distants, stations au sol de satellites transférant des données vers des centres de recherche ou des systèmes HPC	Ensembles de données observationnels volumineux transférés beaucoup plus rapidement, permettant une analyse en temps opportun
Transfert sécurisé de données sensibles	Institutions de recherche et médicales échangeant des données sensibles telles que des images médicales et des données génomiques	Transfert rapide et chiffré sans compromettre la protection des données — vitesse et sécurité en une seule solution

Fonctionnalités

UDTS atteint une haute performance grâce à une combinaison d’optimisation de transfert propriétaire, de prise en charge flexible des protocoles et d’une intégration profonde avec l’infrastructure de recherche.

Utilisation maximale de la bande passante

Traitement parallèle — multi‑threading et multi‑sessions — exploite pleinement la bande passante réseau disponible (par ex. 100 Gbps)
Atteint un transfert disque‑vers‑disque à haute vitesse qui réduit considérablement le temps nécessaire pour déplacer de grands ensembles de données

Transfert optimisé pour charges de travail mixtes

Les gros fichiers sont divisés en blocs de taille fixe et transférés en parallèle pour maximiser le débit
Les petits fichiers sont agrégés en blocs et transférés en une seule lot pour améliorer l’efficacité

Sélection de protocole flexible

Prend en charge les modes de transfert TCP et UDP, permettant une sélection flexible selon le cas d’usage et l’environnement réseau
Algorithmes propriétaires surmontant les limitations inhérentes à UDP — y compris la perte de paquets et la congestion — pour un transfert haute vitesse fiable

Intégration transparente et automatisation

Peut être utilisé en mode autonome ou intégré aux planificateurs de tâches et aux systèmes de flux de travail
Permet le transfert de données automatisé basé sur des conditions définies, réduisant la charge opérationnelle

Sécurité et protection des données

Le transfert chiffré protège les données en transit
Communication sécurisée avec authentification basée sur certificat
La vérification de l'intégrité des données détecte les corruptions lors du transfert
La capacité de reprise garantit une livraison fiable — les transferts interrompus se poursuivent depuis le dernier point de contrôle

Architecture

UDTS se compose de serveurs de transfert de données déployés sur chaque site, connectés via des réseaux à haute vitesse. Chaque serveur est équipé d’un stockage NVMe haute performance et d’une interface réseau 100GbE, permettant un transfert disque‑vers‑disque à haute vitesse entre les sites.

Architecture UDTS — Exemple de transfert de données à haute vitesse multi-sites

Serveur de Transfert de Données	Fournit un transfert de données haute performance avec des cartes réseau 100GbE, du stockage NVMe et le logiciel UDTS
Switch réseau 100 GbE	Fournit un commutateur à haute bande passante pour connecter les nœuds de transfert
Commutateur RoCE / InfiniBand	Permet une connectivité haute performance vers le stockage externe (dépend de la configuration)
Serveur de gestion	Gestion du monitoring, de la journalisation et du contrôle d’accès (authentification et autorisation)
Stockage NVMe externe	Fournit une capacité de stockage partagée et évolutive pour plusieurs serveurs de transfert

Contact

Pour en savoir plus sur UDTS ou discuter de la façon dont NEC peut soutenir vos besoins de transfert de données de recherche, veuillez nous contacter.