Research PortalGlossaire technique de Calcul Canada

Anglais

Traitement par lots

grappe (en anglais, cluster) : Groupe de nœuds de calcul interconnectés agissant comme un système unique. Les grappes sont la responsabilité des gestionnaires de ressources.

nœud de calcul (en anglais, compute node) : Unité de calcul d’une grappe, pouvant être assignée seule ou en groupe à une tâche. Le nœud possède sa propre image de système d’exploitation, un ou plusieurs cœurs de processeur et de la mémoire vive (RAM). Les tâches peuvent utiliser les nœuds de manière exclusive ou partagée, selon le système.

Cœurs-années (en anglais, core year) : mesure qui équivaut à utiliser un cœur de calcul de façon continue pendant une année complète. L’utilisation de 12 cœurs pendant un mois et celle de 365 cœurs pendant une seule journée équivalent toutes deux à l’utilisation d’un cœur-année. Calcul Canada alloue ses ressources de calcul aux chercheurs sur une base de cœurs-années.

juste part des ressources, allocation basée sur la … (en anglais, fair-share allocation) : De façon générale, Calcul Canada utilise un algorithme de juste part (fair share algorithm) pour établir la priorité du traitement par lots. Une portion de l’ensemble des ressources du système est allouée à chaque utilisateur, ce qui détermine sa priorité d’accès. Si vous avez récemment utilisé une large portion des ressources du système (c’est-à-dire plus que votre juste part), vous serez rétrogradé dans l’ordre de priorité. Le système d’ordonnancement utilise toutefois une fenêtre limitée pour calculer la priorité. Après une certaine période de temps (par exemple, des semaines), le système « oublie » graduellement que vous avez surutilisé les ressources dans le passé. Le système est ainsi utilisé dans sa pleine mesure et les utilisateurs qui se prévalent des ressources inutilisées ne sont pas pénalisés. Ceci fait en sorte que le total des ressources qui vous sont allouées ne limite en aucune façon les ressources de calcul que vous pouvez utiliser. Ce total représente plutôt la quantité de ressources que vous devriez pouvoir utiliser au cours de l’année si vous faites exécuter des tâches de façon continue et que le système fonctionne à capacité maximale. Autrement dit, continuez à travailler même si le total de vos ressources est atteint.

nœud d’accès ou de connexion (en anglais, head or login node) :  L’accès à une grappe se fait habituellement par le nœud d’accès, point d’entrée ou nœud de connexion au système. La configuration du nœud d’accès en fait le point de départ des tâches à exécuter sur une grappe. L’utilisateur qui accède ou se connecte à un système de grappes est automatiquement connecté au nœud d’accès; il s’agit souvent d’un nœud configuré comme point de liaison entre la grappe et le réseau.

tâche (en anglais, job) : Élément de base exécuté par le système de traitement par lots. Une tâche se compose d’un ou plusieurs processus de calcul connexes gérés comme un tout. Les utilisateurs décrivent la tâche au moment de mettre celle-ci en file d’attente dans le système de traitement par lots. Cette description comprend une demande de ressources, qui précise la quantité de mémoire requise, la durée de la tâche et le nombre de cœurs requis. En fonction des ressources utilisées, les tâches peuvent être exécutées en série (sur un seul cœur) ou en parallèle (sur plusieurs cœurs).

tâche en parallèle (en anglais, parallel job) : Tâche exécutée par plusieurs cœurs. En gros, les tâches en parallèle se divisent en deux catégories : a) les tâches de traitement multifil ou de multitraitement symétrique exécutées sur un même nœud et partageant le même espace mémoire, et b) les tâches à mémoire distribuée pouvant être exécutées sur plusieurs nœuds.

tâche en série (en anglais, serial job) : Tâche exécutée par un seul cœur.

utilisation irrégulière (en anglais, uneven usage) : La plupart des systèmes de traitement par lots sont configurés pour offrir un certain nombre de cœurs-années sur une période de temps déterminée, supposant une utilisation régulière du système. Cependant, les tâches des utilisateurs peuvent être de taille inégale, avec une utilisation plus ou moins intense dans le temps. Les utilisateurs pourraient avoir besoin d’une utilisation intensive (burst) des ressources de calcul afin de bien profiter de leur allocation. Nous présumons que les ressources seront utilisées de façon régulière dans la période d’allocation. Si vous prévoyez devoir exécuter des tâches ponctuelles intensives ou utiliser vos ressources de manière variable, veuillez le mentionner sur votre formulaire de demande d’allocation de ressources; nous vous contacterons pour discuter des solutions possibles.

Mémoire

mémoire par cœur (en anglais, memory per core) : Quantité de mémoire vive (RAM) par cœur de processeur. Si un nœud de calcul comporte deux unités centrales ayant chacune 6 cœurs et 24 Go de mémoire vive (RAM), ce nœud possède alors 2 Go de mémoire par cœur.

mémoire par nœud (en anglais, memory per node) : Quantité totale de mémoire vive (RAM) installée sur un nœud de calcul.

Stockage

système de fichiers (en anglais, filesystem) : Structure de fichiers pour les systèmes d’une grappe. Un système de fichiers peut avoir des caractéristiques spécifiques en termes de performance, d’espace disponible et d’utilisation. Certains systèmes de fichiers peuvent être utilisés seulement par les nœuds d’accès d’une grappe, alors que d’autres peuvent servir de nœuds de stockage pendant l’exécution d’une tâche. Les types de systèmes de fichiers sont :

  • /SCRATCH : Ce système de fichier visible à partir des noeuds de calcul est composé de systèmes de stockage à haute performance et devrait être utilisé pour les tâches actives. Les données devraient être copiées sur le SCRATCH puis retirées, avec les fichiers de résultats, lorsque la tâche est terminée. Les SCRATCH sont habituellement purgés périodiquement, selon la politique locale en vigueur; ; ils ne font l’objet d’aucune allocation.
  • /HOME : Ces répertoires sont non volatiles, plus restreints qu’un espace SCRATCH et sont normalement sauvegardés régulièrement. Il s’agit d’un répertoire personnel qui est visible par tous les nœuds de la grappe et est généralement utilisé pour le stockage de fichiers personnels, d’exécutables, de scripts pour l’exécution de tâches et de données d’entrée.
  • /PROJECT : Ce type de système de fichiers utilise des disques de performance moyenne et est habituellement visible par les nœuds de calcul d’une grappe. L’espace de stockage y est plus grand que celui d’un répertoire personnel et, dans la plupart des systèmes, la sauvegarde en est effectuée régulièrement. Ce type de système de fichiers est habituellement utilisé pour stocker les données fréquemment utilisées d’un projet et est alloué aux chercheurs par le processus des CAR.
  • /NEARLINE : Ce type de système de fichiers offre une performance de stockage de basse à moyenne, avec une très forte capacité. Il devrait être utilisé pour stocker les données rarement utilisées, mais qui doivent être conservées à long terme. Puisque les ensembles de données sont toujours « actifs », il ne s’agit pas tout à fait d’espaces d’archivage. Il ne fait l’objet d’aucune allocation dans le processus des CAR.

stockage à accès fréquent ou peu fréquent (en anglais, frequently accessed storage / infrequently accessed storage) : La zone de travail et le répertoire personnel sont des espaces de stockage à accès fréquent. Inversement, les centres de sauvegarde (y compris les archives sur bande magnétique) sont des espaces de stockage à accès peu fréquent.

stockage permanent (en anglais, deep storage) : Il est une expression passe-partout pour le stockage persistent : sauvegarde sur bande magnétique et stockage de proximité; /project et le stockage spécifique comme Ceph, dCache et CVMFS. En fait, tout ce qui n’est pas du stockage temporaire.

stockage à long terme (en anglais, long-term storage) : Stockage pour les projets de recherche en cours dont les besoins vont au-delà de quelques mois. Il peut s’agir d’un espace de stockage à accès fréquent ou peu fréquent. Ne pas confondre avec l’archivage, puisque les jeux de données sont toujours considérés comme étant actifs.

répertoire personnel (en anglais, home directory) : Dossier propre à chaque utilisateur dans l’espace de stockage externe. Le répertoire personnel est permanent, plus petit que la zone de travail et sauvegardé régulièrement dans le cas de la plupart des systèmes.

stockage local (en anglais, local storage) : Disque dur ou disque à circuits intégrés SSD d’un nœud de calcul permettant de stocker temporairement des programmes, des fichiers d’entrée ou leurs résultats. Comme le stockage local peut être temporaire, il convient de sauvegarder les fichiers qui y sont créés dans un espace de stockage externe pour éviter la perte de données.

zone de travail (en anglais, scratch) : Espace local ou externe accessible sur les nœuds de calcul et utilisé pour exécuter des programmes, garder des fichiers d’entrée et stocker des fichiers de sortie temporaires ou permanents. La zone de travail externe est habituellement plus volumineuse que le répertoire personnel, mais n’est pas sauvegardée. La zone de travail fait généralement l’objet d’un nettoyage périodique conformément aux politiques locales relatives aux systèmes.

site (en anglais, site) : Membre d’un consortium régional de Calcul Canada offrant des ressources de calcul informatique de pointe (CIP) (grappes de calcul haute performance, nuages, stockage, soutien technique).

disque (en anglais, disk) : Espace de stockage permanent (contrairement à la mémoire principale ou vive [RAM] qui renferme les programmes, les fichiers d’entrée, les résultats de sortie, etc. Aussi appellé « disque dur » ou « disque à circuits intégrés SSD ».

bande magnétique (en anglais, tape) : Technologie utilisée pour stocker à long terme des données à accès peu fréquent. Considérablement plus abordable que le stockage sur disque, elle convient à plusieurs scénarios d’utilisation.

Stockage infonuagique :  le stockage infonuagique persistent fournit de l’espace disque virtuel aux machines virtuelles fonctionnant sur le nuage. Extrêmement fiable et évolutif, il est rendu possible par grâce au logiciel spécialisé Ceph, qui exploite une matrice de disques physiques hautement redondante.

Téraoctets (To) : unité utilisée le plus souvent pour mesurer la capacité des gros appareils de stockage. Un téraoctet (dont l’abréviation est « To ») égale 1000 gigaoctets et précède l’unité de mesure pétaoctet.

Infonuagique

service infonuagique de Calcul Canada : Ensemble d’équipements permettant la virtualisation sur le modèle IaaS (Infrastructure as a Service). En date de septembre 2016, il y a deux nuages distincts : le nuage de l’Ouest (West Cloud) et le nuage de l’Est (East Cloud). D’autres nuages seront disponibles avec la mise en service de GP2 et GP3.

  • instance de calcul infonuagique (en anglais, cloud compute instance) : Instance de courte durée, avec utilisation élevée et constante du processeur. Ces instances sont aussi connues sous l’appellation « instances en lots ». Parce qu’elles sont de courte durée, ces instances recevront un quota plus fort de processeurs virtuels (VCPU).
  • instance persistante infonuagique (en anglais, cloud persistent instance) : Instance de durée indéterminée (par exemple, selon la disponibilité du service), pour l’usage entre autres de serveurs Web ou de serveurs de bases de données. Ces instances sont généralement moins exigeantes en termes de processeur ou y ont recours de façon intermittente (bursty instance). Parce qu’elles occupent les ressources pour de longues durées, elles recevront un quota moins fort de processeurs virtuels (VCPU).
  • test infonuagique, allocation pour … (en anglais, cloud testing) : Petite quantité de ressources allouée pour un temps limité. Ce type d’allocation est automatiquement approuvé, ne fait pas l’objet d’un examen scientifique ou technique et sert à des fins de test et de développement.

adresse IP flottante (en anglais, floating IP) : Adresse IP publique qui est associée à une machine virtuelle (VM pour virtual machine); l’instance utilise la même adresse IP publique chaque fois qu’elle est lancée. Un groupe d’adresses IP flottantes est créé et elles sont ensuite assignées aux instances; l’adresse IP demeure la même et elle est toujours reliée au même nom de domaine (DNS pour domain name system).

instance (en anglais, instance) : Machine virtuelle active ou dont l’état indique qu’elle est, par exemple, « suspendue »; elle peut être utilisée comme serveur physique
mémoire par cœur (en anglais, memory per core) : Voir mémoire par cœur dans la section Mémoire.

mémoire par cœur (en anglais, memory per core) : Voir mémoire par cœur dans la section Mémoire.

plateforme de calcul et de stockage (en anglais, compute and storage platform) : L’infrastructure de Calcul Canada soutient plusieurs projets qui bénéficient d’une grande quantité de ressources de calcul et de stockage offertes à l’ensemble de ses utilisateurs. Notons par exemple un service frontal (front-end) convivial pour transmettre des tâches en lots à une application en arrière-plan (back-end). Le terme « plateforme » sera utilisé pour toute demande requérant plus de 50 cœurs-années (ou 50 VCPU sur un nuage) ou plus de 50 To de stockage. Sur le formulaire en ligne, cette option se nomme « Plateforme ».

portail de service (en anglais, service portal) : L’infrastructure de Calcul Canada héberge plusieurs portails Web où les chercheurs ont accès à des outils et des ensembles de données. Ces portails ne nécessitent généralement pas une grande quantité de ressources de calcul ou de stockage, mais peuvent requérir l’intervention de l’équipe technique de Calcul Canada. Les groupes qui présentent un projet de portail de service utilisant souvent le nuage de Calcul Canada, requièrent généralement une adresse IP  publique et peuvent avoir (ou non) un besoin plus impérieux de temps en ligne que la plupart des projets de recherche. Sur le formulaire en ligne, cette option se nomme « Portal ».

espace total pour les volumes et les instantanés (en anglais, total size of volumes and snapshots) : Espace maximal (en Go) pouvant être utilisé pour vos disques résilients.

VCPU (pour l’anglais virtual central processing unit) : Processeur virtuel; cœur dans une instance de machine virtuelle.

machine virtuelle (aussi VM pour l’anglais virtual machine) : Voir instance.

volume (en anglais, volume) : Disque virtuel persistant pouvant être connecté à une machine virtuelle active. L’équipement est résilient.

instantané de volume (en anglais, volume snapshot) : Copie transactionnelle en lecture seule d’un volume OpenStack. Utilisé pour les copies de sauvegarde et l’instanciation d’autres machines virtuelles.

 

Catégories de ressources de calcul

Unité centrale (UCT) : en anglais CPU, pour central processing unit. L’unité centrale, qu’on appelle parfois simplement processeur, est le cerveau de l’ordinateur, là où s’effectuent la plupart des calculs.

GPU : en informatique, les processeurs graphiques (GPU, pour «Graphics Processing Unit») sont utilisés pour accélérer les applications d’apprentissage profond, d’analytique et de génie, par exemple. Des accélérateurs de processeurs graphiques font fonctionner des centres de données écoénergétiques dans des laboratoires universitaires, des universités, de grandes entreprises ainsi que des petites et moyennes entreprises partout dans le monde. Ils jouent un rôle important dans l’accélération des applications, que ce soit sur des plateformes en intelligence artificielle, dans les domaines de l’automobile, des drones ou de la robotique.

CPU virtuelle : c’est une unité centrale de traitement virtuelle (ou en anglais virtual central processing unit, VCPU). Dans un environnement infonuagique, une ou plusieurs CPU virtuelles sont assignées à chaque machine virtuelle (MV). Le système d’exploitation de celle-ci considère chaque CPU virtuelle comme un cœur de processeur physique simple.

 

Top