Research PortalRésultats des concours d’allocation de ressources pour 2020

Anglais

Projets acceptés pour 2020

Sommaire

Ressources de calcul
– Allocations de CPU
Mise à l’échelle des demandes de ressources de calcul
Quantité minimale de ressources allouées par concours
Allocations de GPU
– Allocations de ressources infonuagiques
Allocations de stockage

Processus d’examen

Valeur des allocations

Sommaire

La Fédération Calcul Canada met la plateforme de calcul informatique de pointe (CIP) au service des chercheurs canadiens. La Fédération est un partenariat entre Calcul Canada, ses organisations régionales (WestGrid, Calcul Ontario, Calcul Québec et ACENET) et des établissements de partout au pays. Offrant aux chercheurs canadiens l’infrastructure et l’expertise pour effectuer des recherches transformatrices de niveau international, la plateforme de CIP desservait au 1er janvier 2020 près de 16 000 utilisateurs, dont plus de 4 400 chercheurs d’universités canadiennes.

Le financement obtenu du gouvernement fédéral a permis d’augmenter la capacité de la plateforme de CIP pour 2020 de Cedar (Université Simon Fraser), Graham (Université de Waterloo), Niagara (Université de Toronto), Arbutus (Université de Victoria) et Béluga (Calcul Québec) pour mettre à la disposition des chercheurs environ 233 000 cœurs-années, 30 000 CPU virtuels (vCPU), 2 550 GPU et 144 Po en espace de stockage.

Toutefois, la mise hors service de ressources datant d’avant 2016 et l’augmentation croissante des besoins des chercheurs font que la demande reste toujours plus forte que l’offre. Les concours de 2020 ont reçu le plus grand nombre de candidatures à ce jour avec 590 projets, une hausse de 16 % par rapport à l’an dernier. Cependant, en raison de la situation décrite ci-dessus, les concours de cette année n’ont satisfait que 40 % des demandes de ressources de calcul, 86 % des demandes d’espace de stockage et 26 % des demandes de GPU. Pour leur part, les demandes de vCPU ont été satisfaites à 99 %.

Près de 80 % (en moyenne) des ressources sont allouées par voie de concours, le reste étant réservé au service d’accès rapide qui met de petites capacités en calcul, en stockage et en service infonuagique à la disposition de tous les détenteurs d’un compte avec Calcul Canada.

Pour la définition de plusieurs termes utilisés ici, consultez le glossaire technique.

Tableau 1 : Candidatures aux concours d’allocation de ressources

Année Total Augmentation par rapport à l’année précédente
2020 590 16 %
2019 507 8 %
2018 469 15 %
2017 409 12 %
2016 366 5 %
2015 350 20 %
2014 291 38 %
2013 211 33 %
2012 159 18 %

 

*En date du 2 mars 2020

Ressources de calcul

Allocations de CPU

Les concours de 2020 ont satisfait à 40 % la demande en ressources de calcul (cœurs-année), soit autant qu’en 2019. Cedar, Graham, Niagara et Béluga fournissent 100 % de la capacité disponible, soit environ 233 000 cœurs, dont près de 80 % sont alloués par voie de concours. Ceci représente une légère augmentation d’environ 33 000 cœurs par rapport à 2019, malgré la mise hors service du système MP2 qui faisait perdre à l’ensemble des ressources près de 30 000 cœurs.

Tableau 2 : Allocations de CPU pour 2020

Cœurs-année disponibles (100 % de la capacité) Cœurs-année demandés Cœurs-année alloués Pourcentage de la capacité totale allouée
Béluga 28 000 55 894 22 807 81 %
Cedar 94 528 182 224 70 605 75 %
Graham 34 336 64 068 24 780 72 %
Niagara 75 840 153 706 63 308 83 %
Total 232 704 455 892 181 502 78 %

En date du 20 février 2020

Tableau 3 : Évolution de la demande de CPU

Cœurs-année disponibles  Cœurs-année demandés Cœurs-année alloués Écart Demande satisfaite à
2020 232 704 455 892 181 502 274 390 40 %
2019 201 320 390 352 157 262 233 089 40 %
2018 211 020 284 347 158 632 129 325 56 %
2017 182 760 255 638 148 100 107 538 58 %
2016 155 952 237 86 128 463 109 399 54 %
2015 161 888 191 690 123 699 67 991 65 %
2014 190 466 172 989 133 508 39 481 77 %
2013 187 227 142 106 126 677 15  429 89 %
2012 189 024 103 845 87 312 16 533 84 %

Mise à l’échelle des demandes de ressources de calcul

Comme mentionné ci-dessus, les ressources en CIP ne suffisaient pas à satisfaire les demandes reçues pour les concours de 2020.

Les demandes ont donc été mises à l’échelle pour les adapter aux ressources insuffisantes. La procédure cautionnée par les présidents des comités d’examen a fait en sorte que seules les candidatures ayant une note supérieure à 2.5 (sur 5) pouvaient recevoir une allocation de ressources. Les demandeurs qui n’ont pas reçu d’allocation peuvent toujours se prévaloir de la possibilité d’une utilisation opportuniste par le biais du service d’accès rapide. La note moyenne attribuée à l’ensemble des demandes pour 2020 se situe à 3.5.

Les demandes de cœurs-année sont mises à l’échelle d’après la note générale obtenue par la demande et la taille de la demande. Les détails de la fonction de mise à l’échelle et quelques exemples sont présentés ici. Pour plus d’information, écrivez à rac@calculcanada.ca.

Quantité minimale de ressources allouées par concours et accès opportuniste aux ressources de calcul

Tous les chercheurs et les utilisateurs parrainés qui disposent d’un compte actif avec Calcul Canada peuvent se prévaloir d’un accès opportuniste aux CPU et aux GPU par le service d’accès rapide. Cependant, la priorité des tâches soumises via ce service sera plus basse que celle des tâches soumises via une allocation par voie de concours. Puisque l’utilisation est purement opportuniste, il est impossible de garantir combien de ressources peuvent être consommés.

Pour présenter une demande aux concours d’allocation de ressources, il faut nécessiter un minimum de ressources de calcul, présentement fixé à 50 cœurs-années ou à 10 GPU-années. Ces valeurs servent en partie à contrôler la quantité de demandes qui doivent être soumises à l’examen. Comme le nombre de demandes augmente chaque année, la charge de travail des comités d’examen augmente aussi proportionnellement. Le fait de disposer d’une allocation par suite d’une demande du minimum de ressources garantit donc une plus haute priorité aux tâches soumises.

Même en se prévalant d’une utilisation opportuniste, nos données montrent que plusieurs groupes qui n’ont pas reçu d’allocation par suite des concours peuvent atteindre et même dépasser les minimums mentionnés ci-dessus. Pour maximiser l’utilisation en calcul, les stratégies suivantes sont employées :

  • conserver des tâches dans la queue de façon régulière;
  • tolérer un temps d’attente plus long avant le lancement des tâches;
  • soumettre des tâches ayant des caractéristiques optimales.

Par exemple, des tâches opportunistes de courte durée qui nécessitent quelques cœurs d’une grappe d’usage général seront habituellement exécutées plus rapidement que celles qui requièrent une dizaine de cœurs. Pour savoir comment maximiser l’utilisation de ressources si vous ne disposez pas de ressources allouées par voie de concours, veuillez lire attentivement les pages Allocation et ordonnancement et Politique d’ordonnancement des tâches ou écrivez à support@calculcanada.ca.

Allocations de GPU

La concurrence pour les ressources GPU est toujours plus forte que celle pour les CPU. Les tableaux 4 et 5 indiquent que la demande en GPU est environ 10 fois plus grande qu’en 2016. Les nouveaux GPU disponibles pour 2020 sont au nombre de 888. En raison de la hausse de la demande, 26 % des demandes ont été satisfaites, soit 6 % de plus qu’en 2019.

Les allocations de GPU sont déterminées d’après la note générale obtenue par la demande; la justification technique des besoins en ressources; la preuve d’une utilisation précédente de GPU; le domaine de recherche (par exemple Intelligence artificielle, Apprentissage machine, etc.); la taille du groupe de recherche.

Ne pas oublier que

  1. les utilisateurs qui présentent une demande aux concours trouvent difficile d’estimer leurs besoins en GPU et dans la plupart des cas, ils en demandent beaucoup plus et en utilisent beaucoup moins. Les utilisateurs qui présenteront une demande sont donc fortement encouragés à faire deux choses au préalable : commencer à utiliser les GPU pour mieux cerner leurs besoins et consulter notre équipe technique qui peut les aider à évaluer la performance de leurs programmes et à estimer plus exactement leurs besoins en GPU;
  2. les allocations de GPU sont contraintes entre autres par le type demandé (pascal, voltas, T4) et la quantité disponible sur chaque système;
  3. dans le cadre des concours pour 2020, la plupart des demandes de GPU étaient sur Béluga, initialement le seul système avec GPU de type volta. Cependant, l’ajout récent de voltas sur Cedar a considérablement augmenté la capacité de ce système;
  4. les demandes de GPU pour des applications d’intelligence artificielle ont considérablement augmenté.

Tableau 4 : Allocation de GPU par système pour 2020

GPU-année disponibles (capacité 100 %) GPU-année
demandés
GPU- année alloués Capacité allouée
Béluga 688 4 453 551 80 %
Cedar 1 352 5 967 978 72 %
Graham 440 2 301 358 81 %
Helios 72 164 49 68 %
Total 2 552 12 885 1 936 76 %

 

Tableau 5 : Évolution de la demande de GPU

GPU-année disponibles GPU-année
demandés
GPU- année alloués Écart Demande satisfaite à
2020 2 552 12 885 1 936 11 165 15 %*
2019 1 664 6 555 1 331 5 224 20,3 %
2018 976 4 092 840 3 252 20,5 %
2017 1 420 2 790 1 047 1 743 37,5 %
2016 373 1 357 269 1 088 19,8 %
2015 482 608 300 308 49,3 %
2014 NA 420 308 112 73,3 %
2013 NA 390 259 131 66,4 %
2012 NA 10 10 0 100 %

*La demande totale de GPU pour 2020 comprend une grande quantité pour un seul projet; ce projet mis à part, le taux d’allocation est de 26 % plutôt que de 15 %.

Allocations de ressources infonuagiques

La grappe Arbutus de l’Université de Victoria peut allouer 29 824 CPU virtuels. Ils sont disponibles via les concours d’allocation de ressources et le service d’accès rapide et sont aussi utilisés par les services internes de Calcul Canada pour le développement de logiciels et l’hébergement. Des petites capacités cloud sont aussi implémentées sur Cedar, Graham et Béluga. La demande globale de CPU virtuels a diminué de 6 % en 2020; la demande de vCPU de calcul a augmenté de 41 % mais la demande de vCPU persistants a diminué de 62 %.

Cette apparente baisse nette dans les demandes est due en partie à une modification des définitions des instances virtuelles disponibles sur Arbutus, qui encourageaient les utilisateurs à sélectionner des instances configurées avec moins de vCPU afin de refléter plus justement leur utilisation actuelle de mémoire. La baisse est aussi due en partie au fait que certaines grandes allocations ont ajusté leurs demandes pour refléter leur utilisation de cœurs des années initiales. Ces allocations auront besoin de plus de cœurs dans les années qui viennent et nous n’anticipons pas une baisse prochaine de la demande. Le déploiement d’une plateforme complexe peut prendre plus de temps que le groupe de recherche n’avait estimé et ces groupes n’ont pas assez de soutien.

Le surprovisionnement de vCPU persistants à un ratio de 10:1 a permis une expansion significative des allocations persistantes au cours des dernières années. Même avec les nombres légèrement réduits cette année, la demande de cœurs réels a continué de suivre le rythme des ajouts matériels avec des nombres d’utilisation bien supérieurs à 80 %, au-delà desquels l’ordonnancement d’instances de calcul plus importantes devient difficile. En pratique, cela signifie qu’il y a souvent des conflits pour les vrais processeurs, et l’expansion actuelle de la phase 3 d’Arbutus ne résout que temporairement cette situation.

Une quantité importante de ressources infonuagiques est allouée par le service d’accès rapide. En 2019, près de 2 700 vCPU étaient demandés, ce qui représentait une hausse de 68 % par rapport à 2018. Au total, plus de 6 000 vCPU sont alloués par le service d’accès rapide. Avec Arbutus et les nœuds ajoutés à Cedar, Graham et Béluga, nous avons pu allouer par concours 99 % du total des vCPU demandés. Dans l’ensemble, 72 % de la capacité de stockage cloud a été allouée en 2020.

Allocations de stockage

Ensemble, les ressources intégrées à Cedar, Graham, Arbutus, Niagara et Béluga permettent le stockage en ligne d’environ 167 Po pour 2020. Ainsi, la Fédération Calcul Canada a pu allouer 85 % de sa capacité de stockage.

Tableau 6 : Allocations de stockage (en To)

Type Espace disponible Espace demandé Espace alloué Demande satisfaite à
Project 57 030 56 867 40 732 72 %
dCache 14 804 10 200 10 200 100 %
Infonuagique 4 280 3 920 3 062 78 %
Nearline 67 800 43 347 44 650 103 %*
Total 143 914 114 334 98 645 86 %

*En raison de contraintes de capacité, une partie des allocations de l’espace project a été déplacée à l’espace nearline.

Processus d’examen

La plupart des demandes de ressources concernaient des programmes de recherche et du personnel hautement qualifié, pour des projets qui avaient déjà reçu de l’aide financière de la part des trois conseils subventionnaires et d’autres sources approuvées par des pairs. Le but des concours d’allocation de ressources de Calcul Canada n’est pas de faire un autre examen du mérite des projets de recherche puisque nous savons que ceci a déjà été fait par les organismes de financement.

Le processus d’examen évalue les demandes sur la pertinence des ressources demandées pour atteindre les objectifs du projet et sur la faisabilité du projet par rapport à la recherche et à l’expertise technique de l’équipe.

Pour les concours de 2020, 590 demandes ont été présentées dont 324 ont fait l’objet d’un examen par des pairs. Toutes les demandes ont été examinées par le personnel technique de la Fédération Calcul Canada.

Examen technique Équipe technique de Calcul Canada
  • L’équipe vérifie la cohérence des demandes (par exemple, la correspondance entre le formulaire électronique et le document pdf soumis avec la demande).
  • Des ajustements techniques sont faits pour vérifier que les ressources demandées correspondent à la justification technique fournie, que les ressources disponibles possèdent les capacités techniques nécessaires et que la demande soit conforme aux politiques des concours.
Examen par des pairs Groupe de pairs
  • Chaque demande fait l’objet de plusieurs examens indépendants.
  • Les comité d’examen d’experts discutent des demandes.
  • Le comité d’examen attribue la note finale.


Valeur des allocations pour 2020

Le tableau suivant montre les moyennes pour l’ensemble de la plateforme de CIP; les montants incluent le coût en capital et le coût d’exploitation des ressources et services. Il ne s’agit pas de la valeur sur le marché. La valeur est calculée sur une base annuelle.

Tableau 7 : Valeur des allocations

Valeur financière du prix 2020
1 cœur-année 121,34 $
1 GPU-année 2 435,89 $
1 To de stockage project/année 54,96 $
1 To de stockage nearline/année 25,66 $
1 VCPU-année 80,93 $
1 To de stockage infonuagique (Ceph)/année 117,70 $
Top