Research PortalRésultats du concours d’allocation de ressources pour 2018

Anglais

Liste des allocations du concours 2018

Sommaire
Ressources de calcul
– Allocation de CPU
Allocation de GPU
– Allocation de ressources infonuagiques
Allocation de stockage persistant
Processus d’examen
Mise à l’échelle des demandes de ressources de calcul
Valeur des ressources allouées en 2018

Sommaire

La plateforme canadienne de calcul informatique de pointe (CIP) est le résultat d’un partenariat entre Calcul Canada, les organisations régionales (WestGrid, Calcul Ontario, Calcul Québec et ACENET) et des établissements de partout au pays. Offrant aux chercheurs canadiens l’infrastructure et l’expertise pour effectuer des recherches transformatrices de niveau international, la plateforme de CIP desservait au 1er janvier 2018, plus de 11 000 utilisateurs dont 3 900 chercheurs d’universités canadiennes.

Des investissements récents ont permis le renouvellement de la plateforme de CIP canadienne : les nouvelles grappes Cedar (Université SImon-Fraser), Graham (Université de Waterloo) et Niagara (Université de Toronto) ont permis d’ajouter environ 60 Po d’espace de stockage et 13 3552 cœurs-années.

Toutefois, la mise hors service de ressources datant d’avant 2016 et l’augmentation croissante des besoins des chercheurs produisent une demande encore plus forte que l’offre. Le concours de 2018 a reçu le plus grand nombre de candidatures à ce jour avec 469 projets, une hausse de 15 % par rapport à 2017. Cependant, en raison de la situation décrite ci-dessus, le concours de cette année n’a satisfait que 55,1 % des demandes en calcul, 73 % des demandes de stockage et 20,5 % des demandes de GPU.

De façon générale, 80 % des ressources sont réservées au concours d’allocation, le 20 % restant étant dédié au service d’accès rapide. La priorité dans l’utilisation des grappes est accordée aux utilisateurs qui disposent d’allocations reçues suite au concours, mais tous les utilisateurs qui possèdent un compte avec Calcul Canada peuvent bénéficier de petites capacités en calcul, en stockage et en service infonuagique.

Pour la définition de plusieurs termes, consultez le glossaire technique.

Tableau 1 : Candidatures au concours d’allocation des ressources entre 2011 et 2018

Année Total Augmentation par rapport à l’année précédente
2018 469 14,70 %
2017 409 11,70 %
2016 366 4,60 %
2015 350 20,30 %
2014 291 37,90 %
2013 211 32,70 %
2012 159 17,80 %
2011 135

Ressources de calcul

Allocation de CPU

Avec le concours de 2018, les demandes en ressources de calcul CPU (cœur-année) ont été satisfaites à 55,1 %. Les nouvelles grappes Cedar, Graham et Niagara qui sont plus rapides et qui ont une plus grande capacité en mémoire que celles datant d’avant 2016 ont fourni près de 75% de la capacité totale, soit environ 146 000 cœurs. De plus, la FCI a fait exception en permettant le maintien de certaines ressources moins récentes afin de suppléer aux demandes, ce qui a légèrement accru le nombre de cœurs disponibles.

Les ressources des nouvelles grappes ont été allouées à environ 80 %, le reste demeurant à la disposition des nouveaux utilisateurs et des plus petits projets non soumis au processus de concours. Certaines ressources datant d’avant 2016 (dont Briarée, MP2 et Frontenac) sont exceptionnellement demeurées en service, mais il s’agit de systèmes plus petits avec des CPU de moindre performance et capacité; leur taux d’allocation est plus près de 60 %, le reste pouvant être utilisé en rafale ou de façon opportuniste.

Tableau 2 : Allocations de CPU (au 26 avril 2018)

CPU Cœurs disponibles pour allocation (100 % de la capacité)* Cœurs demandés Cœurs alloués Cœurs alloués par rapport aux cœurs disponibles
Cedar 54 912 90 272 44 063 80,24 %
Graham 28 448 47 896 22 916 80,55 %
Niagara 60 000 99 724 51 631 86,05 %
Briarée 7 560 10 220 4 77 63,12 %
Mp2 30 984 35 889 15 218 49,11 %
Frontenac 3 500 3 956 2 244 64,11 %
Orca** 8 880 0 4 355 49,04 %
MS2** 1 936 0 1 514 78,20 %
Glooscap** 2 000 0 1 577 78,85 %
Placencia** 3 200 0 2 463 76,97 %
Orcinus** 9 600 0 7 801 81,26 %
Total 211 020 287 957 158 554 75,14 %

* Ceci est le nombre total de cœurs disponibles. De façon générale, 80 % des ressources sont réservées au concours d’allocation (CAR), le reste étant dédié au service d’accès rapide pour les nouveaux utilisateurs et les projets qui n’ont pas reçu d’allocation par suite du concours, ou en cas de panne et de maintenance.
** Ces grappes ont été exceptionnellement ajoutées aux ressources disponibles pour suppléer à la pénurie de ressources.

Tableau 3 : Évolution des demandes par rapport aux allocations pour les ressources de calcul (cœurs-années )

Année Disponibles  Demandes Allocations Écart % des demandes satisfaites
2018 211 020 287 957 158 632 129 325 55,10 %
2017 182 760 255 63 148 10 107 538 57,90 %
2016 155 952 237 86 128 46 109 399 54 00 %
2015 161 888 191 690 123 699 67 991 64,50 %
2014 190 466 172 989 133 508 39 481 77,20 %
2013 187 227 142 106 126 677 15  429 89,10 %
2012 189 024 103 845 87 312 16 533 84,10 %
2011 132 316 72 848 75 471 -2 623 103,60 %

 

Allocation de GPU

La pénurie en ressources GPU était encore plus grande que celle en CPU. Le tableau 4 indique que la demande en GPU est six fois plus grande qu’en 2015. En 2018, près de 1000 nouvelles ressources ont été rendues disponibles avec les grappes Graham et Cedar. Malheureusement, des grappes moins récentes ont été mises hors service, résultant en 20,5 % de demandes satisfaites par rapport à 30,5 % en 2017.

Tableau 4: Évolution des demandes par rapport aux allocations pour les GPU (en GPU-années)

Année Disponibles  Demandes Allocations Écart % des demandes satisfaites
2018 976 4 092 1 840 3 252 20,50 %
2017 1 420 2 790 1 047 1 743 37,50 %
2016 373 1 357 269 1 088 19,80 %
2015 482 608 300 308 49,30 %
2014 n/a 420 308 112 73,30 %
2013 n/a 390 259 131 66,40 %
2012 n/a 10 10 0 100,00 %

 

Allocation de ressources infonuagiques

La grappe Arbutus de l’Université de Victoria peut allouer 10336 CPU virtuels. Ils sont disponibles via le concours d’allocation de ressources et le service d’accès rapide et sont aussi utilisés par les services internes de Calcul Canada pour les builds de logiciels et l’hébergement. Le nuage de l’Est de l’Université de Sherbrooke garde disponibles 36 nœuds moins récents. La demande pour des CPU virtuels s’est accrue de 36 %. Avec Arbutus et les nœuds du nuage de l’Est, le concours a pu satisfaire 95 % de la demande. Les allocations pour le stockage infonuagique pour 2018 ont satisfait 94 % de la demande.

Au début de la période d’allocation de ressources pour 2018, la capacité de stockage à l’Université de Victoria gagnera 6,1Po.

Allocation de stockage persistant

L’ajout en 2018 des nouvelles grappes Cedar, Graham et Niagara a fourni environ 60 Po en espace de stockage. La préparation de l’espace nearline pour le transfert de données sur disque vers le stockage sur bandes magnétiques est en préparation et devrait être disponible pour le concours de 2019. D’ici là, certaines des exigences en stockage nearline sont comblées par HPSS sur Niagara et par le système d’archivage de Mammouth.

En début de 2018, 45,5 Po des 54,6 Po d’espace de stockage persistant sur disque étaient alloués.

Tableau 5 : Besoins et capacité par type de stockage pour 2018 (en To)

Type de stockage Disponible Demandes (To) Allocations % des demandes satisfaites
Project 30 100 32 307 28 737 89 %
dCache 5 600 7 356 5 532 75 %
Nuage *4 920 5 398 4 612 85 %
Nearline (HPSS et Mammouth Archive) 14 000 17 503 6 607 38 %
Total 54 620 62 564 45 487 73 %

* Cette estimation dépend des détails de migration vers une nouvelle configuration plus efficace du code d’effacement redondant.

Processus d’examen

Les candidatures sont évaluées sur leur faisabilité technique et sur leur excellence scientifique. Pour le concours de 2018, 469 candidatures ont été évaluées. Presque tous les candidats demandaient des ressources et du personnel hautement qualifié pour soutenir des programmes de recherche qui avaient déjà reçu de l’aide financière de la part des trois conseils subventionnaires et d’autres sources approuvées par des pairs.

Examen technique Équipe technique
  • Des ajustements techniques sont faits pour vérifier la conformité aux politiques et la faisabilité selon les capacités techniques des ressources disponibles.
Examen scientifique Un groupe de pairs spécialistes dans chacune des disciplines examine les candidatures.
  • Chaque candidature est évaluée;
  • Les comités scientifiques discutent des candidatures;
  • Le comité d’examen recommande ou non le retrait de certains éléments d’une candidature;
  • Le comité d’examen attribue la note finale.


Mise à l’échelle des demandes de ressources de calcul

Comme mentionné ci-dessus, les ressources en CIP ne suffisent pas à satisfaire les demandes reçues pour le concours de 2018.

Les demandes ont donc été mises à l’échelle pour les adapter aux ressources insuffisantes. La procédure cautionnée par le comité des présidents a fait en sorte que seules les candidatures ayant une note scientifique supérieure à 2,0 pouvaient recevoir une allocation de ressources et que les candidatures ayant une note de 5 voyaient leurs exigences comblées à 83 %. Les candidates qui n’ont pas reçu d’allocation de ressources de calcul peuvent toujours se prévaloir de la possibilité d’une utilisation opportuniste par le biais du service d’accès rapide.

Tableau 6 : Mise à l’échelle des demandes de ressources de calcul

Paramètres 2018 2017
Note scientifique minimale pour recevoir une allocation 2, 0 2, 2
% des allocations pour la note minimale 10 % 16 %
% des allocations pour une note de 4,0 61 % 72 %
% des allocations pour une note de 5,0 83 % 87,5 %
Candidatures sous la note minimale 18 55

Valeur des ressources allouées en 2018

Le tableau suivant montre les moyennes pour l’ensemble de la plateforme de CIP; les montants incluent le coût en capital et le coût d’exploitation des ressources et services. Il ne s’agit pas de la valeur sur le marché. Pour 2018, la valeur des ressources allouées est calculée sur une base annuelle, aux taux suivants :

Tableau 7 : Évolution de la valeur en dollars

Ressources 2018 2017 2016 2015
1 cœur-année 156,78 $ 188,84 $ 279,00 $ 275,00 $
1 GPU-année 2 960,77 $ 566,52 $ 1 100,00 $ 1 100,00 $
1 To de stockage project par année 36,48 $ 128,00 $ 173,00 $ 190,00 $
1 cœur-année virtuel 91,05 $ 40,50 $ ND ND
1 To de stockage infonuagique (Ceph) par année 236,81 $ 178,50 $ ND ND

Les coûts pour les CPU incluent 42 044 cœurs datant d’avant 2016, à une valeur de 279$ chacun par année comme coût d’exploitation; le coût en capital n’est pas compris. La méthodologie pour les GPU a été améliorée depuis 2017 et est plus efficace. D’autres ressources et une certaine quantité d’espace de stockage datant d’avant 2016 ont aussi été allouées en 2018, mais ces coûts sont compris avec ceux des nouveaux équipements.

À l’exception des GPU, la valeur de ces ressources décroît annuellement quand des ressources moins récentes et plus coûteuses sont mises hors service et remplacées par de nouvelles ressources offrant un meilleur rapport coût-efficacité.

Top