Rozvrhový plánovač
Úvod
V rámci výzkumu a rozvíjení dizertační práce dr. Klusáčka (klusacek(at)cesnet.cz) vznikl za podpory CESNETu unikátní rozvrhový plánovač úloh kompatibilní s prostředím TORQUE resource manager, které se využívá v MetaCentru a CERIT-SC (www.cerit-sc.cz).
Namísto front si plánovač tvoří tzv. rozvrh úloh do kterého vkládá každou nově příchozí úlohu. Díky tomu pak lze předpovídat dobu spouštění každé úlohy. Navíc lze takovýto plán vyhodnocovat a optimalizovat pomocí zabudované optimalizační metaheuristiky.
V současnosti je popisovaný plánovač produkčně nasazen v prostředí CERIT-SC (http://www.cerit-sc.cz/), kde úspěšně funguje od července 2014.
Design
Nově navržený plánovač je implementován jako samostatný pbs_sched modul v jinak nezměněném TORQUE resource manageru.
Díky tomu lze "za běhu" přepínat z klasického frontového plánovače na nově vyvinutý rozvrhový plánovač, což umožňuje (v případě nutnosti) relativně bezproblémově překlenout dobu např. aktualizací nebo upgradu.
Přiložené schéma ukazuje hlavní nové celky plánovače, tj.: rozvrh úloh, aktualizační rutiny, optimalizační algoritmus a nová uživatelská rozhraní.
Plánovací algoritmy
Plánovač vytváří iniciální rozvrhy podle tzv. algoritmu konzervativního backfillingu, tj. pomocí zaplňování existujích "děr" v rozvrhu, čímž optimalizuje vytížení strojů.
Takto vytvořený rozvrh je pak periodicky optimalizován pomocí metaheuristiky s cílem vylepšení férovosti, doby čekání a slowdownu.
Uživatelská rozhraní
Informace o hotovém rozrhu jsou uživatelům k dispozici buď pomocí standardního qstat příkazu anebo pomocí webové aplikace, která ukazuje běžící a naplánované úlohy podle momentálního stavu rozvrhu.
Tao aplikace je plně integrována do standardního portálu PBSMon, který je v MetaCentru využíván pro monitoring úloh.
Vývojáři
Hlavní architekt navrženého plánovače je dr. Dalibor Klusáček, autor původního návrhu, který byl obhájen coby dizertační práce. Hlavní vývojář je Václav Chlumský. Konzultace poskytuje doc. Hana Rudová.
Nasazení
Rozvrhový plánovač je operačně nasazen v CERIT-SC, kde od července 2014 úspěšně nahradil dosavadní frontové řešení. Plánovač umožnil lepší využití zdrojů a zvýšil tak propustnost celého systému (http://www.cerit-sc.cz/).
Download
Zdrojové kódy jsou k dispozici na: https://github.com/CESNET/TorquePlanSched
Reference
- KLUSÁČEK, Dalibor, Václav CHLUMSKÝ a Hana RUDOVÁ. Planning and optimization in TORQUE resource manager. In Proceedings of the 24th ACM International Symposium on High Performance Distributed Computing. New York, NY, USA: ACM, 2015.
- Václav Chlumský, Dalibor Klusáček and Miroslav Ruda, The extension of TORQUE scheduler allowing the use of planning and optimization in Grids. Computer Science, 13 (2). pp. 5-19. ISSN 1508-2806, 2012.
- Václav Chlumský, Dalibor Klusáček and Miroslav Ruda. Planning, Predictability and Optimization within the TORQUE Scheduler. In Antonín Kučera, Thomas Henzinger, Jaroslav Nešetřil, Tomáš Vojnar, David Antoš. MEMICS 2012. první. Brno: Novpress s.r.o., 2012.