Přeskočit na obsah

Historie

MetaCentrum vzniklo jako reakce na konkrétní situaci v akademické komunitě České republiky na počátku roku 1996. Když se v roce 1994 v rámci pilotního projektu Fondu rozvoje vysokých škol České republiky rozhodovalo o zřízení prvních center podpory výkonných výpočtů, zvítězil přístup, který řada oponentů nazvala drobením. Šlo o to, že namísto zakoupení a instalace jediného výkonného superpočítače bylo rozhodnuto vytvořit zárodky v počátku tří, v konečném dúsledku pak pěti center podpory výkonných výpočtů v prostředí vysokých škol České republiky. Výsledkem těchto úvah proto bylo rozhodnutí zakoupit 3 systémy POWER Challenge frmy SGI a instalovat je na Ústavu výpočetní techniky Univerzity Karlovy, v Centru výpočetních a informačních služeb Vysokého učení technického v Brně a na Ústavu výpočetní techniky Masarykovy univerzity v Brně. Současně se předpokládalo, že nejpozději v následujícím roce budou instalovány systémy s obdobným výkonem na Západočeské univerzitě v Plzni a ve Výpočetním centru Českého vysokého učení v Praze.

Na počátku roku 1996 tak bylo v České republice na uvedených vysokých školách k dispozici celkem pět výkonných počítačů firem SGI, Digital (Plzeň) a IBM (SP2 na VC ČVUT). Všechny tyto počítače využívaly výkonné skalární procesory a pokrývaly oba základní směry v architektuře výkonných počítačů: systémy SGI a Digital SMP (Symmetric MultiProcessing s jedinou kopií operačního systému využívajícího všech procesorů a sdílejícího paměť a IBM SP2 DM (Distributed Memory s distribuovanou pamětí a vlastní kopií operačního systému na každém procesoru). Rovněž základní instalované programové vybavení se lišilo: výpočetní chemie a fyzika byla primárně zastoupena na ÚVT MU a ÚVT UK, s určitým přesahem i na VC ČVUT, zatímco technicky orientované výpočty pokrývalo programové vybavení na ZČU, VC ČVUT, VUT a též program Fluent na ÚVT UK. Rovněž přístup k systému Matlab byl zajištěn především na ČVUT, ZČU a MU a bylo možno nalézt i další rozdíly. Všechny počítače byl zpřístupněny všem zájemcům z akademického prostředí České republiky, tj. v podstatě všem učitelům a vědeckým pracovníkům vysokých škol a Akademie věd a do značné míry i všem studentům vysokých škol. V roce 1996 MŠMT vyhlásilo program TEN-34 CZ podpory vysokorychlostních sítí a aplikací, které by je využívaly. Tento program otevřel možnost dalšího kvalitativního růstu center, založených a vytvořených v předcházejících letech. V rámci tohoto programu byl financován projekt MetaCentrum, jehož účelem bylo vytvoření výpočetní mřížky, jejímiž výkonnými uzly by byly právě výše zmíněné počítače.

Od roku 1999 je projekt MetaCentrum začleněn do výzkumného záměru sdružení CESNET. Začlenění svým způsobem anticipovalo očekávaný bouřlivý rozvoj Gridů a jejich postupné prorůstání s aktivitami organizací, které zajišťují vysokorychlostní síťovou infrastrukturu. Pojem Grid se objevil v devadesátých letech minulého století jako nová forma distribuovaného zpracování informací a řešení složitých problémů. Gridy se zpočátku soustředily primárně na oblast náročných výpočtů, ale postupně pronikají i do jiných oblastí, které mohou profitovat z řešení, která byla vytvořena v rámci rozvoje Gridů. Za všechny lze jmenovat např. oblast digitálních knihoven, e-learningu nebo kvalitních videokonferenčních či multimediálních nástrojů. Gridy se také vždy pohybovaly na horní hranici technologických možností a přitahovaly pozornost řady odborníků jak z akademického prostředí tak z IT průmyslu. Gridy představují primární zdroj aplikací, vyžadujících velmi rychlé sítě s nízkou latencí, pokrývající celé kontinenty. Základní cíle projektu MetaCentrum zůstaly nezměněny, výrazně však postoupila integrace a úzká spolupráce jednotlivých uzlů. Z původní pětice "zakládajících uzlů" MetaCentra dva odstoupily: ČVUT Praha se systémem IBM SP, který se technologicky i koncepčně odlišoval od všech ostatních systémů MetaCentra (v té době ještě nebyly používány clustery coby výkonné výpočetní systémy) a kde došlo k poklesu zájmu o integraci s jinými systémy; a VUT Brno, kde vedení v podstatě přestalo podobné aktivity nadále podporovat. Naopak se členem MetaCentra stalo výpočetní centrum na VŠB-TU Ostrava. To přidalo jednak novou architekturu - počítač IBM SP2 -jednak umožnilo otestovat postupy a metody začleňování nového uzlu do prostředí MetaCentra. V roce 1999 se podařilo dokončit jednu etapu výstavby bezpečnostní infrastruktury MetaCentra přechodem na Kerberos 5 v implementaci heimdal, na jejímž rozvoji se MetaCentrum podílí. Současně byla vyřešena otázka zálohování dat v rámci MetaCentra zakoupením a následným zprovozněním páskového robota.

V letech 2000 a 2001 došlo k výrazné změně orientace MetaCentra v oblasti technického vybavení, což byl jednak důsledek omezených finančních zdrojů (s výjimkou ÚVT Praha žádný uzel výrazně do výpočetních zdrojů neinvestoval), jednak i stále pokračujícího příklonu k tzv. "commodity" řešením i v oblasti superpočítačů - zde formou orientace na clustery počítačů, zejména s procesorovou architekturou IA32 a operačním systémem Linux. Hlavním investičním počinem proto bylo postupné pořízení clusteru se 128 procesory Pentium III (polovina s frekvencí 700 MHz, druhá polovina s frekvencí 1 GHz) a celkem 64GB vnitřní paměti. V souladu se základní myšlenkou MetaCentra nebudovat jediný uzel a naopak využívat v maximální možné míře možnosti poskytované vysokorychlostními sítěmi, je cluster distribuován mezi Plzeň (32 CPU), Prahu (32 CPU) a Brno (64 CPU). V Brně si rovněž Národní centrum pro výzkum biomolekul pořídilo, na základě vysoce pozitivní zkušenosti s clusterem MetaCentra, vlastní 32 procesorový cluster plně kompatibilní se systémy MetaCentra. Kromě zvyšování výpočetního výkonu se práce v letech 2000 a 2001 soustředila především na oblast bezpečnosti, plnou integraci clusterů (včetně vývoje nezbytného programového vybavení), založení portálu METACentra jako jednotné informační brány pro všechny uživatele i administrátory MetaCentra, rozvoj systému Perun pro správu uživatelských účtů a postupný přechod na nový dávkový systém PBS. Významné začaly být i aktivity MetaCentra na mezinárodní úrovni. Zaměstnanci MetaCentra se aktivně zapojili do mezinárodního projektu DataGrid 5. rámcového programu EU, což nám v současné době umožnilo navázat účastí v řadě dalších mezinárodních projektů.

V letech 2002 a 2003 byl hlavní důraz kladen na podporu provozní infrastruktury. Ve 4 centrech bylo k dispozici 192 procesorů (96 uzlů) s 1 GB paměti na uzel. Disková kapacita se zvýšila na 9-36 GB/uzel. Projekt MetaCentrum úzce spolupracoval s mezinárodními projekty. Vznikl zárodek národního Gridu, tj. virtuálního distribuovaného počítače, který umožnil jak synchronní využití výpočetních zdrojů, tak i možnost používat jednotlivé uzly bez přesné znalosti umístění a do jisté míry i architektury konkrétních počítačů. V rámci aktivit přímo podporovaných sdružením CESNET byly rozšiřeny výpočetní kapacity clusterového typu (založené na architektuře IA-32), celkově však projekt integroval i další výpočetní kapacity (Alpha, SGI), diskové kapacity jednotlivých center (v řádu mnoha TB) a rovněž páskovou knihovnu, zakoupenou před lety sdružením a trvale využívanou pro zálohování a archivaci dat. V oblasti vývoje došlo v roce 2003 k rostoucímu propojení s aktivitami, realizovanými pod mezinárodními projekty 5. rámcového programu EU DataGrid a GridLab, na němž za ČR participovala Masarykova univerzita a jehož řešitelé se částečně překrývali s řešiteli projektu MetaCentrum.

V roce 2004 bylo ve 3 uzlech - na ZČU v Plzni, v Praze v prostorách CESNETu a na MU v Brně - celkem 262 procesorů Intel Pentium (od verze III pracující na 700 MHz až pro 3GHz Xeony) s operačním systémem Debian Linux. Část kapacit byla propojena vysokorychlostní sítí Myrinet, což umožnilo realizovat výpočty s vysokými nároky na rychlost a kapacitu přenosu mezi uzly clusteru. Uživatelům byly k dispozici i alternativní výpočetní prostředí, především 64 bitové systémy IBM Power4+ a AMD Opteron, s operačním systémem SuSe Linux. MetaCentrum dále ve spolupráci se ZČU, UK a MU spravovalo i výkonné výpočetní systémy firem SGI třídy Origin, osazené procesory MIPS (v Praze a Brně) a HP/Compaq AlphaServer s procesory EV7 (v Plzni) a velkoobjemovou páskovou knihovnu s kapacitou 12 TB (systém NetWorker firmy Legato, resp. IBM), která sloužila k zálohování všech uzlů a průběžné zálohování videoarchivu. Výzkumné a vývojové práce jsme kromě portálu soustředili na oblast informačních a monitorovacích služeb, kde hlavním výsledkem byl návrh nové gridové monitorovací architektury, CGMA. Sledování stavu uzlů clusteru přešlo na systém ganglia, soustředili jsme se proto především na jeho modifikace a rozšiřování. Vlastní výzkum se soustředil na vývoj nového modelu Gridové monitorovací architektury (GMA), kde jsme koncem roku v Krakově prezentovali návrh Capability based Grid Monitoring Architecture (CGMA). Významnou roli v roce 2004 hrála i úzká spolupráce s projektem EGEE, mimo jiné i proto, že část zdrojů MetaCentra se stala součástí celoevropského EGEE Gridu.

V roce 2005 byly veškeré výpočetní (dual CPU s procesory Intel Pentium nebo AMD Opteron) i datové zdroje MetaCentra rozmístěny ve čtyřech lokalitách - v sídle sdružení (skurut - primárně pro projekt EGEE, v Ústavu výpočetní techniky UK (výpočetní systémy HAL, Mat a Acharon (všechny SGI) a související diskové kapacity), na Západočeské univerzitě Pasifae (DEC/Compaq/HP) a clustery Nympha (vlastní cluster MetaCentra) a Minos (cluster patřící ITI ZČU spravovaný provozní skupinou MetaCentra), na ÚVT MU Eru, Grond a Gandalf a clustery Skirit (vlastní systém MetaCentra) a Perian (majetek NCBR MU ve správě MetaCentra). Pro experimentální účely byl vyhrazen dual CPU Power4+ počítač od IBM (majetek MetaCentra). Řada činností byla ovlivněna rozhodnutím přechodu na PKI autentizaci s využitím USB tokenů. Odpovídajícím způsobem jsme modifikovali portál MetaCentra, vytvořili jsme samostatné sekce, které jsou přístupné pouze po autentizaci uživatelským certifikátem. Organizovaná školení umožnila bližší kontakt s uživateli, zkušenosti jsme následně převedli do dalších verzí portálu a skladby zpřístupněných informací.

Po většinu roku 2006 bylo celkem k dispozici přes 600 procesorů spravovaných ve 4 uzlech. V první polovině roku jsme do prostředí MetaCentra plně integrovali nové páskové knihovny NEO8000 firmy Overland Storage, umístěné v uzlech v Plzni a Brně, s celkovou nekomprimovanou kapacitou 400 TB a předřazeným diskovým polem s kapacitou 8 TB. Koncem roku jsme pak publikovali první verzi nové zálohovací politiky, která garantovala minimální dobu dostupnosti záloh v délce 3 měsíce. Všechna zálohovaná data byla ukládána duálně v Plzni i Brně. V roce 2006 pokračovala úzká spolupráce v rámci bezpečnosti, která se kromě již tradičního využívání služeb Certifikační autority zaměřila především na oblast federativních přístupů a jejich propojení s gridovými autentizačními a postupně i autorizačními službami. Na mezinárodní úrovni pokračovala úzká spolupráce s projektem EGEE a návazným projektem EGEE II, které odpovídají za budování celoevropské gridové infrastruktury. Aktivita MetaCentrum má svého zástupce v Project Management Board tohoto projektu. MetaCentrum rovněž spolupracuje s dalšími projekty, které nějakým způsobem využívají či dokonce rozvíjí gridové prostředí (např. projekt MediGRID). MetaCentrum zahájilo úzkou spolupráci s částí komplementárního výzkumného záměru MU Rozsáhlé paralelní a distribuované systémy a jeho prostřednictvím se sítí excelence CoreGRID. V průběhu roku 2006 jsme také začali připravovat koncepci dalšího rozvoje MetaCentra, postavené na důsledné virtualizaci zdrojů.

V roce 2007 jsme pokračovali v zapojení clusterů výzkumných skupin do infrastruktury MetaCentra. Zástupce MetaCentra se zúčastnil výběrových řízení v Loschmidtových laboratořích na MU, vybrané IBM Blade řešení bylo plně integrováno do infrastruktury MetaCentra. Obdobně jsme se podíleli na výběrovém řízení nákupů clusterů pro Národní centrum výzkumu biomolekul (MU) a Biofyzikálního ústavu AV ČR. Ve všech případech jsme na zakoupené stroje nasadili virtualizační technologie Xen. Společně s pracovištěm JČU a AV ČR v Nových Hradech jsme se podíleli na výběru clusteru. Hlavní činností MetaCentra v roce 2007 byly první kroky tvorby virtualizované gridové infrastruktury. Realizované činnosti lze rozdělit do následujících oblastí: vlastní virtualizace infrastruktury, spočívající jednak v instalaci virtuálních počítačů, jednak v modifikaci plánovacího systému a dalších součástí provozu MetaCentra tak, aby s virtualizovaným prostředím mohly pracovat; nasazení IPv6 jako základního protokolu komunikace mezi uzly MetaCentra a zahájení přechodu vybraných služeb na IPv6; řešení úložných kapacit, integrovatelných do virtualizovaného prostředí. Navrhli jsme a v roce 2007 intenzivně rozvíjeli systém Magrathea pro podporu plánování ve virtualizované infrastruktuře. Pokračovali jsme v podpoře federativních mechanismů pro autentizaci a řízení přístupu. Zřídili jsme poskytovatele identit (Identity Provider) pro uživatele MetaCentra a také řadu federalizovaných poskytovatelů služeb (Service Providers), které slouží primárně jako demonstrace funkčnosti federací. Všechny tyto aplikace jsou součástí vznikající české akademické federace (CzTestFed). Od roku 2006 jsme plně zapojeni v projektu eduroam, do kterého poskytujeme Radius server pro uživatele MetaCentra. V roce 2007 jsme provedli instalaci záložního Radius serveru a zúčastnili se testování evropské eduroam infrastruktury, které bylo zaměřeno na možnosti použití TLS mechanismů (tj. certifikátů) pro autentizaci uživatelů.

V roce 2008 MetaCentrum spravovalo na 577 fyzických strojů (více než 1200 jader). Průměrné využití novějších strojů (zejména 16jaderné počítače manwe a stroje skirit49-83 a skurut33-66 s procesory s frekvencí 3 a více GHz) bylo kolem 50%, což je srovnatelné nebo lepší než mezinárodně udávané hodnoty pro podobná prostředí. Zájem o starší, méně výkonné stroje je menší, využití se pohybuje mezi 10 a 30 %. Aktuální stav infrastruktury MetaCentra je sledován systémem Nagios, který byl po předchozím zkušebním využití nasazen v roce 2008 do plného provozu. V současnosti monitorujeme všechny výpočetní zdroje MetaCentra (fyzické i virtuální počítače), stejný systém je používán i pro sledování vybraných služeb projektů EGEE a EGI_DS. Přechod na virtualizované prostředí probíhal v roce 2008 souběžně se zajištěním standardního provozu, trvalé průběžné podpory uživatelů, spojené rovněž s údržbou a rozvojem portálu MetaCentra, systému sledování požadavků a dalším zvyšováním kvality poskytovaných služeb. Na druhé straně spektra činností MetaCentra pak stojí výzkumné a vývojové aktivity zejména v oblasti bezpečnosti a správy virtualizovaného prostředí. Na konci roku bylo virtualizované prostředí (tj. jádro s podporou Xenu nebo VServer v případě více jak osmijaderných uzlů) instalováno na více jak 93 % všech zdrojů MetaCentra. Ve spolupráci s dalšími aktivitami výzkumného záměru, zejména Multimediální přenosy a kolaborativní prostředí a Rozvoj sítě národního výzkumu a vzdělávání, jsme v roce 2008 virtualizovali i síťovou infrastrukturu MetaCentra. Hlavní uzly MetaCentra v Plzni, Praze a Brně byly propojeny na úrovni L2, tj. vytvořily virtuální lokální síť (VLAN). V ní je možné vytvářet další úroveň virtuálních sítí, které tvoří základ propojení virtuálních clusterů. Vyvinuli jsme základ služby pro řízení těchto virtuálních sítí uvnitř VLAN MetaCentra, což tvoří základ pro uživatelskou stavbu dočasných virtuálních clusterů bez nutnosti koordinace s administrátory páteřní sítě CESNET2. Služba SBF je v současné době integrována se systémem podpory plánování virtuálních strojů Magrathea. Propojení národní gridové infrastruktury je realizováno formou zapojení do klíčových projektů EU. V oblasti vlastní infrastruktury a jejího rozvoje se jedná především o projekty EGEE II (do konce dubna) a EGEE III (od května), mimo oblast Evropské unie pak zasahuje projekt EUAsiaGRID, jehož řešení bylo zahájeno v dubnu a který rozšiřuje působení aktivity MetaCentrum do oblasti Dálné Asie a Pacifiku. Na koncepční úrovni je však nejdůležitější zapojení do projektu EU EGI_DS (European Grid Initiative Design Study), kde CESNET na základě dohody s ostatními partnery převzal od července roli koordinátora. Působení v projektu EGI_DS odpovídá i činnost na národní úrovni, kde MetaCentrum v průběhu celého roku intenzivně propagovalo myšlenky komplexní eInfrastruktury a zapojení CESNETu do jejího budování, mimo jiné i prostřednictvím Operačního programu Věda a výzkum pro inovace (OP VaVpI). Na valné hromadě sdružení CESNET v polovině roku 2008 byl přijat rámcový záměr budování komplexní eInfrastruktury - záměr byl připraven v úzké spolupráci s MetaCentrem. eInfrastruktura v tomto pojetí rozšiřuje poskytované služby vysoce nad rámec pouhého přenosu dat počítačovou sítí a jako svou integrální součást zahrnuje i rozsáhlé výpočetní a úložné kapacity. CESNET budující eInfrastrukturu tak může začít plnohodnotně plnit roli nejen NREN, ale i NGI a reprezentovat Českou republiku ve vznikajícím mezinárodním gridovém prostředí EGI.

Podrobně lze historii MetaCentra sledovat v ročních zprávách o řešení výzkumného záměru CESNETu.

O CESNETu

Sdružení CESNET založily vysoké školy a Akademie věd České republiky v roce 1996. Jeho hlavním cílem je provozovat a rozvíjet páteřní akademickou počítačovou síť České republiky. Současná generace této sítě se nazývá CESNET2 a nabízí na páteřních trasách přenosové rychlosti v řádu deseti gigabitů za sekundu. Hlavní cíle sdružení CESNET jsou následující: provoz a vývoj národní vysokorychlostní počítačové síťě určené pro vědu, výzkum, vývoj a vzdělávání; výzkum a vývoj pokročilých síťových technologií a jejich aplikací a v neposlední řadě také rozšiřování informační základny veřejnosti v oblasti moderních síťových technologií; provoz národní gridové infrastruktury. CESNET je dlouholetý provozovatel české akademické sítě a účastník odpovídajících mezinárodních projektů. Mezi nejdůležitější mezinárodní aktivity sdružení CESNET patří: podíl na projektu Dante, členství v asociaci TERENA, mezinárodní partnerství v konsorciu Internet2, účast v evropském projektu GN2 (předchozí projekty GEANT, QUANTUM/TEN-155, TEN-34), účast v evropských gridových projektech EGEE III (předchozí projekty DATAGRID, EGEE, EGEE II) a EGI_DS, a účast na mnoha dalších mezinárodních projektech.

Poslední změna: Mon Aug 24 14:49:35 CEST 2020