Pohledem na histogramy si ověřte aktuální zatížení procesorů a disků v našem klastru nebo sledujte časový vývoj zátěže procesorů. Projděte si poznámky k našemu hardwaru a zahleďte se na seznam softwaru dostupného na strojích s Linuxem i Windows. Zkuste, zda nenaleznete něco užitečného dole mezi návody.
| CPU usage (load/cores) | Disk usage |
|---|---|
 |
 |
| (guptime) Zatížení uzlů klastru. Zelené sloupce naznačují nepřetížené uzly, sloupce žluté a červenající upozorňují na hrozící přetížení, fialovou barvu naberou sloupce po překročení 210procentní meze zátěže. Sloupce vypnutých či padlých strojů zčernají. Procenta zátěže na osách se vztahují k poměru počet běžících úloh ku počtu jader uzlu (load/cores), počet běžících úloh je vyznačen u horního okraje sloupce, počet jader uzlu v popisku sloupce. Svislá čára u vrcholu sloupce charakterizuje tendenci vývoje počtu úloh, vyznačuje maximum z průměrů za posledních 5 a 15 minut, zatímco výška barevného sloupce odpovídá průměru za poslední 1 minutu. Pro nové úlohy volte stroje se zeleným sloupcem nebo údajem 0.0 na dolní ose, nebo počkejte na klidnější časy, nebo oslovte počítající kolegy (k jejich identifikaci použijte na uzlu příkaz top). | (gdf) Obsazenost síťových disků na strojích karel, lojzik, vaclav, geof10−90, geof-xyz a v diskovém poli. Do zaplnění 80 % kapacity disku svítí sloupec zeleně, pak žloutne a rudne. Procenta zaplnění jsou uvedena u horního okraje sloupce, velikost disku v TB stojí v popisku. Obrázky se aktualizují s minutovou periodou (v prohlížeči je ovšem třeba je obnovovat, např. klávesou F5 nebo pomocí webového osvěžovače). Zde jsou položeny ve vektorovém formátu svg, při zvětšování tedy získávají na čitelnosti, pokud ovšem prohlížeč svg formátu rozumí. Dostatečně velké png varianty se zobrazí po kliknutí na ploše obrázků. Data pro obrázky jsou získávána pomocí skriptů guptime a gdf, dostupných na každém uzlu klastru. (Zdrojové skripty pro gnuplot: 1, 2.) |
Obrázky časového vývoje zátěže procesorů na jednotlivých uzlech i souhrnně hledejte na samostatné stránce.
Na 1 listu (aktuální stav): PDF
Na 3 řádcích (listopad 2019): 10 8jádrových i9 stanic, 7 6jádrových i7 stanic, 12 12jádrových i9 nebo Xeon serverů, 3 24jádrové Xeon servery, 12 stranou stojících strojů a 1 diskové pole. Celkem 40 strojů, 380 CPU jader, 27k GPU jader. Paměť 2+ TB, disky 250+ TB. Ubuntu Linux 14.04
(Říjen 2019) Pět 8jádrových procesorů Intel i9-9900KF doplnilo srpnový upgrade, takže rychlé (až 5GHz-ové) procesory jsou nyní ve všech deseti strojích geof*0.
(Srpen 2019) Pět 8jádrových procesorů Intel i9-9900K (turbo frekvence 5,0 GHz) nahradilo předchozí hardware ve strojích geof60, geof70, ... geof00 a tři 12jádrové procesory Intel i9-9920X občerstvily servery geofx1, geofx2 a geofx3. Paměť dotčených strojů je 32 až 64 GB (PDF). Shromažďujeme dojmy, zda paralelizovaným aplikacím přinese více užitku (levnější) rychlejší 8jádro nebo (dražší) pomalejší 12jádro.
(Březen a srpen 2019) Na strojích geof10, geof20 a (později) geof30 se objevily výpočetní akcelerátory (GPUs) Nvidia Geforce RTX 2070, nejvýkonnější GPUs našeho klastru. Každý z těchto akcelerátorů disponuje 36 multiprocesory s celkem 2304 (SP) jádry a 8 GB paměti. Doplňují tak o něco starší Nvidia Geforce GTX 1070 Ti na geof40 a geof50, a nově (srpen 2019) se k týmu připojila další výkonná Nvidia Geforce GTX 1660 Ti na geof00. Užitek aktuálně přinášejí pro software využívající direktiv OpenACC poskytovaných překladači firmy PGI (pgfortran, pgcc).
(Prosinec 2018) Tři nové servery, každý s dvěma 12jádrovými procesory Intel Xeon E5-2650 v4, získaly jména geofw1, geofw2 a geofw3. Servery geofw překonávají naše ostatní stroje počtem jader (24, resp. 48 v HT režimu) i velikostí paměti (po řadě 128, 128 a 256 GB).
(Červen 2016) Dva single stroje (geofhk Míšy Káňové a geoflh Katky Sládkové) dostaly soudobý hardware. Procesory jsou sice jen 4jádrové, ale už šesté generace Intel Core zvané Skylake. V našem klastru jsou jako takové první, a to i se svou frekvencí 4,0 GHz a DDR4 pamětí o frekvenci 2,4 GHz.
(Únor a březen 2016) Započali a dokončili jsme přesun většiny strojů klastru do nové fakultní serverovny. Bude jim tam snad lépe než v dosavadní katederní, je tam chládek. (V katederní serverovně teď už také.) Přestěhovali jsme 23 počítačů (12 geof-xyz, 10 geof-0 a 1 geoffg) a InfiniBand switch.
(Říjen 2015) Grantové zdroje daly vzniknout nové 6jádrové stanici geof00 v konfiguraci obdobné jako ostatní geof-0 stroje. Znovu zprovozněny byly tři 2procesorové servery o 8 jádrech pod staronovými jmény geofx1, geofx2 a geofx3 (Xeon E5520). 12jádrové servery nyní tvoří řadu geofy* (Xeon X5650) a geofz* (Xeon E5-2630v2).
(Srpen 2015) Téměř na všech uzlech klastru proběhl upgrade Linuxu na verzi Ubuntu 14.04. Po jistý čas zůstane starší Ubuntu 12.04 zachováno na stanici karel. Aktuální stav přechodu zachycuje přehled uzlů.
Software instalovaný v nové konfiguraci je sepsán níže. Jsou tam uvedeny i příkazy, kterými je třeba aktivovat některé aplikace nebo jejich specifické verze (MATLAB, COMSOL, Sepran, Intel MPI, LAPACK, IMSL, CULA, Gnuplot verze 5, GMT verze 5). Ad OpenMP (a také Intel MKL): proměnné OMP_NUM_THREADS a MKL_NUM_THREADS jsou nastaveny explicitně na 1, pro vláknové běhy je žádoucí hodnotu jedné z proměnných zvýšit (př.: export OMP_NUM_THREADS=6).
Při prvním ssh logování na upgradované stroje se objevuje výstraha, které není třeba věnovat pozornost. Výjimkou je spojení Linux-Linux, kdy je třeba pročistit nebo vymazat soubor ~/.ssh/known_hosts.
(Březen 2015) Webové stránky katedry prošly za 20 let existence řadou proměn (viz Wayback Machine). K nedávným (leden 2013) patří oddělení obsahu (hypertext, HTML) a formy (kaskádové styly, CSS), což mělo usnadnit budoucí změny vizuálního stylu. A snad i usnadnilo, když v březnu 2015 stránky získaly nová záhlaví, zápatí, dlaždice a barvy.
Nové záhlaví přineslo originální grafiku, kde na řezech ortografické projekce modelu Země jsou autorsky ztvárněny jak seismické vlny šířící se pláštěm, tak plášťová konvekce s vzestupnými plášťovými chocholy a zanořující se litosférickou deskou, a v okolí planety jsou naznačeny Van Allenovy radiační pásy. Textové dlaždice pod záhlavím odkazují na významné prvky stránky a jiná relevantní místa, při pravém okraji domácí stránky upoutávají k následujícímu obsahu i grafické dlaždice. Zápatí sdružuje praktické odkazy: G-kalendář, webmail, zatížení počítačového klastru, lokální vyhledávání, statistiku přístupů a archivní snímky stránek.
Byl rozšířen obsah stránek: obohaceny jsou upoutávky na geofyzikální témata, občerstveny informace o studiu na katedře, přidány rozcestník seminářů a stránka o počítačové infrastruktuře, více stránkám je doplněna ilustrační grafika.
Web sestává ze statických XHTML a CSS souborů, jejich dynamické generování a zpracování cookies je připraveno, zatím neaktivováno. Jisté dynamičnosti je dosaženo automatizovaným obměňováním několika obrázků v čase a pohotovou ruční editací aktualit. Stránky jsou otestovány na trojici populárních prohlížečů a dávají smysl na mobilních zařízeních, s vypnutým stylem i při tisku.
(Březen 2015) Konec března přinesl součástky pro devátý server skupiny geof-xyz: geofz3. Jeho parametry (procesory, paměť a disk) jsou shodné s geofz1/z2 a bude s nimi tvořit trojici našich nejsilnějších 12jádrových strojů (generace Ivy Bridge, 22nm technologie). Servery geof-xy jsou výkonem srovnatelné, ale patří k předchozí generaci (Gulftown, 32 nm). Server geoflh je pomalejší, jen 8jádrový 45nanometrový Gainestown, bez InfiniBandu, a stojí proto poněkud stranou, nově jako desátý z deseti. Update: geofz3 v provozu.
Počítačový klastr katedry zahrnuje 15 serverů (geofXYZW s procesory Intel i9/Xeon o 12 až 24 jádrech) a 15 stanic (karel, lojzik, vaclav, geof*0, geofb* s 6 až 8jádrovými Intel Core i7/i9). Klastr doplňuje několik strojů starší generace a diskové pole (geofds) na kapacitu téměř 400 CPU jader a přes 250 TB diskového prostoru. Některé stroje jsou vybaveny výpočetními koprocesory (Nvidia GPU, Intel MIC/Xeon Phi), servery jsou propojeny vysokorychlostní sítí (InfiniBand). Na strojích běží linuxová distribuce Ubuntu verze 14.04. Údaje o procesorech, paměti, síťových discích a výpočetních koprocesorech shrnuje aktuální přehled uzlů klastru.
Ke strojům se přistupuje pomocí textových nebo grafických relací. Ze strojů s Linuxem to typicky bývá příkazem ssh, resp. (pro grafickou relaci) ssh -X, ze strojů s Windows textově pomocí aplikace PuTTY nebo graficky pomocí softwaru X2Go nebo NX Client; s podporou X-serveru ve Windows (např. VcXsrv) lze otevírat grafické aplikace i z textového PuTTY. Pro přenos dat slouží v Linuxu příkaz scp, sshfs atp., ve Windows univerzálně (tj. z katedry i světa) např. software WinSCP nebo stejnojmenný plugin v Altap Salamanderu. Lokálně, tedy mezi uzly klastru a ze strojů katedry, lze pro datové přenosy používat NFS spoje a z Windows lze k síťovým diskům přistupovat pomocí Samba spojů (Map Network Drive, Folder: //server/shared-folder), rychlejších než šifrované WinSCP.
Uživatelé mají obvykle přístup ke všem uzlům a na každém síťovém disku mají svůj adresář. Spouštění úloh není řízeno žádným systémem, je na uživatelích, aby si pomocí skriptů guptime a gdf nebo jejich grafických variant (viz nahoře) nalezli nepřetížený stroj, tedy stroj s aktuálním počtem běžících úloh menším než je počet jader (12−24 u serverů, 8 nebo méně u pracovních stanic). Stroje podporují hyperthreading, tedy může (ale nemusí) přinést užitek zatížit stroj až na 200 %. (Na 8jádrových stanicích může 16 paralelních úloh doběhnout mírně rychleji než po sobě spuštěné dvojice 8 paralelních úloh.) Není vhodné přetěžovat karla, na kterém běžně pracuje několik živých uživatelů interaktivně a který nese web server. Stroje jsou připojeny k samostatnému síťovému přepínači (Gigabit Ethernet), servery navíc ke 40násobně rychlejšímu přepínači (InfiniBand), přesto bývá typičtější (odolnější proti výpadkům uzlů a sítě) číst a psát data na lokálním disku stroje.
Přehled strojů (PDF)
Na uzlech klastru běží operační systém Linux v distribuci Ubuntu 22.04 Jammy Jellyfish (téměř všechny stroje), 14.04 Trusty Tahr (lojzik a geofb*) a 12.04 Precise Pangolin (karel).
Před spuštěním softwaru může být nutné volat aktivační skripty: 'source load_foo' neboli '. load_foo'; týká se to mj. Intel a Nvidia překladačů, Anacondy, GMT a ParaView.
Pro vzdálený přístup z Windows je vhodné textové PuTTY (případně s lokálním X-serverem VcXsvr) nebo grafický X2Go Client. (NX Client lze použít jen pro starší Ubuntu.) X2Go Client nabízí vzdálený desktop buď jako jedno okno s aplikacemi v něm (Session type: MATE) nebo otevírá nové Windows okno pro každou aplikaci (Session type: Single application/Terminal); aplikace dostupné jako Snap balíčky (např. Teams, Zoom, Chromium, IrfanView, Notepad++) lze v současnosti spouštět dálkově jen v terminálové session.
Pro přenášení souborů mezi lokálními Windows a Ubuntu 22.04 nelze použít zastaralý WinSCP plugin v Altap Salamanderu; WinSCP lze nadále používat jako samostatnou aplikaci (download). (Přenosy pomocí pluginu v Salamanderu jsou nadále možné přes stroje s Ubuntu 14.04.)
Pro bezheslový SSH přístup k Ubuntu 22.04 nelze použít RSA klíče připravené na Ubuntu 14.04/12.04. Na strojích se starším Ubuntu je třeba pro bezheslový přístup k novému Ubuntu vytvořit nové ECDSA klíče: ssh-keygen -t ecdsa. Pro bezheslový přístup mezi stroji s novým Ubuntu je třeba na nich vygenerovat nové RSA (nebo jiné) klíče: ssh-keygen -t rsa. Podrobněji v poznámce.
Pro pohodlné připojení síťových disků z Linuxu ke školním strojům s Windows pomocí systému Samba je třeba osobní kontakt se správcem.
Stroje s Windows umístěné v počítačové laboratoři, posluchárně a po kancelářích mohou obsahovat mj. níže uvedený licencovaný nebo volně dostupný software. Za zdůraznění stojí, že leccos máme k dispozici jak v Linuxu, tak pro Windows: překladače GCC a Intel oneAPI HPC, také Python (Anaconda) a Octave s mnoha balíčky, numerické knihovny LAPACK, Intel MKL, CULA, UMFPACK i Pardiso, grafický software GIMP, ImageMagick, Inkscape, gnuplot, GMT a ParaView a samozřejmě LaTeX. S GCC překladači (ve variantě MinGW) se do Windows dostane i ke stovce linuxových nástrojů, včetně bash, make a awk. Možnost vyvíjet a ladit v prostředí Windows aplikace snadno přenositelné na linuxové stroje (nebo naopak) se tak stala docela průstupnou; kromě toho je připraven i Windows Subsystem for Linux (WSL).
K Fortranu: Překladače GCC (gfortran, gcc, g++) se ovládají primárně z příkazového řádku, lze k nim přidat grafické vývojová prostředí (Geany, Code::Blocks, NetBeans). Intel překladače pro Windows mají režim řádkový (ifort/ifx, icc/icx) i grafický pod střechou Microsoft Visual Studio. Všechny překladače umožňují vláknovou paralelizaci pomocí OpenMP pro CPU i GPU, Nvidia a GCC podporují i direktivy OpenACC pro GPU. MPI paralelizaci ve Windows poskytuje Intel a Nvidia.
Další návody jsou k nalezení na stránkách semináře o softwaru pro geofyziky.