Task Manager

I task manager o batch occupano un posto speciale nel campo dei computer chiamato HPC . Sono generalmente utilizzati per la gestione del software di grandi installazioni IT parallele utilizzate contemporaneamente da più utenti fisici o virtuali. Su un tipo di UNIX multitasking , una parte software del nucleo, chiamata scheduler ( scheduler ) consente a diversi processi lanciati di accedere uno dopo l'altro alle risorse della macchina, in base alla capacità del computer di elaborare, in base al suo tasso di occupazione, secondo priorità che possono essere attributi di questi processi, ecc.

Allo stesso modo, un batch manager implementa uno scheduler o uno scheduler di processo su scala più ampia; servirà per trasmettere i processi da elaborare non più sulla macchina su cui è in esecuzione questo scheduler, ma su una o più delle diverse macchine che costituiscono l'installazione informatica del cluster.

Terminologia

Un cluster (o anche un cluster di server , una computation farm ) è un insieme di computer disposti in rete, generalmente veloci; è composto da più unità (alcuni cluster raggiungono le dimensioni di diverse decine di migliaia di unità). Viene generalmente utilizzato per eseguire elaborazioni pesanti in termini di risorse di calcolo e / o di memoria.
Un nodo è uno di quei computer che compongono il cluster. Può essere singolo o multiprocessore, ed è gestito dal proprio sistema operativo che ne sfrutta le risorse in locale.
Il master è un computer che gestisce alcuni elementi del task manager così come gli strumenti di supervisione; può servire da nodo, sebbene in pratica questo caso sia generalmente evitato.
Il task manager è composto da 3 elementi principali:
- Il server , elemento centrale, responsabile di fornire l'interfaccia tra gli utenti e altri elementi,
- Lo scheduler , responsabile della gestione dell'accesso alle risorse del cluster,
- Il lanciatore di processi , chiamato mamma perché è il padre (o la madre) di tutti i processi che lancia per conto dei lavori.
Una coda è una coda in cui si accumulano i lavori in attesa di elaborazione da parte del server.
Un task o job è un piccolo programma, scritto in generale in un linguaggio di scripting (shell), contenente la definizione dell'ambiente in cui desidera avviare il suo calcolo (numero di nodi, numero di processori, ecc.). Contiene inoltre i riferimenti dei file utilizzati e del programma di calcolo che si desidera avviare. Viene messo in coda dal server in attesa di elaborazione.
Una regola di pianificazione ( politica ) definisce quale metodo deve applicare lo scheduler all'elaborazione delle attività in attesa nelle code. Può essere di tipo FIFO (first in, first out) o utilizzare algoritmi specializzati come backfilling, fairshare, ecc.

Storico

Componenti

Il server

Il server occupa un posto centrale nel task manager. Tutti i comandi utente, operatore e amministratore di sistema vengono inviati a questo server su TCP / IP . Il ruolo principale di questo server è fornire i servizi di base di cui abbiamo bisogno per le attività:

creare i batch per ricevere le attività,
modificare le attività,
proteggere le attività dagli arresti anomali dei nodi,
mettere in esecuzione i compiti,
sospendere i compiti in esecuzione,
uccidere i compiti in esecuzione,
rifiutare compiti in base a determinati criteri
gestire le code.

Lo scheduler

Le code , da parte loro, sono costituite da raccolte potenzialmente ordinate di attività in attesa di essere elaborate. Esistono 2 categorie di code:

code di instradamento,
le code di esecuzione.

Hanno attributi che condizionano la loro capacità di ricevere lavori.

Una coda di instradamento ha come attributo un elenco ordinato di code di esecuzione e serve a dirigere le attività dirette verso di esse da un utente verso la prima di queste code di esecuzione per le quali le risorse disponibili raggiungono le risorse richieste.

iniziatori di processo

Interazioni tra i componenti

I principi del calcolo parallelo

Implementazioni

MUCCA Salah

Beowulf

PBS Pro

SGE

Coppia

Maui

Maui Cluster Scheduler , precursore di Moab, è uno scheduler open source per cluster e supercomputer. È uno strumento configurabile e ottimizzato destinato a supportare diverse politiche di pianificazione, priorità dinamiche, prenotazione di fasce orarie estese, equa condivisione delle risorse ( fairshare ). È attualmente utilizzato da centinaia di governi, nell'istruzione e sui server commerciali in tutto il mondo. Tutte le capacità presenti su Maui sono presenti anche su Moab, poiché Moab ha aggiunto funzionalità a Maui come la nozione di rete cluster virtuale (VPC, vedi VPN ), utile quando i nodi sono geograficamente dispersi su più reti, il supporto di trigger di base , strumenti di amministrazione grafica e un portale web per gli utenti.

Moab

Apri PBS

LSF

SRO

OAR è un gestore di risorse per un cluster di PC (cluster di elaborazione) originariamente sviluppato presso il laboratorio ID-IMAG di Grenoble, come clone di OpenPBS (80% delle funzionalità / 20% del numero di righe di codice), su licenza gratuita ( OpenSource).

Oggi OAR è il gestore delle risorse utilizzato dalla piattaforma nazionale di grid computing sperimentale Grid'5000, così come da molti altri siti universitari e persino industriali.