Namjena Luigija je rješavanje svih vodovodnih instalacija koje su obično povezane s dugotrajnim šaržnim procesima.Želite vezati brojne zadatke, automatizirati ih i događaće se neuspjesi.Ti zadaci mogu biti bilo što, ali obično su dugotrajne stvari poput poslova Hadoop, bacanje podataka u / iz baza podataka, pokretanje algoritama strojnog učenja ili bilo čega drugog.Postoje i drugi softverski paketi koji se fokusiraju na aspekte niže razine obrade podataka, poput košnice, svinje ili kaskadno.Luigi nije okvir koji bi ih mogao zamijeniti.Umjesto toga, pomaže vam da spojite mnoge zadatke, pri čemu svaki zadatak može biti upit Hive, Hadoop posao na Javi, Spark posao u Scali ili Python isječak Python-a, izbacivanje tablice iz baze podataka ili bilo što drugo.Lako je izgraditi dugotrajne cjevovode koji uključuju tisuće zadataka i potrebno je nekoliko dana ili tjedana.Luigi se brine za puno upravljanja tijekom rada, tako da se možete usredotočiti na same zadatke i njihove ovisnosti .... Možete sastaviti gotovo svaki zadatak koji želite, ali Luigi također dolazi s alatnim paketom nekoliko uobičajenih predložaka zadataka koje vikoristiti.Uključuje podršku za vođenje poslova Python mapreduce u Hadoopu, kao i za poslove Hive i Pig.Također dolazi s apstrakcijama datotečnog sustava za HDFS i lokalnim datotekama koje osiguravaju da su sve operacije datotečnog sustava atomske.To je važno jer znači da se cjevovod podataka neće srušiti u stanju koje sadrži djelomične podatke.