0
Luigi
Namjena Luigija je rješavanje svih vodovodnih instalacija koje su obično povezane s dugotrajnim šaržnim procesima.Želite vezati brojne zadatke, automatizirati ih i događaće se neuspjesi.Ti zadaci mogu biti bilo što, ali obično su dugotrajne stvari poput poslova Hadoop, bacanje podataka u / iz baza podataka, pokretanje algoritama strojnog učenja ili bilo čega drugog.Postoje i drugi softverski paketi koji se fokusiraju na aspekte niže razine obrade podataka, poput košnice, svinje ili kaskadno.Luigi nije okvir koji bi ih mogao zamijeniti.Umjesto toga, pomaže vam da spojite mnoge zadatke, pri čemu svaki zadatak može biti upit Hive, Hadoop posao na Javi, Spark posao u Scali ili Python isječak Python-a, izbacivanje tablice iz baze podataka ili bilo što drugo.Lako je izgraditi dugotrajne cjevovode koji uključuju tisuće zadataka i potrebno je nekoliko dana ili tjedana.Luigi se brine za puno upravljanja tijekom rada, tako da se možete usredotočiti na same zadatke i njihove ovisnosti .... Možete sastaviti gotovo svaki zadatak koji želite, ali Luigi također dolazi s alatnim paketom nekoliko uobičajenih predložaka zadataka koje vikoristiti.Uključuje podršku za vođenje poslova Python mapreduce u Hadoopu, kao i za poslove Hive i Pig.Također dolazi s apstrakcijama datotečnog sustava za HDFS i lokalnim datotekama koje osiguravaju da su sve operacije datotečnog sustava atomske.To je važno jer znači da se cjevovod podataka neće srušiti u stanju koje sadrži djelomične podatke.
luigi
Web stranica:
https://github.com/spotify/luigiKategorije
Alternativa Luigiu za sve platforme s bilo kojom licencom
5
Zenaton
Alat za izradu radnog tijeka za programere.Izgradite procese na temelju događaja u danima umjesto u mjesecima.
1
StackStorm
StackStorm je snažna platforma za automatizaciju otvorenog koda koja povezuje sve vaše aplikacije, usluge i tokove rada.To je proširiv, fleksibilan i izgrađen s ljubavlju prema DevOps i ChatOps.
- Besplatna
- Linux
1
ProActive Workflows & Scheduling
ProActive Workflows & Scheduling omogućuje vam jednostavno izvršavanje svih poslova i poslovnih aplikacija u vašoj tvrtki, praćenje aktivnosti i brz pristup rezultatima posla.
1
Apache Airflow
Zračni protok je platforma za programiranje autora, zakazivanje i nadzor cjevovoda za podatke.
- Besplatna
- Linux