123
Mixnode

Mixnode

Mixnode je brza, fleksibilna, masivno skalabilna platforma za izvlačenje i analiziranje podataka s weba.Mixnode vam omogućuje da razmišljate o svim resursima na webu kao redacima u tablici baze podataka;golema tablica baze podataka s milijardama redaka koje možete upitati pomoću standardnog strukturiranog jezika upita (SQL).Dakle, umjesto da pokrećete web indeksere / scrapers, možete pisati jednostavne upite na ultra-fleksibilnom jeziku da biste preuzeli sve vrste zanimljivih podataka s interneta.

Web stranica:

Kategorije

Alternativa Mixnodeu za Linux

grab-site

grab-site

grab-site je alat za indeksiranje za arhiviranje web stranica u WARC datoteke.Uključuje nadzornu ploču za nadziranje više indeksiranja i podržava promjenu obrazaca zanemarivanja URL-ova tijekom indeksiranja.