Crawla stor sajt

[Erik Svensson]

Hejsan

Har någon bra tips på hur jag ska gå tillväga för att crawla en tämligen stor sajt? Den har över 200k URL:er. Jag har provat med WebSite Auditor från Link-Assistant, men den klarar inte av det.

[AaronAxelsson]

Hejsan

Screaming Frog är nog det absolut enklaste och bästa verktyget för det.
Du hittar det här: https://www.screamingfrog.co.uk/seo-spider/

Du kommer behöva betala £150 för ett års licens om du vill spindla av med än 500 URL:er (eller nånstans däromkring).

[Erik Svensson]

Tackar, ska testa och se om Screaming Frog klarar av det.

[aleand]

+1 för Screaming frog, om du inte vill betala för fulla versionen är ett tips att gå till Fiverr eller dylikt och betala någon för att crawla och exportera åt dig.

[SEOSEON]

Crawla med vilket syfte? Jag rekommenderar också Screaming Frog, men om du exempelvis bara vill kolla upp döda länkar så kan du använda http://www.deadlinkchecker.com/