Site Crawler, nytt verktyg av Domainstats

[Jim Westergren]

Efter flera månader har Stefan och jag nu äntligen blivit klara och lanserat Site Crawler: https://domainstats.com/tools/site-crawler

Den konkurrerar med Screaming Frog men ska ge en bättre överblick utan att behöva klicka runt så mycket som man ofta behöver göra i Screaming Frog. Den är även online så man behöver inte ladda ner både java och ett desktop program.

Tacksam för feedback!

[Axel Hansson]

Efter flera månader har Stefan och jag nu äntligen blivit klara och lanserat Site Crawler: https://domainstats.com/tools/site-crawler

Den konkurrerar med Screaming Frog men ska ge en bättre överblick utan att behöva klicka runt så mycket som man ofta behöver göra i Screaming Frog. Den är även online så man behöver inte ladda ner både java och ett desktop program.

Tacksam för feedback!

Snyggt. Mina korta kommentarer:

• Priset för högt. Skulle jag vilja crawla en hemsida med 100 000 undersidor så skulle jag behöva betala 10k SEK vilket är overkill. :-) (Kanske dock bara gäller utloggade besökare!)
• Ingen kontroll över inställningarna. Vill jag t.ex. crawla en utvecklingshemsida som blockerar via Robots.txt så skulle detta verktyg inte fungera.
• Går ej att sortera på URL.
• Skulle vilja kunna filtrera på allt enl Overview tabben högst upp (t.ex. se alla 301or).
• Time to download känns felaktig. Vissa URLer är 0.09s medans andra är 1.6s.
• Finns inget sätt att exportera datan vilket gör verktyget oanvändbart för t.ex. vår del.
• Undrar lite över prestandan i webbläsaren sedan när man börjar crawla väldigt stora hemsidor.

[Jim Westergren]

Hej Axel,

Tack för feedback!

Priset för högt. Skulle jag vilja crawla en hemsida med 100 000 undersidor så skulle jag behöva betala 10k SEK vilket är overkill. :-) (Kanske dock bara gäller utloggade besökare!)

Vet inte hur du räknade ut detta? Kanske något som är otydligt? Vi har en maxgräns just nu på 1000 URLer och det kostar 20 krediter vilket även ett gratiskonto kan utföra. Jag är tveksam till att tillåta mer än 1000 URLer eftersom det kan då användas som en form av överbelastning för att angripa en sajt och Domainstats kommer få skulden (jämfört med screaming frog då det är din egen dators IP).

Ingen kontroll över inställningarna. Vill jag t.ex. crawla en utvecklingshemsida som blockerar via Robots.txt så skulle detta verktyg inte fungera.

Sant, det tänkte jag inte på. Det ska vi fixa.

Går ej att sortera på URL.

Vi fixar.

Skulle vilja kunna filtrera på allt enl Overview tabben högst upp (t.ex. se alla 301or).

Det är svårt att lösa detta. Men du kan istället filtrera genom att skriva 301 i filterrutan.

Time to download känns felaktig. Vissa URLer är 0.09s medans andra är 1.6s.

Det måste betyda att din server köar upp förfrågningarna av vår crawler. Eller att de som var 0.09s var cachade och inte de andra?

Finns inget sätt att exportera datan vilket gör verktyget oanvändbart för t.ex. vår del.

Tack, vi fixar.

Undrar lite över prestandan i webbläsaren sedan när man börjar crawla väldigt stora hemsidor.

1000 URLer är inga problem i alla fall inte på min något kraftfulla laptop i chrome.

Jag kommer skicka Stefan som programmerat det mesta av detta verktyg till tråden.

[Axel Hansson]

Hej Axel,

Tack för feedback!


Vet inte hur du räknade ut detta? Kanske något som är otydligt? Vi har en maxgräns just nu på 1000 URLer och det kostar 20 krediter vilket även ett gratiskonto kan utföra. Jag är tveksam till att tillåta mer än 1000 URLer eftersom det kan då användas som en form av överbelastning för att angripa en sajt och Domainstats kommer få skulden (jämfört med screaming frog då det är din egen dators IP).


Sant, det tänkte jag inte på. Det ska vi fixa.

Vi fixar.

Det är svårt att lösa detta. Men du kan istället filtrera genom att skriva 301 i filterrutan.

Det måste betyda att din server köar upp förfrågningarna av vår crawler. Eller att de som var 0.09s var cachade och inte de andra?

Tack, vi fixar.

1000 URLer är inga problem i alla fall inte på min något kraftfulla laptop i chrome.

Jag kommer skicka Stefan som programmerat det mesta av detta verktyg till tråden.

Hej!

Ser nu att priset är fel. Det är 10 000 credits (inte kr) det handlar om. :-) Ska ta en titt sedan igen och se om jag har fler kommentarer. Däremot så står det 50 URLs for 5 credits dvs 10 URLer per credit kontra det du skrev ovan med 1000 / 20 = 50 URLer per credit.

[Stefan Sjönnebring]

Hej!

Ser nu att priset är fel. Det är 10 000 credits (inte kr) det handlar om. :-) Ska ta en titt sedan igen och se om jag har fler kommentarer. Däremot så står det 50 URLs for 5 credits dvs 10 URLer per credit kontra det du skrev ovan med 1000 / 20 = 50 URLer per credit.

Hej Axel och tack för din feedback!

Priset för att använda verktyget varierar utifrån antalet URL'er du väljer att analysera (Med ett maxtak på 1000 URLs).

50 URLs - 5 credits (5 URLs/credit)
300 URLs - 10 credits (30 URLs/credit)
1000 URLs - 20 credits (50 URLs/credit)

Ang. prestandan så kan den påverkas vid många URL'er. Resultatet presenteras med hjälp av DataTables jQuery-bibliotek, och det kan bli lite tungrott för "slöare" maskiner när filter-funktionerna är aktiverade (Detta är något jag vill hitta en lösning på).

Export till excel-format kommer inom kort!

Har du mer feedback på lager framöver så dela gärna med dig

[shad]

Ang. prestandan så kan den påverkas vid många URL'er. Resultatet presenteras med hjälp av DataTables jQuery-bibliotek, och det kan bli lite tungrott för "slöare" maskiner när filter-funktionerna är aktiverade (Detta är något jag vill hitta en lösning på).

Har inte kollat så noga på hur ni använder DataTables, men det kan bli sjukt segt om man har ett par tusen rader som man låter DataTables läsa av från DOM. Använder ni DOM eller en Javascript-array för att mata DataTables med data?

[Stefan Sjönnebring]

Har inte kollat så noga på hur ni använder DataTables, men det kan bli sjukt segt om man har ett par tusen rader som man låter DataTables läsa av från DOM. Använder ni DOM eller en Javascript-array för att mata DataTables med data?

Vi kommer max presentera 1000 rader i dagsläget, men vi läser av datan från DOM. Så jag får ta en kik på array-lösningen, tack för tipset!

[shad]

Vi kommer max presentera 1000 rader i dagsläget, men vi läser av datan från DOM. Så jag får ta en kik på array-lösningen, tack för tipset!

Ja gör det, jag kan verkligen rekommendera att använda en Javascript-array istället för DOM. Som referens använder jag DataTables här på en tabell med 40k+ rader: https://domaining.se/frislappta-lediga-domaner

[Seokillen]

Hej

Är ganska ny inom seo.
Varför behöver man crawla sin hemsida? När man kan endast göra fetch på google search console? Samt skicka in en sitemap som gör allt detta automatiskt?

Eller har jag missat något?

[Stefan Sjönnebring]

Hej

Är ganska ny inom seo.
Varför behöver man crawla sin hemsida? När man kan endast göra fetch på google search console? Samt skicka in en sitemap som gör allt detta automatiskt?

Eller har jag missat något?

Syftet med vårat verktyg att man enkelt ska få en överblick över vilka tekniska aspekter (längd på titel, uteblivna meta-taggar etc..), på den angivna domänen, som potentiellt kan åtgärdas - och som i sin tur kan förbättra dina förutsättningar när google indexerar din domän.

Tanken är alltså att verktyget ska underlätta för er SEO-experter som arbetar on-page på ett snabbt och enkelt sätt.

Testa gärna verktyget, förslagsvis på en av dina egna domäner/URL'er, så kanske du får en bättre bild av syftet med verktyget.