Kaosteori och varför du aldrig knäcker Google helt

[Gustav]

Mitt inlägg här är egentligen en spin-off från den här tråden. Jag blev fascinerad av alla teorier och logiska resonemang som förekom där. Trots alla kloka tankar så lyckades ingen knäcka nöten. Ingen betvivlar att Google använder sig av avancerade filter, men riktigt hur de här filtren fungerar kan ingen svara på.

Här kommer en mycket enkel förklaring till varför Google upplevs som så mycket svårare och mer avancerad än övriga sökmotorer. Google är bättre på att ranka webbsidor än övriga sökmotorer, men jag tror inte den upplevda svårighetsgraden endast beror på mer avancerade algoritmer.

Fakta
När Google crawlar webben så rankar sökmotorn webbsidor. Gör vi en sökning på ett ord så får vi ofta miljontals träffar. Av alla dessa miljoner träffar, så finns det med all säkerhet ett hundratal sidor som av en användare skulle upplevas som relevanta träffar vid en sökning på det specifika sökordet. Google har alltså en del att välja på.

Teori
Jag är övertygad om att det på senare år har tillkommit en mycket liten slumpfaktor i Googles algoritmer för att försvåra för SEO-världen. Man skulle kunna kalla det för ett avsiktligt kaos.

Logiskt resonemang
Av en miljon träffar så har Google alltså ett 100tal webbsidor som är riktigt relevanta att välja på (tror ingen säger emot mig där). Om vi tar en av dessa sidor som normalt rankar på förstasidan och kastar tillbaks den till plats 50 i serpsen, så kan vi lätt ersätta den här sidan med en annan sida som är nästan lika relevant. En vanlig användare som söker på ett ord kommer inte att märka någon kvalitetsförändring i serpsen på grund av den här lilla förändringen. De enda som märker något är folk som jobbar med SEO.

Sidan som vi nu har placerat på plats 50 är ju egentligen en bra sida. Så vi låter den självfallet inte ligga och ruttna på sin dåliga position i all evighet. Om en månad eller två så plockar vi upp den till plats 3 igen (där den låg före fallet). Den vanliga användaren (han/hon som letar information på Google) kommer återigen inte märka någon större kvalitetsskillnad i spersen. Alla SEOáre kommer däremot att klia sig i huvudet och sedan försöka förklara fenomenet.

Begränsningar
Den här kaos-teorin blir bara möjlig och tillämpbar när det finns ett stort urval webbsidor att välja på. Om ett sökord bara levererar 10.000 resultat, så kanske endast tio av dessa är riktigt bra och relevanta. Det här gör att Google slutar slumpa om urvalet blir för litet. Man ser sällan några jättehopp i serpsen för webbsidor som optimerats för lättare och mindre vanliga ord.

Teorins praktiska konsekvenser
Det finns filter och Google straffar sidor och lägger andra under tillfällig bevakning. SEO-världen listar snabbt ut hur de här filtren fungerar och anpassar sig därefter. En slumpfaktor försvårar dock det här arbetet avsevärt och gör att det aldrig kan bli direkt vetenskapligt. Ni kan ju själva tänka er hur svårt det hade varit för Isaac Newton att undersöka tyngdkraften, om vissa äpplen helt slumpmässigt föll uppåt istället för neråt.

Google vill inte att vi ska lista ut hur deras algoritmer fungerar exakt. De kan aldrig förhindra att vi lär oss det mesta om hur sökmotorn rankar webbsidor, men genom att införa en pytteliten slumpfaktor, så blir det omöjligt att dra exakta slutsatser om någonting överhuvudtaget.

Genom att vara mindre exakt, så kan sökmotorn paradoxalt nog leverera bättre sökresultat till användaren, eftersom man försvårar för SEOáre att manipulera resultaten. Om man som SEOáre råkar ut för att ens sida faller med 50 platser över en dag, så lägger man helt om taktiken och utgår ifrån att man gjort något fel. När vi två månader senare återfår vår gamla position, så tror vi felaktigt att vi gjort något rätt.

Google är bäst på att ranka webbsidor. Att sökmotorn dessutom är svårast att manipulera är bara ytterligare en fördel som Google har. Jag tror att det bästa skyddet mot systematisk spam är att inte göra allting för exakt och förutsägbart. Det krävs bara en pytteliten avvikelse från det normala, så måste alla SEOáre förkasta sina gamla (och kanske riktiga) teorier.

[Waldo]

Bra tankar Gustav! Om de inte redan implementerat det så är det säkerligen en faktor som kommer. Pluspoäng.

[David Nilsson]

Intressanta tankar och teorier Känns dock som allt (förutom spamreports etc) bygger på algoritmer men med de uppnår de effekten du skriver om. Händer inget (nya länkar eller klick i resultaten) på en topp 10 sajt på X antal dagar så kan de flytta bak sidan för att "testa" klickfrekvens ets på en annan ett tag... Men det är ju bara min teori

[Björn]

Det är en intressant tanke. Kan också vara så att det är så mkt ingående parametrar med olika grad av betydelse för hur den interna pren ser ut att resultatet är mer eller mindre slumpmässigt av sig självt. Det kanske rör sig om tusen variabler med olika vikt, vikten förändras dynamiskt hela tiden, vilka variablerna är varierar dynamiskt hela tiden, och siffrornas innebörder varierar också. Personligen så tror jag google försöker göra sitt bästa för att motverka kaos. Kaos i ökade datamängder är deras största hot.

[Feldon]

Jag är nog rätt övertygad om att denna slumpfaktor faktiskt kan vara rätt stor.

När man jobbar med AI och speciellt med självlärande algoritmer som utgår från ett antal algoritmer och sedan kombinerar dessa för att skapa nya så använder man alltid en slumpfaktor för att se till att utbudet i "genpoolen" förblir spritt. Normalt så premieras de algoritmer som presterar bäst och dessa algoritmer får "para" sig och bilda nya. Men genom slump så ser man till att inte alla algoritmer blir likriktade och man bibehåller mångfalden.

Att Google inte skulle behålla mångfalden genom att slumpa lite i Serpen till och från är nästan helt otänkbart. Genom att slumpa så får de ett större underlag för relevans och input från besökarna.

Och jag tror även Google har några sådana genetiska självlärande algoritmer som de leker med. De alldeles för många brainiacs på Google för att det inte ska finnas

[hans99]

Jag tror också att slump adderas till algoritmen. Men jag tror mer det handlar om redundans och en vilja att inte bara göra åtgärder som "ger effekt" svårare att analysera utan även för att minska den mängd information om algoritmen som läcker. Tänk ungefär som för blockchifferteori: finns redundans i krypterad text kan vi givet en viss mängd text och tid knäcka chiffret.

I övrigt tror jag nog Googles algoritm är väldigt regelstyrd. Allt de kommenterat kring pekar på det.

MSN! Search arbetar ju med neuronnät enligt de själva.

[Feldon]

MSN! Search arbetar ju med neuronnät enligt de själva.

Oj hade jag ingen aning. Mina csn-pengar tog dock slut innan jag hann komma så långt. De hade en konstig uppfattning om att faktiskt ska avsluta sina studier också och inte bara fortsätta läsa alla kul kurser man kunde hitta

Grunderna i neuronnät gick vi dock igenom i mina grundläggande AI kurser jag läste.

Om nu MSN kör neuronnät så måste de också ha något för att träna algoritmen. Jag undrar hur det hela är uppbyggt, hjärnan arbetar på högvarv sen jag läste detta. Via neuronnät och ett antal personer som givet ett ord och en sida talar om vilken relevans de ger sidan så bör man kunna träna algoritmen. Och då bör meta-data och title och allt sånt i stort sett tas bort som underlag för beslut om relevans, om de inte också tar hänsyn till psykologin för om man klickar på en träff eller inte. Hmm spännande får se om jag orkar skriva någon längre tråd om det och kanske läsa in mig själv ännu djupare på neuronnät och ifall jag då kanske kan knäcka msn-nöten

Bör dock i deras fall bli rätt komplexa beslutsrymder som inte direkt håller sig i 3D vilket kommer ge mig huvudvärk att försöka föreställa mig utan matlab

Hmm usch Hans att du ger mig sådan här info när jag borde gå och lägga mig, blir ju alldeles till mig här.

[hans99]

Microsoft har jag aldrig varit främmande för att ta in info. Så träningsdata har de nog så att det räcker och blir över. Och då tänker man sig ju något tilltalande och elegant. Det som gör att
neuronnät för internetsökning är tilltalande på papper. D.v.s. data från människor som söker.

Men jag tror det är väldigt svårt att få bra i praktiken. Och misstänker att deras "neuronnät" är betydligt mer trivialt och att träningsdata för det idag kanske inte är något annat än länkar och text på sidan.

[Feldon]

Nja ett neuronnät borde i praktiken ta hela html-informationen och sedan då få reda på efter att någon läst och tittat på sidan vad som är relevanta saker att koppla ihop med sidan.

Genom det bör den kunna ställa upp en beslutsrymd och den rymden bör då inte nödvändigtvis innefatta title och meta-data till exempel utan bara texten och hur texten är upplagd på sidan. Även H1 och andra standard taggar för välformaterad html-kod borde få väldigt lite impact på hur högt man rankar medan sidor som är väldesignade och välstrukturerade borde komma betydligt högre upp.

Jag vet inte riktigt känns som att ett neuronnät vore en bra idé men jag tvivlar på att Microsoft gjort en bra implementation av det.

[Fredrik Eriksson]

Jag vet inte riktigt känns som att ett neuronnät vore en bra idé men jag tvivlar på att Microsoft gjort en bra implementation av det.

Eller så är det inte i bruk än? Det är dumt att långsamt försöka döda en fluga, om i fall att den smiter. Bättre att slå till hårt och veta att den inte överlever

[Anton Johansson]

Bra inlägg Gustav. Själv har jag hela tiden utgått från en sådan här teori när jag jobbat med SEO, Google är byggd efter att få så relevant resultat som möjligt och inte en så förutseende sökmotor med klara algoritmer.

Sedan ska vi självfallet inte glömma bort att dessa "slumpfaktorer" inte är byggda för att vi SEOare sitter och försöker lura sökmotorerna. Google har problem med oss men deras fokus har aldrig varit att försöka få oss att försvinna, de är jätteglada för att vi försöker lära ut till fler och fler hur sökmotorer fungerar för att på så sätt kunna göra en allt mer avancerad sökmotor.

Nej, Google gör detta för att ytterliggare kunna utveckla sin sökmotor till nya gränser. Om en sida åker ned från 3:e plats till 15:e plats helt plötsligt kan det mycket väl bero på att Googles algoritm säger att den legat på 3:e plats ett bra tag nu och den något nyare sidan som ligger 4:a ska få chansen nu. Detta utnyttjar de på många sätt men de mäter säkerligen skillnader i hur många klick den får osv. Nya sajter som snabbt kommer högt upp för att sedan försvinna ned i SERPsen ett tag (ett mycket gammalt SEO-fenomen) beror troligtvis på detta också, även om en ny sida nästan aldrig tar en topp 10-placering direkt utan får ligga och gräva sig uppåt igen sakta men säkert.

Google är smartare än vi tror många gånger. Slump är en av deras starkheter, faktiskt, och det tycker jag vi ska vara glada för. Få om ens några ser skillnaderna i dessa och okej, vi gör det, men vi drabbas inte så hårt av det heller.