Hur fungerar det?
Vad är det som gör, att en webbsida hittas när man söker på specifika sökord?
De flesta sökmotorer använder sig av en automatisk indexering av sidor. Man använder små s.k. robotprogram som också brukar kallas spindlar (spiders, crawlers). De här spindlarna surfar runt bland internets webbsidor och samlar på sig så mycket information som möjligt, vilket sedan katalogiseras i jättestora databaser. Det finns många sökmotorer men det finns egentligen bara TRE riktiga sökmotorindex (databaser). (Google, MSN/Live, Yahoo).
Idag, när det finns över 50 miljarder webbsidor, så har spindlarna blivit lite lata och orkar resp. hinner inte besöka ALLA webbsidor. OM de hittar en webbsajt men stöter på motstånd så hoppar de raskt vidare till nästa.
Om din webbsajt alltså bjuder på "spindel-motstånd" är det stor risk att din sajt inte blir indexerad alls. Den kommer då inte att hittas överhuvudtaget i sökmotorerna.
Ofta lyckas man bara få sin första startsida den. sk. index-sidan indexerad pga att man inte underlättat för spindeln att hitta till och indexera undersidorna.
Med indexering menas, att den läser och lagrar alla ord den hittar och knyter dem till webbsidans webb-adress. De nyckelord som spindelroboten hittar på en webbplats styr VAR i sökmotorns index hemsidan sparas.
Om man då skrivit texten till en hemsida utan att medvetet tänka på möjliga nyckelord och sökfraser och inte känner till var sökmotorn förväntar sig att hitta dem, så är det alltså fullt möjligt att skriva en både innehållsrik och intressant och relevant text i ett ämne, som sedan ändå blir helt felplacerad i sökmotorns index. Resultatet kan då bli att hemsidan dyker upp i sökresultat i ett helt annat sammanhang än du tänkt dig och vad besökaren väntat sig.
Några exempel på saker som bjuder "spindel-motstånd":
Hemsidan är inte anmäld till sökmotorn eller någon av de viktiga katalogerna och/eller saknar helt inlänkar
Den saknar den viktiga META-taggen som ber spindeln att indexera även undersidorna
Länkarna till undersidorna är dynamiska, långa och krångliga(de flesta CMS (publiceringssystem) har det så
Sajten saknar en s.k. Sidkarta (sitemap) vilken underlättar fär spindeln att hitta och följa länkarna till undersidorna
Sajten är uppbygg av s.k. ramar(frames) och man har inte vidtagit speciella åtgärder för att kompensera för det
Startsidan är en enda stor Flash applikation utan indexerbar text
-
Menyerna med länkar till undersidor är Javascriptbaserade t.ex. drop-down menuer - spindeln kan inte följa dessa länkar