Kort oppsummert:
- For at nettsiden din skal vises i Google, må den først gjennom tre steg: crawling, rendering og indeksering.
- Det finnes flere vanlige årsaker til at sider ikke blir indeksert: tekniske blokkeringer, lavt crawl-budsjett, duplisert innhold og svak intern lenkestruktur.
- Google Search Console er det beste verktøyet for å oppdage og løse indekseringsproblemer.
- Høy innholdskvalitet, god sidestruktur og internlenking er de viktigste faktorene for raskere indeksering.
- Du kan be Google indeksere en side manuelt via URL-inspeksjonsverktøyet i Search Console.
Hva er Google-indeksering, og hvordan fungerer det?
Google-indeksering er prosessen søkemotoren bruker for å oppdage, analysere og lagre innhold fra nettsider i sin enorme database (indeks). Det er kun indekserte nettsider som kommer opp i søkeresultater, og det er derfor spesielt viktig for bedrifter å følge med på at sidene deres er indekserte.
Før en side kan vises i søkeresultater, må den gjennom tre steg:
- Crawling: Googlebot besøker siden via lenker eller sitemap og laster ned innholdet.
- Rendering: Google kjører JavaScript og laster ressurser for å se siden slik en bruker ville gjort det. Sider med tung JavaScript kan forsinkes betydelig i dette steget.
- Indeksering: Google vurderer siden og avgjør om den skal lagres i søkeindeksen, basert på innholdskvalitet, relevans og teknisk tilstand.
Det er viktig å forstå at crawling ikke garanterer indeksering. Google kan besøke en side flere ganger uten å indeksere den, dersom innholdet ikke oppfyller kvalitetskravene.
Hva er crawl-budsjett, og hvorfor er det viktig?
Google tildeler hvert nettsted et crawl-budsjett, altså en grense for hvor mange sider Googlebot kan og vil besøke innen en gitt tidsperiode. For mindre nettsteder med under 1000 sider er dette sjeldent et problem. Men for større nettsteder, særlig nettbutikker med filtrerbare produktsider, er det derimot en av de vanligste årsakene til at viktige sider ikke blir indeksert.
Crawl-budsjettet bestemmes av to faktorer. Den første er crawl rate limit, altså hvor raskt Googlebot kan besøke sidene dine uten å overbelaste serveren. Den andre er crawl demand, som handler om hvor interessant Google anser innholdet ditt basert på popularitet, oppdateringsfrekvens og innholdsverdi.
Sider som sløser med crawl-budsjettet er blant annet søkeresultatsider, filtreringssider uten unikt innhold, dupliserte URL-er og utdaterte sider som ikke lenger er i bruk. Når Googlebot bruker ressurser på disse sidene, kan det gå på bekostning av de sidene som faktisk betyr noe for virksomheten din. For å unngå dette kan du bruke robots.txt eller noindex-tagger for å blokkere bestemte sider fra crawling. Du kan lese mer om hvordan du gjør dette i vår guide til teknisk SEO.
Vanlige årsaker til at sider ikke blir indeksert
Tekniske blokkeringer
Den vanligste og enklest løsbare årsaken er at siden er blokkert fra indeksering, enten av en feil i robots.txt-filen eller en noindex-tag som sitter igjen fra lansering eller utvikling. En enkelt feil linje i robots.txt kan blokkere hele deler av nettstedet, og det er derfor viktig å sjekke dette regelmessig.
Duplisert eller tynt innhold
Google indekserer ikke sider den anser som kopier av annet innhold, eller sider der innholdet er for tynt til å gi faktisk verdi for brukeren. Dette er et vanlig problem for nettbutikker der produktfiltre genererer tusenvis av URL-er med identisk eller svært likt innhold.
Svak intern lenkestruktur
Internlenking er et av de sterkeste signalene til Google om hvilke sider som er viktige. En side som ikke har noen interne lenker som peker til den, vil Googlebot sjelden finne og prioritere. Siden fremstår som ubetydelighet, og risikerer å aldri bli indeksert.
Lav domenautoritet og mangel på eksterne lenker
Nye nettsteder og sider uten eksterne lenker får tildelt et lavere crawl-budsjett. Det betyr at Googlebot besøker dem sjeldnere, og at det kan ta lenger tid fra publisering til indeksering.
Tekniske feil og trege sider
Sider som laster tregt, returnerer feilkoder (4xx eller 5xx) eller har problemer med JavaScript-rendering, risikerer å bli hoppet over i renderingskøen. Soft 404-feil, altså sider som teknisk returnerer en 200-statuskode men har innhold som er for tynt, er også et vanlig problem som sløser med crawl-budsjettet.
Vi hjelper våre kunder med å rydde opp i indeksering og innhold for å optimalisere synlighet i både Google og AI. Sjekk ut tjenesten “SEO & AI-synlighet" for mer informasjon!
Slik sjekker du om siden er indeksert
Google Search Console (GSC)
Den beste måten å sjekke indeksering på er med Google Search Console, der du kan bruke URL-inspeksjonsverktøyet for å se om en spesifikk side er indeksert og eventuelt hvorfor den ikke er det. Search Console rapporterer blant annet statusene "Gjennomsøkt, for øyeblikket ikke indeksert" og "Oppdaget, for øyeblikket ikke indeksert", som gir ulike signaler om hva problemet kan være.
Site-søk
Du kan også gjøre en rask sjekk ved å søke direkte i Google ved hjelp av et site-søk. Da legger du til “site:” før URL-en din, sånn at det ser slik ut:
site:https://www.dinnettside.no/din-side
Får du opp siden i søkeresultatet, er den indeksert. Får du ingen treff, er den ikke det.
Har du ikke brukt Google Search Console før? Vi tar deg gjennom det steg-for-steg i vår artikkel “Google Search Console for nybegynnere”.
Typiske feilkoder for indeksering i GSC
Crawled - currently not indexed: Google har besøkt (crawlet) siden og lest innholdet, men har bestemt seg for å ikke legge den i søkeresultatene ennå. Dette skyldes ofte at Google mener innholdet ikke er unikt nok, har for lav kvalitet, eller at siden er for ny.
Discovered - currently not indexed: Google vet at siden eksisterer (f.eks. via sitemap eller en lenke), men har ikke besøkt den ennå. Google har utsatt gjennomsøkingen, ofte fordi serveren din er overbelastet, eller fordi Google prioriterer andre sider på nettstedet ditt akkurat nå.
Page with redirect: URL-en sender brukeren videre til en annen side. Google indekserer ikke URL-er som videresender, de vil heller indeksere sluttsiden man havner på.
Blocked due to unauthorized request (401): Siden krever pålogging eller passord. Googlebot har ikke tilgang og får derfor ikke indeksert den.
Blocked due to other 4xx issue: Dette er en samlepost for andre feilkoder (utenom 401/404). Det betyr at Google prøvde å nå siden, men serveren nektet tilgang eller svarte med en feilkode.
Duplicate, Google chose different canonical than user: Du har fortalt Google at "Side A" er hovedversjonen, men Google er uenig og mener at "Side B" er mer relevant som original. Derfor indekserer de Side B i stedet.
Slik sikrer du at Google finner og indekserer sidene dine effektivt
- Lever unikt og nyttig innhold – Google prioriterer sider som svarer konkret på spørsmål det faktisk er søkevolum på. En søkeordsanalyse er et godt utgangspunkt for å forstå hva målgruppen din faktisk leter etter.
- Bygg en tydelig internlenkstruktur – Sørg for at alle viktige sider har interne lenker som peker til dem fra andre sider på nettstedet. Jo flere relevante sider som lenker til en side, jo viktigere fremstår den for Google.
- Pass på sidestrukturen og hold sitemapen oppdatert – Sørg for god sidestruktur ved å jobbe med fordelingen av sider på nettstedet, tydelige menyer og kategorier i tillegg til ryddig oppbygging i URL’ene. Kombinert med en oppdatert XML-sitemap hjelper du Googlebot med å finne alle viktige sider, særlig nytt innhold. Inkluder bare sider du faktisk vil ha indeksert i sitemapen.
- Blokker lavverdisider fra crawling og hjelp Google med prioritering – Bruk robots.txt eller noindex-tagger for å hindre Googlebot i å bruke crawl-budsjettet på sider som ikke bidrar til synligheten din, som filtreringssider, søkeresultatsider og utdatert innhold. I tillegg bør du bruke canonical-tags for å bestemme hvilken side som skal prioriteres dersom det er flere konkurrerende sider med likt innhold.
- Optimaliser lastetid og teknisk kvalitet – Sider som laster raskt og er mobilvennlige kravles oftere. Google har siden oktober 2023 primært crawlet og indeksert mobilversjonen av nettsteder, og innhold som kun finnes på desktopversjonen risikerer å ikke bli fanget opp.
- Be om indeksering manuelt – Når du publiserer viktige nye sider, kan du be Google indeksere dem direkte via URL-inspeksjonsverktøyet i Search Console. Dette gir ikke garanti, men kan fremskynde prosessen.
For å oppsummere så er ikke Google-indeksering en passiv prosess. Det er din jobb å legge til rette for at Googlebot finner, forstår og prioriterer de sidene som er viktigst for virksomheten din. Unikt innhold, god internlenking, en ren teknisk struktur og aktiv bruk av Google Search Console er de fire viktigste grepene du kan ta for å sikre god synlighet i søk.
Sliter du med indekseringsproblemer eller lav synlighet i Google? Vi i Solid Media hjelper deg med teknisk SEO og innholdsstrategi som gir målbare resultater. La oss ta en prat!
