Redigera robots.txt

Robots.txt talar om för sökmotorns robotar vilka URL:er de får crawla.

Var du hittar din hemsidas robots.txt-fil

Besök /robots.txt på din domän för att se vilka regler din hemsida serverar. Svaret kan komma från en fysisk fil i din hemsidas webroot (rotkatalog) eller genereras dynamiskt av WordPress när ingen fil finns.

SEO-tillägg som Rank Math och Yoast SEO kan modifiera WordPress genererade svar. Rank Math kan också ersätta det med anpassade regler som sparats i WordPress-databasen. Att radera en fysisk fil tar inte bort dessa sparade regler.

Hur du redigerar innehållet i robots.txt

Om du använder ett SEO-tillägg för att hantera robots.txt, kontrollera dess sparade regler först. Du behöver inte en fysisk fil för att anpassa det dynamiskt genererade svaret.

För att redigera en fysisk fil, följ vår guide om Filåtkomst, navigera till din hemsidas webroot och redigera robots.txt. Du kan också ladda upp en fysisk fil där för att ersätta det dynamiskt genererade svaret.

Efter att ha ändrat reglerna, rensa Templ Cache och kontrollera /robots.txt på din domän igen.

Felsök oväntade regler

Dessa regler blockerar crawlning av hela hemsidan för robotar som följer denna grupp. De skyddar inte privat innehåll eller tar pålitligt bort sidor som redan finns listade i sökresultat:

User-agent: *
Disallow: /

Om du ser oväntade regler:

  1. Kontrollera om det finns en fysisk robots.txt i din hemsidas webroot med hjälp av Filhanterare eller SFTP. Om den finns, granska dess innehåll.
  2. I WordPress, kontrollera Inställningar → Läsning → Sökmotorsynlighet. För en publik hemsida du vill ha indexerad ska Avråd sökmotorer från att indexera denna webbplats vara avmarkerad.
  3. Kontrollera ditt SEO-tilläggs sparade robots.txt-regler. Rank Math kan ersätta det genererade svaret med sparade regler som blockerar crawlning även när WordPress inställning för sökmotorsynlighet är avmarkerad.
  4. Jämför det normala svaret med en förfrågan som förbigår Templ Cache (se nedan). Om de oönskade reglerna kvarstår med X-Cache-Status: BYPASS, serverar inte Templ Cache en gammal kopia för den förfrågan.
  5. Korrigera den fysiska filen eller sparade tilläggsregler, rensa Templ Cache och verifiera den vanliga /robots.txt-URL:en igen.

Om Rank Maths sparade anpassade regler är orsaken, rensa dem för att återgå till det dynamiskt genererade svaret, eller ersätt dem med dina avsedda regler. Behåll eventuella anpassade regler du fortfarande behöver. Andra tillägg kan fortfarande modifiera det genererade svaret.

Kontrollera svaret utan Templ Cache

Kör detta från en terminal, ersätt your-domain.com med din domän:

curl -i 'https://your-domain.com/robots.txt?nocache=123456'

Leta efter X-Cache-Status: BYPASS i svarshuvudena. Inkognitoläge förbigår inte server-side cachning, och en bekräftad Templ Cache-förbikoppling utesluter inte oberoende konfigurerade tredjepartscacher, som Cloudflare.

Efter att ha korrigerat reglerna och rensat Templ Cache, verifiera den vanliga /robots.txt-URL:en utan frågesträngen.

FAQ

Varför finns robots.txt fortfarande kvar efter att jag raderat filen?

WordPress genererar /robots.txt dynamiskt när ingen fysisk fil finns. Ett SEO-tillägg kan modifiera eller ersätta det svaret med inställningar sparade i databasen, så att radera filen tar inte nödvändigtvis bort de oönskade reglerna.

Varför rapporterar Rank Math en fysisk fil när jag inte kan hitta någon?

En editorvarning ensam bekräftar inte att en fysisk fil finns. Om Filhanterare och tillägget inte är överens, kontakta support.