Heu vist mai un lloc web que no estigui optimitzat per a SEO? probablement no, però ho tinc. Poden ser populars al web, però són terribles als motors de cerca. Per què això?
Bé, suposem que teniu un lloc web que està ben classificat a Google però no en altres motors de cerca.
El fitxer robots.txt és la resposta! Un fitxer robots.txt és una llista de regles que indiquen a Google com indexar el vostre lloc web. També pot ser utilitzat per altres motors de cerca per mostrar que és menys probable que et trobin.
Hi ha molts avantatges d'utilitzar un fitxer robots.txt, i un dels avantatges més importants és que pot ajudar a millorar el vostre SEO.
Com funciona Robots.txt
Un fitxer robots.txt és com un conjunt de regles per al vostre lloc web. Li diu a Google com indexar el vostre lloc web. El fitxer normalment es troba a l'arrel del vostre lloc web i es pot trobar a qualsevol directori.
A Google li encanta els conjunts de regles, de manera que si teniu un fitxer robots.txt bo per a SEO, el vostre lloc web es classificarà millor a les pàgines de resultats del motor de cerca (SERP).
Per què s'han de bloquejar algunes pàgines
Hi ha alguns motius pels quals cal bloquejar les pàgines per millorar el SEO.
- En primer lloc, pot ajudar a evitar que la gent visiti el vostre lloc web.
- En segon lloc, pot ajudar a millorar la classificació del vostre lloc web.
- En tercer lloc, pot ajudar a millorar la visibilitat del vostre lloc web.
- En quart lloc, pot ajudar a garantir que el vostre lloc web sigui més probable que els motors de cerca trobin.
- Finalment, pot ajudar a garantir que la gent us trobi quan busquen un tema específic a Internet.
Creant el vostre fitxer Robots.txt
Hi ha algunes coses que heu de fer per crear un fitxer robots.txt.
- En primer lloc, haureu d'identificar el lloc web que voleu optimitzar per a SEO.
- En segon lloc, haureu d'identificar les paraules clau per a les quals voleu classificar el vostre lloc web.
- En tercer lloc, haureu de crear una llista de regles que regiran com Google hauria d'indexar el vostre lloc web.
- Finalment, haureu d'afegir aquestes regles al fitxer robots.txt.
Instal·lant el vostre fitxer Robots.txt
Hi ha algunes maneres diferents d'instal·lar el fitxer robots.txt. Podeu utilitzar un editor de text, com ara el Bloc de notes, per crear el fitxer. Un cop hàgiu creat el fitxer, podeu copiar-lo al directori arrel del vostre lloc web. També podeu utilitzar FTP per transferir el fitxer al vostre lloc web.
Un cop hàgiu instal·lat el fitxer robots.txt, us heu d'assegurar que estigui actiu. Per fer-ho, haureu de visitar el vostre lloc web i fer clic a "Configuració” a la cantonada superior esquerra de la pantalla principal. A partir d'aquí, trobareu un "robots", a la secció "Configuració". Allà trobareu un enllaç anomenat "Activa Robots.txt.” Feu clic a aquest enllaç i se us dirigirà a una pàgina que us indicarà com assegurar-vos que el vostre fitxer robots.txt estigui actiu.
Sempre preferiu contractar un expert tècnic en SEO perquè tot això funcioni.
Conclusió
Un fitxer robots.txt és important per a qualsevol lloc web que vulgui classificar-se bé a les pàgines de resultats del motor de cerca (SERP). Us permet restringir l'accés dels visitants del motor de cerca a determinades pàgines del vostre lloc. També podeu utilitzar un fitxer robots.txt per protegir la vostra privadesa o per protegir el vostre lloc dels emissors de correu brossa.