Despues que, mas partes para poder editar y modificar los Meta tag modificar los rastreadores e indizadores, anadir autores, etc.En este articulo te mostrare como usar la partida o feature de buscadores (crawlers) y de indicadores (indexing) efectivamente para mejorar tu SEO.
Antes de empezar,explicare que sin los robots.txt . Un robots.txt es usado para proveer instrucciones a los diferentes rastreadores(robots) de los motores de busqueda, como rastrear el contenido de tu pagina o blog, etc asi como proveer un mapa de tu sitio. Por ejemplo usted puede remover algunas cosas que no quiere que se muestren en los resultados de busqueda usando esta funcion lo lograras asi como mejorar tu SEO-Mejor posicion en los buscadores.
Importante - si no esta seguro como hacerlo no lo edite.
Como crear un robots.txt en blogger a la medida.
1) Entre la cuenta de blogger.
2) VE a tublog.
3) Ahora ve a donde dice "Settings>Search Preferences"
4) Debajo de "Crawlers and indexing" encontraras "Custom robots.txt"
5) da Click en"Editar" .
Ahora podras poner las intrucciones a los rastreadores o robots. En este articulo he anadido diferentes y utiles codigos para los robots o rastreadores de la web. Primero definamos como este trabaja.
User-agent: *
Disallow: /search
Allow: /
El codigo de arriba significa lo siguiente,
User-agent: - Menciona el nombre del rastreador.Por ejemplo, el bot de Google(rastreador de google) .
Disallow: - Este especifica que paginas no rastrear.
Allow: - este indica que paginas rastrear.
/ (slash):- este indica la pagina principal
Como aplicar las instrucciones a los robots.
Si usa el codigo de arriba, causara problemas de contenido duplicado y el rank de tu pagina bajara. En su lugar podrias usar el siguiente codigo pues este rastreara e indizara tu blog entero pero no asi los labels y las paginas.
User-agent: *
Allow: /
Bloquea el rastreo de etiquetas y paginas de busquedaand.
Si usa el codigo de arriba, causara que tu sitio sea rankeado mas bajo.En su lugar podrias usar el siguiente codigo. Este permitira rastrear el sitio completo, pero no las etiquetas y sus paginas.
User-agent: *
Disallow: /search
Allow: /
Bloquear ciertas paginas.
Por alguna razon a veces desea esconder algunas paginas de los motores de busqueda. Para eso puede utilizar el siguiente codigo.
User-agent: *
Disallow: /p/page-one.html
Allow: /
Si necesita bloquear mas de una pagina anada la URL en la seccion que dice Disallow como por ejemplo:
User-agent: *
Disallow: /p/page-one.html
Disallow: /p/page-two.html
Allow: /
Permiter rastrear todo el contenido y paginas pero no permitir un especifico rastreador.
Si desear bloquear algun rastreador o bot utilice el siguiente codigo.
User-agent: <bot name>
Disallow: /
User-agent: Googlebot-News
Disallow:
Instrucciones para los rastreadores de AdSense
Para mejorar el desempeno de Google AdSense; puede especificar como los rastreadores(bots) de AdSense rastrean su sitio o blog. Realmente no hay necesidad de bloquear nada.
User-agent: Mediapartners-Google
Disallow:
PARABloquear Imagenes
Si no desea que sus imagenes sean enlistadas en los resultados de Google puede removerlas usando el siguiente codigo
User-agent: Googlebot-Image
Disallow: /
SI desea bloquear cualquier otra rastreador( bot crawl )de tu sitio, use el siguiente codigo. debera anadir el nombre del rastreador(bot) en la seccion de “User-agent:” .<nombre del crawler o rastreador>abajo.
User-agent: <nombre del crawler o rastreador>
Disallow:
User-agent: *
Disallow: /
Puedes hayar mas rastreadores y agentes aqui here.
Anadir un Mapa de tu Sitio o blog.
Normalmente el mapa de sitio de blogger es de 26 entradas. asi que puedes anadir el mapa de sitio correcto usando un "Custom robots.txt". Este es un ejemplo para anadir sitemap o mapa de sitio.Solamente cambia la direccion www.ciudadblogger.info por la de tu blog.
Sitemap: http://www.ciudadblogger.info/atom.xml?redirect=false&start-index=1&max-results=500
Sitemap: http://www.ciudadblogger.info//atom.xml?redirect=false&start-index=501&max-results=1000
Resultado Final.
SI deseas que la visibilidad de tu blog en los motores de busqueda y que tu sitio o blog sea rastreado completamente use el siguiente codigo como su robots.txt.Recuerda donde dice sitemap incluye la direccion de sin usar < > tu sitemap
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: <your blog site map past here>
