Toda la información:
¿Deben tener siempre acceso los bots de rastreadores web a las propiedades web?
Eso depende de la propiedad web y un número de factores. Los rastreadores web necesitan recursos del servidor para indexar el contenido: realizan solicitudes a las que debe responder el servidor, de la misma manera que un usuario que visita un sitio web u otros bots que acceden a un sitio web. En función de la cantidad de contenido de cada página o del número de páginas en el sitio, al operador del sitio web podría no interesarle que se permitiera la indexación de búsqueda con demasiada frecuencia, ya que un exceso de indexación podría causar la sobrecarga del servidor, aumentar los costes de ancho de banda o ambos.
Además, los desarrolladores o las empresas puede que no quieran que algunas páginas web sean reconocibles a no ser que un usuario ya haya recibido un enlace a la página (sin poner la página tras un muro de pago o un inicio de sesión). Un ejemplo de este caso para las empresas es cuando crean una página de aterrizaje destinada a una campaña de marketing, pero no quieren que nadie que no sea el objetivo de la campaña pueda acceder a la página. De este modo, pueden personalizar los mensajes o medir con precisión el funcionamiento de la página. En estos casos, la empresa puede añadir una etiqueta «no indexar» a la página de aterrizaje, y no aparecerá en los resultados del motor de búsqueda. También pueden añadir una etiqueta «no permitir» en la página o en el archivo robots.txt, y las arañas de los motores de búsqueda no la.
Además, los propietarios de sitios web puede que no quieran que los bots rastreadores web rastreen parte o la totalidad de sus sitios por multitud de razones. Por ejemplo, un sitio web que ofrezca a los usuarios la posibilidad de buscar dentro del sitio quizá quiera bloquear las páginas de resultados de búsqueda, ya que estas no son útiles para la mayoría de los usuarios. También deberían bloquearse otras páginas generadas automáticamente que solo sean útiles para un usuario o grupo de usuarios específicos.