Diseño de spiders

Abstract

Este trabajo pretende recoger la experiencia de sus autores en el diseño de programas que recorren automáticamente eso que se ha dado en llamar ciberespacio. Se muestra la estructura básica de un spider, así como algunas de las herramientas básicas de programación para la construcción de éstos. Se examinan diversas opciones de rendimiento de estos programas y convenciones utilizadas en la exploración automática del web. Se muestrantambién los problemas más frecuentes en el funcionamiento de estos programas, y diversas opciones para abordar dichos problemas.

This paper aims to show the authors s experience in developping software that automatically explore cyber-space.The basic structure of a spider is showed, as well as the major tools to build this software. Several performance issues of this kind of software are revised, besides the standards and conventionsused in automatic exploration of the web. Also are showed the more frequent troubles found in the work of this software, and several issues to resolve them.