Фактически существует два вида поисковых порталов: поисковые машины и каталоги. Часто их объединяют под общим название "поисковики" или "поисковые системы".
Как работают поисковые машины
Поисковые машины используют автоматизированное программное обеспечение для создания и последующего обновления своих индексов. Такие программы называются spider'ами (от англ. spider-паук). Когда поисковая машина "узнает" о новой Web странице, spider посещяет ее и переходит к другим страницам того же сайта, следуя по ссылкам, которые находит на первой из них. Это называется crawling (от англ. crawling-"ползание" по сайту). Spider, crawler или search bot-это программа, которая автоматически делает выборку Web страниц и "ходит"("ползает") по обнаруживающимся на них ссылкам, ища другие страницы этого сайта. Сведения, которые добывает spider, включаются в индекс поисковой машины-иногда при участии человека, иногда автоматически. Время от времени "паук" навещяет каждую знакомую ему страницу и записывает любые найденные им изменения. Зачастую между посещением сайта spider'ом и появлением соответствующий записи в индексе проходит какое-то время (иногда возникает задержка). В базе данных поисковой машины может содержаться множество отдельных страниц с результатами поиска, полученными от одной из поисковых машин. Индекс, используемый поисковой машиной или каталогом, также может называться каталогом.
В отличие от поисковых машин, каталоги не полагаются на отслежевающее программное обеспечение в деле нахождения и индексирования Web страниц. Часто URL сайта, его краткое описание и прочие сведения о сайте предостовляются самим владельцем сайта. Возможен и другой вариант: администратор(или модератор) каталога решает, что определенный ресурс будет полезен читателям, и создает запись о нем в базе данных каталога. Каталоги разделяют списки сайтов по категориям, чтобы упростить жизнь посетителям этого каталога и в поиске конкретного сайта. Категория изначально выбирается владельцем сайта, но позднее это решение может быть пересмотрено-ведь правильность выбора перепроверяется модератором каталога, перед окончательной публикации сведений. Это гарантирует, что будет определена наиболее подходящая рубрика.
