在20世紀(jì)90年代中期開(kāi)始優(yōu)化網(wǎng)站的搜索引擎，作為個(gè)搜索引擎編目早期的Web 網(wǎng)站管理員和內(nèi)容提供商。初，所有的網(wǎng)站管理員需要做的是，“ 蜘蛛 “爬行”的頁(yè)面，提取鏈接到其他頁(yè)面，并返回上找到的信息發(fā)送到不同的引擎提交一個(gè)網(wǎng)頁(yè)的地址或URL的頁(yè)面，以進(jìn)行索引。過(guò)程涉及到一個(gè)搜索引擎蜘蛛下載的頁(yè)面和存儲(chǔ)它在搜索引擎中的自己的服務(wù)器，在那里一個(gè)第二個(gè)程序，被稱為一個(gè)索引，提取有關(guān)的頁(yè)面的各種信息，如的話它包含，而這些都位于，以及任何特定的字的重量，以及頁(yè)面中包含的所有的鏈接，然后被放置到調(diào)度器，用于在稍后的日期爬行。