搜索引擎蜘蛛是通過鏈接地址來尋找網(wǎng)頁的。搜索引擎蜘蛛名稱隨搜索引擎的不同而不同。那它的原理是由一個起始鏈接開始抓取網(wǎng)頁內(nèi)容，同時也采集網(wǎng)頁上的鏈接，并將這些鏈接作為它下一步抓取的鏈接地址，如此循環(huán)，直到達(dá)到某個停止條件后才會停止。停止條件的設(shè)定通常是以時間或是數(shù)量為依據(jù)，可以通過鏈接的層數(shù)來限制網(wǎng)絡(luò)蜘蛛的爬取。同時頁面信息的重要性為客觀因素決定了蜘蛛對該網(wǎng)站頁面的檢索。站長工具中的搜索引擎蜘蛛模擬器其實它就是這個原理。基于這蜘蛛工作原理，站長都會不自然的增加頁面關(guān)鍵詞出現(xiàn)次數(shù)，雖然對密度產(chǎn)生量的變化，但對蜘蛛而言并沒達(dá)到一定的變化。這在搜索引擎優(yōu)化過程中應(yīng)該要避免的。