搜索(suo)器在工(gong)作過程中主要需考慮以下(xia)幾個問題：

(1)Web信息的選(xuan)擇(ze)

在(zai)大(da)多(duo)數情況(kuang)下(xia)，搜索(suo)器不可能搜集所有Web信(xin)息，只能選擇下(xia)載其中一(yi)部(bu)分。這樣，如(ru)何(he)下(xia)載比較“重(zhong)要(yao)”的(de)Web信(xin)息就是一(yi)個很現實的(de)問題。判(pan)斷(duan)一(yi)個網(wang)頁(ye)是否(fou)重(zhong)要(yao)的(de)依據主要(yao)有興趣驅(qu)(qu)動(dong)、流行性驅(qu)(qu)動(dong)和(he)位置驅(qu)(qu)動(dong)三個指標。

(2)Web頁面的更新頻率(lv)

當(dang)網頁被(bei)下載后，搜索器應(ying)以一定的頻(pin)率(lv)(lv)對全部(bu)網頁進行刷新或對網頁重新訪(fang)問，其(qi)頻(pin)率(lv)(lv)應(ying)與網頁自身更新的頻(pin)率(lv)(lv)相適應(ying)，但不是(shi)成(cheng)正比(bi)。 

(3)減少搜索器(qi)(qi)對Web服務器(qi)(qi)的負擔

當很多搜(sou)(sou)(sou)索(suo)(suo)器(qi)(qi)(qi)(qi)(qi)在(zai)工作時，將大(da)大(da)消耗服務器(qi)(qi)(qi)(qi)(qi)資(zi)源(yuan)，對Web服務器(qi)(qi)(qi)(qi)(qi)而言(yan)是一個(ge)不小的(de)(de)負擔，如(ru)何減少服務器(qi)(qi)(qi)(qi)(qi)負擔和(he)避免阻塞也是設(she)計(ji)搜(sou)(sou)(sou)索(suo)(suo)器(qi)(qi)(qi)(qi)(qi)應(ying)該考慮的(de)(de)問題(ti)。例如(ru)，有的(de)(de)搜(sou)(sou)(sou)索(suo)(suo)引擎與(yu)網(wang)站達成協(xie)議，只(zhi)有在(zai)網(wang)站服務器(qi)(qi)(qi)(qi)(qi)端放置特殊標記(ji)文件，搜(sou)(sou)(sou)索(suo)(suo)器(qi)(qi)(qi)(qi)(qi)才采集，有的(de)(de)網(wang)站服務器(qi)(qi)(qi)(qi)(qi)按照搜(sou)(sou)(sou)索(suo)(suo)器(qi)(qi)(qi)(qi)(qi)的(de)(de)要求建立索(suo)(suo)引文件，搜(sou)(sou)(sou)索(suo)(suo)器(qi)(qi)(qi)(qi)(qi)只(zhi)采集這個(ge)索(suo)(suo)引文件即可。

(4)并行工作

由于網頁(ye)數量龐大，許多(duo)搜索(suo)器在多(duo)臺機器上工(gong)(gong)作(zuo)，并行(xing)下載網頁(ye)，從而使得在最(zui)短的(de)時間(jian)內下載更多(duo)的(de)網頁(ye)，而這些(xie)并行(xing)工(gong)(gong)作(zuo)的(de)搜索(suo)器必須協同(tong)(tong)工(gong)(gong)作(zuo)，以便(bian)使得不同(tong)(tong)搜索(suo)器不會(hui)重復訪(fang)問。并行(xing)工(gong)(gong)作(zuo)處理(li)的(de)好壞，將直接影響(xiang)搜索(suo)器的(de)效率。

目(mu)前的搜(sou)(sou)索(suo)引(yin)擎(qing)蜘蛛(zhu)(zhu)已經不(bu)在是(shi)(shi)(shi)以(yi)(yi)(yi)前的發現(xian)一張網(wang)(wang)頁，并收(shou)錄(lu)。現(xian)在網(wang)(wang)頁的收(shou)錄(lu)，將比以(yi)(yi)(yi)往更加嚴格。以(yi)(yi)(yi)前搜(sou)(sou)索(suo)引(yin)擎(qing)蜘蛛(zhu)(zhu)面臨的問題是(shi)(shi)(shi)大(da)部分(fen)站點的網(wang)(wang)頁不(bu)太友好，不(bu)利(li)于(yu)搜(sou)(sou)索(suo)引(yin)擎(qing)的蜘蛛(zhu)(zhu)爬取(qu)。而現(xian)在的問題，網(wang)(wang)頁的路徑很友好，但是(shi)(shi)(shi)搜(sou)(sou)索(suo)引(yin)擎(qing)蜘蛛(zhu)(zhu)需(xu)要分(fen)辨(bian)其(qi)價值，從而再決定要不(bu)要收(shou)錄(lu)。也正是(shi)(shi)(shi)這個(ge)原(yuan)因，讓很多內容主要是(shi)(shi)(shi)靠采(cai)集(ji)但是(shi)(shi)(shi)網(wang)(wang)站結構(gou)很有利(li)于(yu)搜(sou)(sou)索(suo)引(yin)擎(qing)蜘蛛(zhu)(zhu)爬行的網(wang)(wang)站，并沒有得到搜(sou)(sou)索(suo)引(yin)擎(qing)大(da)量收(shou)錄(lu)的原(yuan)因。

通過網站結(jie)構(gou)、外部鏈(lian)接等因素來促(cu)進(jin)搜索引(yin)(yin)擎的收(shou)錄，依然是主(zhu)要的方法之一(yi)。但是相(xiang)比(bi)較而言(yan)，現(xian)在搜索引(yin)(yin)擎已經不那么依賴這兩者的作(zuo)用了。所以對SEO來說，難度已經明顯(xian)增加。