搜索器在工作過程中(zhong)主要需考(kao)慮以下幾個問題(ti)：

(1)Web信息的選擇

在大多數情況下(xia)，搜索器不(bu)可能搜集所有(you)Web信(xin)息(xi)(xi)，只能選擇下(xia)載(zai)其中一(yi)部分。這樣，如(ru)何下(xia)載(zai)比較“重(zhong)要”的Web信(xin)息(xi)(xi)就是一(yi)個(ge)很現實的問(wen)題(ti)。判斷一(yi)個(ge)網頁是否重(zhong)要的依據(ju)主要有(you)興趣驅(qu)動、流行性驅(qu)動和(he)位置驅(qu)動三個(ge)指(zhi)標。

(2)Web頁(ye)面(mian)的(de)更新頻率

當(dang)網(wang)頁(ye)被下(xia)載后(hou)，搜索器應以(yi)一定的(de)頻率(lv)對全部網(wang)頁(ye)進行刷新或(huo)對網(wang)頁(ye)重新訪問，其頻率(lv)應與網(wang)頁(ye)自身更(geng)新的(de)頻率(lv)相適應，但不(bu)是成(cheng)正比。

(3)減少(shao)搜索器對Web服(fu)務器的負擔

當很多搜(sou)索器(qi)(qi)(qi)在(zai)工作(zuo)時，將大大消耗服(fu)務(wu)(wu)(wu)器(qi)(qi)(qi)資源，對Web服(fu)務(wu)(wu)(wu)器(qi)(qi)(qi)而言(yan)是(shi)一(yi)個(ge)(ge)不小的負擔，如何減少服(fu)務(wu)(wu)(wu)器(qi)(qi)(qi)負擔和避免阻塞也(ye)是(shi)設計搜(sou)索器(qi)(qi)(qi)應(ying)該(gai)考(kao)慮的問題。例如，有(you)的搜(sou)索引擎與網站(zhan)達成協議(yi)，只(zhi)有(you)在(zai)網站(zhan)服(fu)務(wu)(wu)(wu)器(qi)(qi)(qi)端放(fang)置特(te)殊標記文(wen)件(jian)，搜(sou)索器(qi)(qi)(qi)才(cai)采集(ji)(ji)，有(you)的網站(zhan)服(fu)務(wu)(wu)(wu)器(qi)(qi)(qi)按照搜(sou)索器(qi)(qi)(qi)的要求(qiu)建立(li)索引文(wen)件(jian)，搜(sou)索器(qi)(qi)(qi)只(zhi)采集(ji)(ji)這個(ge)(ge)索引文(wen)件(jian)即可。

(4)并行工作(zuo)

由于網(wang)頁數量龐大，許多(duo)搜(sou)(sou)索器(qi)(qi)在(zai)多(duo)臺(tai)機器(qi)(qi)上(shang)工作，并行(xing)下(xia)載網(wang)頁，從而使(shi)得在(zai)最短(duan)的時間內下(xia)載更多(duo)的網(wang)頁，而這些并行(xing)工作的搜(sou)(sou)索器(qi)(qi)必須協(xie)同工作，以便使(shi)得不同搜(sou)(sou)索器(qi)(qi)不會重復訪(fang)問(wen)。并行(xing)工作處理的好(hao)壞，將(jiang)直接影(ying)響搜(sou)(sou)索器(qi)(qi)的效率。

目(mu)前(qian)(qian)的(de)(de)(de)搜(sou)(sou)(sou)索(suo)(suo)引擎(qing)蜘(zhi)(zhi)蛛已經(jing)不(bu)在是(shi)(shi)(shi)以前(qian)(qian)的(de)(de)(de)發現(xian)一(yi)張網(wang)頁，并(bing)收(shou)錄。現(xian)在網(wang)頁的(de)(de)(de)收(shou)錄，將比以往(wang)更(geng)加嚴格(ge)。以前(qian)(qian)搜(sou)(sou)(sou)索(suo)(suo)引擎(qing)蜘(zhi)(zhi)蛛面臨的(de)(de)(de)問(wen)題(ti)是(shi)(shi)(shi)大部分(fen)站(zhan)點的(de)(de)(de)網(wang)頁不(bu)太友(you)好，不(bu)利于(yu)搜(sou)(sou)(sou)索(suo)(suo)引擎(qing)的(de)(de)(de)蜘(zhi)(zhi)蛛爬(pa)取。而現(xian)在的(de)(de)(de)問(wen)題(ti)，網(wang)頁的(de)(de)(de)路徑很(hen)友(you)好，但是(shi)(shi)(shi)搜(sou)(sou)(sou)索(suo)(suo)引擎(qing)蜘(zhi)(zhi)蛛需要分(fen)辨(bian)其價值，從而再(zai)決(jue)定(ding)要不(bu)要收(shou)錄。也(ye)正是(shi)(shi)(shi)這個原因，讓(rang)很(hen)多內容主(zhu)要是(shi)(shi)(shi)靠(kao)采(cai)集但是(shi)(shi)(shi)網(wang)站(zhan)結構(gou)很(hen)有利于(yu)搜(sou)(sou)(sou)索(suo)(suo)引擎(qing)蜘(zhi)(zhi)蛛爬(pa)行(xing)的(de)(de)(de)網(wang)站(zhan)，并(bing)沒有得到搜(sou)(sou)(sou)索(suo)(suo)引擎(qing)大量收(shou)錄的(de)(de)(de)原因。

通過(guo)網(wang)站結構、外部鏈接等因素來(lai)促進搜(sou)索(suo)引擎(qing)的(de)收錄，依然是主(zhu)要的(de)方法之一(yi)。但是相比較而言，現在搜(sou)索(suo)引擎(qing)已(yi)經(jing)不那么依賴這兩者的(de)作用了。所(suo)以對SEO來(lai)說，難度已(yi)經(jing)明顯增加。