現(xiàn)在百度搜索引擎組織抓取鏈接的方法有兩種，一種就是自己主動去發(fā)現(xiàn)并且收錄;第二種就是通過百度站長上面的鏈接提交工具來獲得數(shù)據(jù)。兩種方法當(dāng)中百度搜索引擎蜘蛛主動抓取的鏈接是受歡迎的。對于站長而言，如果網(wǎng)站優(yōu)化了很長一段時(shí)間但是卻沒有看到被收錄，那么不妨嘗試主動推送，特別是剛剛才建成的新網(wǎng)站，把首頁的數(shù)據(jù)進(jìn)行主動推送，將會有助于內(nèi)頁數(shù)據(jù)的抓取。那么有的人就要問了，為什么我提交了數(shù)據(jù)但是很長時(shí)間都沒有看到什么進(jìn)展呢?開啟網(wǎng)站建設(shè)人員表示可能出現(xiàn)在下面幾個(gè)方面。
網(wǎng)站的服務(wù)器不穩(wěn)定
我們都知道百度搜索引擎蜘蛛在爬取網(wǎng)站的時(shí)候，都要提前對服務(wù)器進(jìn)行訪問，如果網(wǎng)站的服務(wù)器不穩(wěn)定，在搜索引擎蜘蛛爬取的時(shí)候正好因?yàn)椴环€(wěn)定而導(dǎo)致無法正常訪問，那么就會對抓取頁面造成影響，從而對收錄造成影響。百度搜索引擎蜘蛛訪問網(wǎng)站的時(shí)間是不固定的，如果很長時(shí)間都碰到無法正常訪問，那么搜索引擎蜘蛛就會判定這個(gè)網(wǎng)站是不正規(guī)的，就會降低對網(wǎng)站的訪問次數(shù)，訪問次數(shù)的減少就會直接導(dǎo)致網(wǎng)站被收錄的幾率降低。 服務(wù)器不穩(wěn)定造成網(wǎng)站不被收錄是非常重要的一個(gè)原因，很多網(wǎng)站頁面、內(nèi)容的質(zhì)量明明做的非常好，就是因?yàn)榉?wù)器的問題而沒有一個(gè)好的收錄情況。
域名被列入黑名單
有的網(wǎng)站負(fù)責(zé)人在購買域名的時(shí)候并沒有做好調(diào)查工作，沒有去查查這個(gè)域名的使用歷史，有的域名其實(shí)已經(jīng)被列入了百度黑名單或者是進(jìn)入了可以域名名單。如果你使用的是這樣的一個(gè)域名，那么就算網(wǎng)站的內(nèi)容很好，也會造成無法被收錄。 解決的方法是我們要盡早對域名的歷史使用情況進(jìn)行調(diào)查，如果有發(fā)現(xiàn)過去被百度懲罰過，已經(jīng)被列入了黑名單的話，那么就一定不能使用這樣的域名。
頁面沒有被搜索引擎蜘蛛抓取到
有一些頁面不論你怎樣進(jìn)行修改就是沒有收錄，但是網(wǎng)站里面的其他頁面又沒有問題。一般來說，碰到這樣的情況就要想去看看網(wǎng)站日志，看一看搜索引擎蜘蛛是不是已經(jīng)對這個(gè)頁面進(jìn)行了成功的抓取，如果沒有抓取的話那么當(dāng)然就不會被收錄。 解決的方法是如果網(wǎng)站里面的別的頁面能夠被百度搜索引擎蜘蛛正常收錄，而且收錄的情況還比較好的話，那么不妨為那些沒有被收錄的頁面增加一個(gè)鏈接入口，包括了內(nèi)部鏈接和外部鏈接。
ROBOTS協(xié)議設(shè)置有問題
百度搜索引擎蜘蛛只會對具備robots文件搜索協(xié)議的頁面進(jìn)行抓取，百度會在網(wǎng)站建設(shè)網(wǎng)站之前或者是在調(diào)試的古城當(dāng)中對robots文件進(jìn)行設(shè)置，這樣就可以避免搜索引擎在這個(gè)階段進(jìn)行抓取。但是有的時(shí)候網(wǎng)站正式上線了，但是自己卻忘記修改robots文件，導(dǎo)致網(wǎng)站始終都是在一個(gè)被百度屏蔽的狀態(tài)，那么自然就無法獲得收錄了。 解決的方法是發(fā)現(xiàn)網(wǎng)頁沒有被收錄的一時(shí)間就檢查一下robots文件的設(shè)置是不是有問題。