請高手深度分析搜索引擎蜘蛛 解開我心頭的疑團

2010-04-04 16:08?來源 wenzhou1

　　搜索引擎蜘蛛使勁的在我的網(wǎng)站上爬，本來是一件好事，最近我發(fā)現(xiàn)了雅虎在爬哪個網(wǎng)頁以后，我一直很納悶。因為這是我做的一個靜態(tài)網(wǎng)頁，忘記刪除了。網(wǎng)站導(dǎo)航和目錄里面都沒有指向這個網(wǎng)頁，可是雅虎蜘蛛?yún)s在這個網(wǎng)頁上使勁的爬，有時候每秒爬行十幾次，4月4日的日志我檢查了下，雅虎爬了1400多次，竟然大部分時間在這個單獨頁面上，這樣子的爬行對服務(wù)器的壓力會很大。對網(wǎng)站收錄又沒有什么幫助，因為這個頁面沒有什么特別的內(nèi)容，最近我在這個頁面上加了很多文本內(nèi)容。但是即使這樣，一個搜索引擎只關(guān)注我網(wǎng)站的一個內(nèi)頁，總不是什么好現(xiàn)象，請高手深度分析下，這是什么原因引起的，會帶來什么壞的后果，以待我更好的改進(jìn)。

這個頁面的地址：http://www.wenzhousx.com/seo/seo.html

我做了一個和這個一樣的頁面，蜘蛛?yún)s不來爬

http://www.libaolaser.com/seo/這兩個頁面一樣的原因是我剛做的時候，路徑問題沒有搞對，所以，把那個文件夾里的seo.html的文件忘了刪除，現(xiàn)在蜘蛛這么狠命的爬，我都不敢刪除這個文件了，刪了我怕給我一串的404

蜘蛛爬行統(tǒng)計：

編輯： 溫州視線