網(wǎng)站建設(shè)如何分析日志文件？

發(fā)表日期：2016-09-06   瀏覽：2972   關(guān)鍵詞： 鄭州網(wǎng)站建設(shè)

第一部分日志文件分析

一般我們可以通過ftp或者連接服務(wù)器，找一個名為logfiles的文件夾，里面有很多個文件，可能大家有的人看不懂，不過沒關(guān)系，咱們可以借助第三方工具愛站，愛站工具包—日志分析—選擇文件—開始分析，可以清楚清楚的看到有哪些搜索引擎哪一天來爬取過我們的哪些頁面。在這咱們需要注意的幾個事項：

①如果你網(wǎng)站內(nèi)容經(jīng)常不更新，那么蜘蛛來的頻次會越來越少

②如果蜘蛛不來你的網(wǎng)站爬取了，那么很可能你網(wǎng)站被k了，網(wǎng)站被k也有多種原因（可能是網(wǎng)站被掛木馬，也有可能是站長自己操作問題，后續(xù)在我的文章中會給大家詳細介紹）；

③搜索引擎爬取的時候空間打不開，也會導(dǎo)致搜索引擎爬取頻率比較少

④是死鏈接，圖片，動畫太多，也會導(dǎo)致搜索引擎爬取頻率過少或者不爬，因為搜索引擎是順著鏈接爬取的，同時也無法抓取圖片和動畫，死鏈接太多，蜘蛛爬不下去了，就主動放棄不再爬取

⑤如果Roberts設(shè)置禁止全站被蜘蛛或機器人爬取，那么蜘蛛或機器人也不會再爬取

第二部分Roberts協(xié)議

通常在根目錄下，會有一個Roberts協(xié)議，Roberts協(xié)議是鑒于保護自己的網(wǎng)絡(luò)隱私去寫的一個協(xié)議，簡單的理解：這個協(xié)議就是告訴蜘蛛或機器人你是否有權(quán)限爬取我的網(wǎng)站，以及你不可以爬取我的網(wǎng)站那一部分內(nèi)容。咱們截取百度的Roberts協(xié)議中的一段來看一下，如圖所示：網(wǎng)站建設(shè)之日志分析篇

咱們可以來看一下，在Roberts協(xié)議中，*這個符號表示“所有”的意思，user-agent：yisouspider咱們就可以理解為百度允許一搜來抓取它的東西，Disallow是不允許的意思，那下面這句：Disallow/baidu意思就是不允許抓取baidu這個文件下的所有內(nèi)容，其他的同樣。最后一句：

“User-agent: *

Disallow: /”

上面這句代碼的意思就是：除了我上面所列舉出來的這些蜘蛛或機器人，其他的蜘蛛或機器人都不允許抓取我網(wǎng)站上的任何東西，違者可以追究法律責(zé)任。一般一個蜘蛛或機器人去爬取一個網(wǎng)站，首先就要爬取網(wǎng)站Roberts文件，然后遵守協(xié)議去爬行。

相關(guān)新聞

睿智云WMS物業(yè)公司倉庫管理軟件功能簡介

 物業(yè)公司倉庫管理軟件，專門為大小型物業(yè)公司而設(shè)計，主要用來管理各種物料供應(yīng)和需求關(guān)系，有效降低企

日期：2021-05-14 瀏覽：5217

鄭州軟件開發(fā)的后臺需要具備哪些功能？

軟件開發(fā)的后臺設(shè)計需要美觀實用，方便且易于處理數(shù)據(jù)備份功能，多用戶權(quán)限;

日期：2020-08-28 瀏覽：7162

如何搭建景區(qū)網(wǎng)站建設(shè)？

搭建一個景區(qū)網(wǎng)站建設(shè)的很有必要的，因為做了網(wǎng)站可以增加客戶對旅游景點的信任，還有一方面是能讓旅游企業(yè)獲得更多

日期：2022-09-02 瀏覽：3104

電商網(wǎng)站建設(shè)為什么要獨立開發(fā)？

線上購物的基礎(chǔ)就來源于企業(yè)的電商網(wǎng)站建設(shè)，做好電商網(wǎng)站，才能讓客戶在線上購物，而且現(xiàn)在市面上有很多的電商網(wǎng)站

日期：2022-03-24 瀏覽：3782

鄭州建網(wǎng)站細節(jié)分析說明

鄭州建網(wǎng)站要重視產(chǎn)品介紹和展示，作為網(wǎng)站建設(shè)，其最重要的一個特點就是能夠較好的進行產(chǎn)品的推廣和宣傳

日期：2021-12-26 瀏覽：3914

高質(zhì)量內(nèi)容對鄭州建網(wǎng)站有哪些好處？

高質(zhì)量文章有利于提高鄭州建網(wǎng)站的排名和網(wǎng)站的權(quán)重，我們在運營網(wǎng)站的過程中，要養(yǎng)成經(jīng)常更新網(wǎng)站的習(xí)慣

日期：2021-12-14 瀏覽：4169