作為Seoer，網(wǎng)站日志分析是網(wǎng)站日志分析所需的基本技術(shù)，通過日志分析可以分析爬蟲捕獲頁面的有效性，通過日志可以分析蜘蛛返回的狀態(tài)代碼，及時了解網(wǎng)站上是否存在錯誤或蜘蛛無法上傳的頁面。網(wǎng)站頁面上存在的404錯誤頁面、500服務(wù)器錯誤等這些噪音內(nèi)容的噪音頁面(重復頁面、低質(zhì)量頁面、空白內(nèi)容頁面)

    第一，網(wǎng)站日志能為我們做什么？

    1.可以分析爬蟲捕獲頁面的有效性(搜索引擎在某些噪音頁面上重復的頁面、低質(zhì)量頁面、空白內(nèi)容頁面、404頁、減少頁面捕獲頻率)。

    2、調(diào)查網(wǎng)站頁面上存在的404錯誤頁面、500服務(wù)器錯誤等

    3、頁面的重要內(nèi)容是否被爬行動物完全爬行和快速移動；

    4、蜘蛛爬行動物的準確分辨率

    二、一般的HTTP狀態(tài)代碼解釋

    1，200碼意味著蜘蛛正常爬行

    2，404代碼，訪問的這個鏈接是錯誤的鏈接

    3，301代碼，永久重定向

    表示臨時重定向的4，302代碼

    5，304代碼，客戶端已運行GET，但文件未更改。

    表明網(wǎng)站內(nèi)部程序或服務(wù)器有錯誤的6500代碼

    接下來，列出網(wǎng)站日志的例子。

    日志的含義可以看到站點日志中的每個數(shù)據(jù)意味著什么。簡言之，這份文件是記錄日在網(wǎng)站上發(fā)生的行為。收到這些網(wǎng)站日志后，您可以查看日志，通過分析日志文件來解決網(wǎng)站的問題。

    三、解釋日志代碼

    日志文件可以解釋以下兩個部分：

    1、搜索引擎捕獲情況

    在日志文件中，可以看到搜索引擎捕捉到一些404頁和低質(zhì)量過載頁(噪音行為)

    注意：可以通過nslookupip確認蜘蛛的真?zhèn)?

    /date-2016-01.html(低質(zhì)量過載頁面)

    /author-1.html(低質(zhì)量過載頁面)

    /downloads/(低質(zhì)量頁面)

    /contact.html(死鏈接連接)有問題。此頁返回的狀態(tài)代碼為200而不是404，但您可以轉(zhuǎn)到404頁，了解服務(wù)器設(shè)置存在問題。

    所以，當我們有不想抓住他們的頁面時，我們要在robots中規(guī)范。規(guī)范Robots的重要手段之一是robots.txt。爬行動物進行校準，使爬行動物能夠?qū)⒏嗟木性谖业脑敿氻撁嫔稀?

    2、用戶訪問網(wǎng)站。

    主要分析用戶訪問網(wǎng)站的行為軌跡和用戶屬性。這里不解釋。

【聲明：信息來自網(wǎng)絡(luò)，如有侵權(quán)，聯(lián)系既刪?！?br>