Ubuntu centos Firefox 开源 wordpress 程序员 apache shell php nginx 编程 linux Windows 微软 Android mysql Python java 云计算 google

雲監控網站訪問日誌數據統計與報警

場景 
使用ECS搭建網站,並且將網站的訪問日誌(比如Nginx,Apache)收集到阿裏雲日誌服務後,您可以使用日誌監控統計QPS、狀態碼(HTTP CODE)、響應時間(rt)等指標,並對這些指標設置報警規則。 
下文以Nginx的AccessLog為例,說明如何使用日誌監控統計網站的QPS、狀態碼、響應時間。
 
日志字段 

  1. [backcolor=transparent] [backcolor=transparent]192.168[backcolor=transparent].[backcolor=transparent]1.2[backcolor=transparent] [backcolor=transparent]-[backcolor=transparent] [backcolor=transparent]-[backcolor=transparent] [backcolor=transparent][[backcolor=transparent]10[backcolor=transparent]/[backcolor=transparent]Jul[backcolor=transparent]/[backcolor=transparent]2015[backcolor=transparent]:[backcolor=transparent]15[backcolor=transparent]:[backcolor=transparent]51[backcolor=transparent]:[backcolor=transparent]09[backcolor=transparent] [backcolor=transparent]+[backcolor=transparent]0800[backcolor=transparent]][backcolor=transparent] [backcolor=transparent]"GET /Ubuntu.iso HTTP/1.0"[backcolor=transparent] [backcolor=transparent]0.032[backcolor=transparent] [backcolor=transparent]129[backcolor=transparent] [backcolor=transparent]200[backcolor=transparent] [backcolor=transparent]168[backcolor=transparent] [backcolor=transparent]"-"[backcolor=transparent] [backcolor=transparent]"wget/1.11.4 Red Hat modified"

 

以上述日誌為例,在日誌服務中配置提取如下字段:

字段    字段樣例    說明
time    2015-06-10 15:51:09    日誌時間戳,日誌系統默認值字段。
rt    0.032    執行時間,單位為秒,精度為毫秒。
URL    /ubuntu.iso    訪問的URL。
status    200    HTTP 返回碼。
body    168    返回客戶端的HTTP body大小,不包含header。
 
備註: URL的值不要包含參數GET請求“?”後面的值,如果是Rest風格則不要包含資源定位符,否則無法進行單URL的QPS統計。 
如果您是第一次使用日誌監控功能,在使用日誌監控功能前,需要授權雲監控讀取可以讀取您的日誌,詳情可參考授權日誌監控。 
 
統計網站總QPS或各個URL的QPS 

登錄雲監控,進入日誌監控頁面後,點擊頁面右上角的“新建日誌監控”,進入配置頁面。
在[backcolor=transparent]關聯資源中選擇需要統計的網站訪問日誌數據源。

  1. 在[backcolor=transparent]分析日誌中,統計方法選擇任意一個日誌字段,countps計算方式,和日誌篩選條件”。如果統計網站的總QPS,則group by不需要填寫內容。如果統計各個URL的QPS,group by選擇“URL”字段。(URL的個數需要在1000以內,否則會導致沒有監控數據。)
  2. 單擊[backcolor=transparent]確認保存設置。
     
    以上設置即可統計出網站整體的QPS和各個URL的QPS(平均每秒訪問次數)。 
     
    統計網站的整體響應時間分布 
     

    登錄雲監控,進入日誌監控頁面後,單擊頁面右上角的“新建日誌監控”,進入配置頁面。
    在[backcolor=transparent]關聯資源中選擇需要統計的網站訪問日誌數據源。

  3.  
    在[backcolor=transparent]分析日誌中,統計方法選擇rt字段,並且根據實際需求選擇求和、P50、P75、P90、P99等計算方法。日誌過濾和group by不需要填寫內容。
    選擇“平均”,表示1分鐘內的平均時間。
    選擇“P50”,表示1分鐘內rt的中位數。
    選擇“P75”,表示1分鐘內75%的rt小於此值。
    選擇“P90”,表示1分鐘內90%的rt小於此值。
    選擇“P99”,表示1分鐘內99%的rt小於此值。

  •  
    單擊[backcolor=transparent]確認保存設置。
     
     
    統計網站HTTP訪問請求為2XX/3XX情況下的響應時間分布 
     
    登錄雲監控,進入日誌監控頁面後,單擊頁面右上角的“新建日誌監控”,進入配置頁面。
    在[backcolor=transparent]關聯資源中選擇需要統計的網站訪問日誌數據源。

    1. 在[backcolor=transparent]分析日誌中,統計方法選擇rt字段,並且根據實際需求選擇求和、P50、P75、P90、P99等計算方法。
      選擇“平均”,表示1分鐘內的平均時間。
      選擇“P50”,表示1分鐘內rt的中位數。
      選擇“P75”,表示1分鐘內75%的rt小於此值。
      選擇“P90”,表示1分鐘內90%的rt小於此值。
      選擇“P99”,表示1分鐘內99%的rt小於此值。
      在[backcolor=transparent]日誌過濾中選擇“status”字段,選擇條件“>=”, 填寫“200”,然後點擊“+”添加一條篩選條件,選擇“status”字段,選擇條件“<=”, 填寫“399”。“KEY關系”,選擇“與”。


  • 如果統計網站的整體2XX/3XX 響應時間分布,group by不需要填寫內容。如果統計網站下各個URL的2XX/3XX 響應時間分布,group by選擇“URL”字段。URL的個數需要在1000以內,否則會出現沒有監控數據。)
    單擊[backcolor=transparent]確認保存設置。
     
     
    統計網站HTTP訪問請求的4XX、5XX狀態碼的個數 
     
    登錄雲監控,進入日誌監控頁面後,單擊頁面右上角的“新建日誌監控”,進入配置頁面。
    在[backcolor=transparent]關聯資源中選擇需要統計的網站訪問日誌數據源。

    1. 在[backcolor=transparent]分析日誌中,統計方法選擇“status”字段,並且選擇“計數”的計算方式。
      在[backcolor=transparent]日誌過濾中選擇“status”字段,選擇條件“>=”, 填寫“400”,然後點擊“+”添加一條篩選條件,選擇“status”字段,選擇條件“<=”, 填寫“599”。“KEY關系”,選擇“與”。
    2. 如果統計網站的整體4XX/5XX 響應個數,group by不需要填寫內容。如果統計網站下各個URL的4XX/5XX 響應個數,group by選擇“URL”字段。URL的個數需要在1000以內,否則會出現沒有監控數據。)
      單擊[backcolor=transparent]確認保存設置。

延伸阅读

    评论