云计算 开源 linux wordpress centos 程序员 Python mysql Windows shell java Android apache Firefox php 编程 Ubuntu 微软 google nginx

日誌系列–前端訪問日誌的統計分析

簡介

很多個人站長在搭建網站時使用Nginx作為服務器,為了了解網站的訪問情況,一般有兩種手段:

使用CNZZ之類的方式,在前端頁面插入js,用戶訪問的時候觸發js,記錄訪問請求。
分析nginx的access log,從日誌中挖掘有用信息。
兩種方式各有優缺點:

CNZZ使用起來比較簡單,各種指標定義清楚。但這種方式只能記錄頁面的訪問請求,像ajax之類的請求是無法記錄的,還有爬蟲信息也不會記錄。
access log對所有的請求都有記錄,可以說信息非常詳細,但需要站長對訪問日誌具備詳細的了解和動手能力。
兩種手段相互補充,才能對網站的狀況有更加深入的了解。

阿裏雲日誌服務產品在最新版中增強查詢分析功能(LogSearch/Analytics),支持對日誌數據實時索引與查詢分析,能夠在秒級別對億級別數據完成統計,極大的降低了站長們分析access log的門檻。本文將詳細介紹如何使用日誌服務分析access log中的各種指標。

一個典型的訪問日誌,包括了以下幾點:

1. remote_addr : 客戶端地址
2. remote_user : 客戶端用戶名
3. time_local : 服務器時間
4. request : 請求內容,包括方法名,地址,和http協議
5. http_host : 用戶請求是使用的http地址
6. status : 返回的http 狀態碼
7. request_length : 請求大小
8. body_bytes_sent : 返回的大小
9. http_referer : 來源頁
10. http_user_agent : 客戶端名稱
11. request_time : 整體請求延時
下面是一段訪問日誌的樣例:

body_byte_sent:  81        hostname:  www.host.com    http_user_agent:  Mozilla/5.0 (Linux; U; Android 7.1.1; zh-CN; ONEPLUS A5000 Build/NMF26X) AppleWebKit/537.36 (KHTML, like Gecko) Version/4.0 Chrome/40.0.2214.89 UCBrowser/11.6.4.950 Mobile Safari/537.36        method:  GET        referer:  www.host0.com    remote_addr:  14.116.141.67    request_length:  196    request_time:  4.68status:  200    upstream_response_time:  3.94725168222    url:  /path9?k0=v7&k1=v1&
保存在日誌服務中的日誌:


image.png

统计样例

  1. 每分钟PV曲线

    *|select from_unixtime( __time__- __time__% 60) as t,       count(1) as pv        
    group by        order by t limit 60

    image.png

  2. 热门页面

    *|select url,count(1) as pv group by url order by pv desc limit 10

    image.png

  3. 各种HTTP状态码

    *| select status, count(1) as pv group by status

    image.png

  4. 来源页面统计

    *|select referer ,count(1) as pv group by  referer order by pv desc

    image.png

dashboard

日志服务提供dashboard展示所有的指标:

image.png
dashboard链接

试用日志服务

查询链接
dashboard链接

以下5个子帐号供试用,请随机选择一个登录,若登录不成功请换一个子帐号尝试:

登录地址 用户名 密码
链接 sls_reader1@1654218965343050 pnX-32m-MHH-xbm
链接 sls_reader2@1654218965343050 pnX-32m-MHH-xbm
链接 sls_reader3@1654218965343050 pnX-32m-MHH-xbm
链接 sls_reader4@1654218965343050 pnX-32m-MHH-xbm
链接 sls_reader5@1654218965343050 pnX-32m-MHH-xbm

延伸阅读

    评论