說明:如果您有任何疑問或想咨詢其他業(yè)務(wù)請撥打電話 400 685 0732
全網(wǎng)監(jiān)測海量數(shù)據(jù)按需發(fā)布監(jiān)測預(yù)警
實(shí)時把握輿情動態(tài)精準(zhǔn)追溯信息源頭
鑒于KPI100貌似密碼又忘了,但bruce也弄不進(jìn)去了,所以這次的博客更新在這里。
之前用的工具一直是光年。光年這個工具怎么說呢,感覺是百度統(tǒng)計,整體能看看,但一旦出現(xiàn)問題想要看到細(xì)分的領(lǐng)域,用光年還是感到力不從心。推薦一款splunk的日志分析軟件,并且說說里面有哪些讓我感到興奮的點(diǎn):
(的話請百度搜索splunk,然后翻墻下吧,用light版本,這個版本僅提供日志分析,已經(jīng)夠用了,安裝完后你會發(fā)現(xiàn)他是本地的localhost:)
1、簡單的數(shù)據(jù)導(dǎo)入,即使不和服務(wù)器打通,在自己的硬盤里放一個日志的文件夾,以后把新的內(nèi)容再添加進(jìn)去能自動分析了,這個蠻方便的。如下圖,幾個項(xiàng)目的日志被我分開來放,導(dǎo)入導(dǎo)出很快。
2、可以隨時調(diào)整日志的搜索時間,并且根據(jù)文檔提供的語句調(diào)整自己需要的內(nèi)容(這點(diǎn)不太傻瓜了,但語句真的具有挺強(qiáng)大的功能)。想要什么只要在搜索框你輸入行了。比如下圖中我要搜404狀態(tài)碼,在搜索框打入status = 404,OK了,等著它自己跑數(shù)據(jù)庫提取。
另外一個很好的地方是有一個時間線的提示,這里能很直觀的找到你所搜索的這個事件在這個時間段內(nèi)出現(xiàn)了多少次,便捷的幫助我們找到網(wǎng)站的問題并監(jiān)視終的結(jié)果。
3、另外個是不錯的統(tǒng)計功能,比如我稍微變化一下搜索的語句,如下圖中的status = 404| top limit=100 uri,能轉(zhuǎn)化成統(tǒng)計的視圖表,
這樣的視圖能幫助你找到這個URL出現(xiàn)的次數(shù)和所占的百分比。
4、當(dāng)然還能導(dǎo)出你的篩選結(jié)果,這個棒極了。
想想如果再把這些語句發(fā)揚(yáng)一下:
我們還能用這個工具來,
1、監(jiān)測某個蜘蛛的每天,每時的爬取情況,哪個時間段被蜘蛛喜歡(馬上能分析出)
2、統(tǒng)計某個時間段被抓取的頁面,如果一直想要的頁面沒有被抓取,那么馬上需要作出調(diào)整;如果被抓取了卻沒被收錄,那么可能是頁面質(zhì)量的問題了
3、找出浪費(fèi)爬蟲抓取量的垃圾頁面,獲得數(shù)據(jù)之后,迅速的做調(diào)整(而光年只能看到整體,不能具體到哪個頁面)。
4、xenu工具跑的只是爬蟲的角度,平常用來處理404頁面。我們還可以從用戶和蜘蛛的角度去看返回的一些狀態(tài)碼,如果你夠?qū)I(yè),不僅要處理xenu工具跑出來的頁面很直觀的架構(gòu)問題,還要從具體的服務(wù)器請求看結(jié)果,幫助網(wǎng)站真正的做個體檢。
推薦閱讀
另一個維度比較靠譜的免費(fèi)日志分析工具 – Splunk@steven | 文軍...1、簡單的數(shù)據(jù)導(dǎo)入,即使不和服務(wù)器打通,在自己的硬盤里放一個日志的文件夾,以后把新的內(nèi)容再添加進(jìn)去能自動分析了,這個蠻方便的。如下圖,幾個項(xiàng)目的日志被我分開來放,導(dǎo)入導(dǎo)出很快。 2、可以隨時調(diào)整日志的搜索時間,并且根據(jù)文檔提供的語句調(diào)整自己需要的內(nèi)容(這點(diǎn)不太傻瓜了,但語句真的具有挺強(qiáng)大的功能)。想要...
說明:如果您有任何疑問或想咨詢其他業(yè)務(wù)請撥打電話 400 685 0732