• 展開
    湖北國聯(lián)計(jì)算機(jī)科技有限公司
  • 首頁HOME
  • 公司簡介INTRODUCTION
  • 安全防御DEFENSE
  • 軟件開發(fā)SOFTWARE
  • 物聯(lián)網(wǎng)IOT
  • 運(yùn)行維護(hù)SRE
  • 成功案例CASE
  • 聯(lián)系我們CONTACT
  • Technology Services |技術(shù)服務(wù)

    如何利用大數(shù)據(jù)思維實(shí)現(xiàn)無死角運(yùn)維監(jiān)控?
    來源:湖北國菱計(jì)算機(jī)科技有限公司-荊州網(wǎng)站建設(shè)-荊州軟件開發(fā)-政府網(wǎng)站建設(shè)公司 時(shí)間:2018-01-17

    羅列出數(shù)據(jù)源

    主要有工程數(shù)據(jù),業(yè)務(wù)數(shù)據(jù)。所有的數(shù)據(jù)源都有一個(gè)共性,就是日志。無論文本的也好,二進(jìn)制的也好。所以日志是整個(gè)信息的源頭。日志包含的信息足以讓我們追查到下面幾件事情:



    日志挖掘指標(biāo)


    指標(biāo)可以再進(jìn)行分類:

    1. 業(yè)務(wù)層面:如團(tuán)購業(yè)務(wù)每秒訪問數(shù),團(tuán)購券每秒驗(yàn)券數(shù),每分鐘支付、創(chuàng)建訂單等;

    2. 應(yīng)用層面:每個(gè)應(yīng)用的錯(cuò)誤數(shù),調(diào)用過程,訪問的平均耗時(shí),最大耗時(shí),95線等;

    3. 系統(tǒng)資源層面:如cpu、內(nèi)存、swap、磁盤、load、主進(jìn)程存活等;

    4. 網(wǎng)絡(luò)層面: 如丟包、ping存活、流量、tcp連接數(shù)等。


    如何統(tǒng)一實(shí)現(xiàn)


    Storm(或第一幅圖的SparkStreaming)做兩件事情:

    1. 將日志過濾,格式化,或存儲(chǔ)起來;

    2. 進(jìn)行實(shí)時(shí)計(jì)算,將指標(biāo)數(shù)據(jù)存儲(chǔ)到HBase里去。


    需要開發(fā)的地方只有兩個(gè)點(diǎn),有一個(gè)是一次性的,有一個(gè)則是長期。

    先說說一次性的,其實(shí)就是大盤展示系統(tǒng)。這個(gè)就是從HBase里取出數(shù)據(jù)做展示。這個(gè)貌似也有開源的一套,ELK。不過底層不是用的HBase存儲(chǔ),而是ES。

    長期的則是SparkStreaming(淘寶是使用Storm,我建議用SparkStreaming,因?yàn)镾parkStreaming可以按時(shí)間窗口,也可以按量統(tǒng)一做計(jì)算),這里你需要定義日志的處理邏輯,生成上面提到的各項(xiàng)指標(biāo)。

    這里有一個(gè)什么好處呢,就是平臺(tái)化了,對(duì)新的監(jiān)控需求響應(yīng)更快了,開發(fā)到上線可能只要幾個(gè)小時(shí)的功夫。如果某個(gè)系統(tǒng)某天需要一個(gè)新的監(jiān)控指標(biāo),我們只要開發(fā)個(gè)SparkStreaming程序,丟到平臺(tái)里去,這事就算完了。


    現(xiàn)在,如果你想要監(jiān)控一個(gè)系統(tǒng)是不是存活,你不在需要去寫腳本找他的pid看進(jìn)程是不是存在,系統(tǒng)發(fā)現(xiàn)在一定的周期內(nèi)沒有日志,就可以認(rèn)為它死了。而系統(tǒng)如果有異常,比如有大量的慢查詢,大盤一定能展示出來。


    大數(shù)據(jù)思維

    對(duì)于運(yùn)維的監(jiān)控,利用大數(shù)據(jù)思維,需要分三步走:

    1. 找到數(shù)據(jù);

    2. 分析定義從數(shù)據(jù)里中我能得到什么;

    3. 從大數(shù)據(jù)平臺(tái)中挑選你要的組件完成搭積木式開發(fā)。

    所有系統(tǒng)最可靠的就是日志輸出,系統(tǒng)是不是正常,發(fā)生了什么情況,我們以前是出了問題去查日志,或者自己寫個(gè)腳本定時(shí)去分析?,F(xiàn)在這些事情都可以整合到一個(gè)已有的平臺(tái)上,我們唯一要做的就是定義處理日志的的邏輯。


    荊州地區(qū)政府網(wǎng)站建設(shè) 解決方案 專業(yè)團(tuán)隊(duì) 騰訊第三方平臺(tái) 地址:湖北省荊州市沙市區(qū)荊沙大道楚天都市佳園一期C區(qū)29棟112       地址:湖北省松滋市新江口街道才知文化廣場(chǎng)1幢1146-1151室     郵編:434200 聯(lián)系電話:0716-6666211     網(wǎng)站編輯部郵箱:business@gl-ns.com 鄂公網(wǎng)安備 42100202000212號(hào) 備案號(hào):鄂ICP備2021015094號(hào)-1     企業(yè)名稱:湖北國菱計(jì)算機(jī)科技有限公司
    亚洲色精品Aⅴ一区区三区,少妇中文高清av无码,久久精品这里只有精品99品,无码乱人伦中文视频 99福利资源久久福利资源 国产精品白浆无码流出嗯啊豆