節(jié)能減排監(jiān)控系統(tǒng)的計(jì)算框架研究論文
摘要:海量采集數(shù)據(jù)的存儲(chǔ)和高并發(fā)訪問、節(jié)能減排計(jì)算業(yè)務(wù)的快速增長及計(jì)算邏輯的頻繁變化，使得目前基于Windows技術(shù)的計(jì)算框架的處理能力和擴(kuò)展性成為節(jié)能減排系統(tǒng)應(yīng)用深化過程中的瓶頸。針對(duì)遇到的問題，設(shè)計(jì)了基于Linux系統(tǒng)、Hadoop大數(shù)據(jù)技術(shù)和Lua腳本驅(qū)動(dòng)的分布式計(jì)算框架，將復(fù)雜的計(jì)算業(yè)務(wù)拆分成彼此獨(dú)立的可重用計(jì)算組件，利用Lua腳本技術(shù)實(shí)現(xiàn)計(jì)算組件之間的關(guān)聯(lián)關(guān)系和計(jì)算組件的計(jì)算邏輯。目前，利用這種計(jì)算框架建立了節(jié)能減排計(jì)算平臺(tái)，為江蘇全省所有統(tǒng)調(diào)燃煤機(jī)組環(huán)保電價(jià)考核業(yè)務(wù)提供高吞吐量、高擴(kuò)展性和高效可靠的計(jì)算服務(wù)。
關(guān)鍵詞:節(jié)能減排；分布式計(jì)算；腳本技術(shù)；Lua；Hadoop；HBase
江蘇省自2006年開始建立了“燃煤機(jī)組煙氣脫硫?qū)崟r(shí)監(jiān)控及信息管理系統(tǒng)”，經(jīng)過多年的努力，先后建立起脫硫、脫硝、除塵等各類節(jié)能減排應(yīng)用。隨著應(yīng)用的深化，采集數(shù)據(jù)由最初的3000測(cè)點(diǎn)擴(kuò)展到目前的40萬測(cè)點(diǎn)。數(shù)據(jù)量隨之劇增。同時(shí)，計(jì)算業(yè)務(wù)也日趨復(fù)雜，算法邏輯頻繁調(diào)整，目前的數(shù)據(jù)庫服務(wù)器和計(jì)算服務(wù)器承受了巨大的資源壓力。為了解決當(dāng)前出現(xiàn)的問題，本文提出了一個(gè)基于大數(shù)據(jù)技術(shù)的節(jié)能減排分布式計(jì)算框架，要求能夠適應(yīng)多變的業(yè)務(wù)需求以及高并發(fā)的數(shù)據(jù)處理要求。節(jié)能減排分布式計(jì)算框架是一套基于Linux系統(tǒng)、Hadoop大數(shù)據(jù)平臺(tái)，支持Lua腳本驅(qū)動(dòng)的計(jì)算平臺(tái)，它具有較高的擴(kuò)展性和數(shù)據(jù)并發(fā)處理能力，支持海量數(shù)據(jù)存儲(chǔ)，能夠解決當(dāng)前系統(tǒng)中遇到的各類問題。
1計(jì)算框架需求分析
節(jié)能減排分布式計(jì)算框架的建立是為節(jié)能減排系統(tǒng)服務(wù)的，數(shù)據(jù)計(jì)算模型與節(jié)能減排具體應(yīng)用密切相關(guān)。目前主要考慮三種業(yè)務(wù)的計(jì)算模型。脫硫業(yè)務(wù)：對(duì)脫硫相關(guān)設(shè)備的測(cè)點(diǎn)數(shù)據(jù)進(jìn)行處理和統(tǒng)計(jì)，對(duì)統(tǒng)計(jì)結(jié)果進(jìn)行深層次的分析。脫硝業(yè)務(wù)：對(duì)脫硝相關(guān)設(shè)備的測(cè)點(diǎn)數(shù)據(jù)進(jìn)行處理和統(tǒng)計(jì)，對(duì)統(tǒng)計(jì)結(jié)果進(jìn)行深層次的分析。除塵業(yè)務(wù)：對(duì)除塵相關(guān)設(shè)備的測(cè)點(diǎn)數(shù)據(jù)進(jìn)行處理和統(tǒng)計(jì)，對(duì)統(tǒng)計(jì)結(jié)果進(jìn)行深層次的分析。
2系統(tǒng)整體架構(gòu)
節(jié)能減排分布式計(jì)算框架構(gòu)建在Linux操作系統(tǒng)上，在實(shí)現(xiàn)上分為三層結(jié)構(gòu)：數(shù)據(jù)庫服務(wù)系統(tǒng)、公共服務(wù)系統(tǒng)、平臺(tái)服務(wù)系統(tǒng)，結(jié)構(gòu)如圖1所示。
2.1數(shù)據(jù)庫服務(wù)系統(tǒng)
由大數(shù)據(jù)系統(tǒng)（Hadoop）和關(guān)系型數(shù)據(jù)庫系統(tǒng)（DB2）構(gòu)成，其中大數(shù)據(jù)系統(tǒng)（Hadoop）是核心，關(guān)系型數(shù)據(jù)庫系統(tǒng)用于輔助支撐。Hadoop主要用于存儲(chǔ)歷史數(shù)據(jù)、結(jié)果數(shù)據(jù)、檔案數(shù)據(jù)、分布式計(jì)算框架管理數(shù)據(jù)。
2.2公共服務(wù)系統(tǒng)
公共服務(wù)系統(tǒng)是分布式計(jì)算框架的數(shù)據(jù)處理核心，負(fù)責(zé)數(shù)據(jù)訪問驅(qū)動(dòng)接口、腳本驅(qū)動(dòng)引擎、安全處理、日志處理以及計(jì)算框架和應(yīng)用的異常處理。根據(jù)分布式計(jì)算框架的特性，公共服務(wù)系統(tǒng)將會(huì)對(duì)外暴露出多個(gè)數(shù)據(jù)接口，用于上層應(yīng)用的數(shù)據(jù)訪問、數(shù)據(jù)處理、業(yè)務(wù)算法實(shí)現(xiàn)以及腳本驅(qū)動(dòng)。
2.3平臺(tái)服務(wù)系統(tǒng)
平臺(tái)服務(wù)系統(tǒng)包括：腳本編輯系統(tǒng)、平臺(tái)運(yùn)行系統(tǒng)、輔助系統(tǒng)。腳本編輯系統(tǒng)具有業(yè)務(wù)算法配置、腳本編寫和管理功能；平臺(tái)運(yùn)行系統(tǒng)具有任務(wù)調(diào)度、執(zhí)行功能，腳本編輯系統(tǒng)編寫的腳本將通過運(yùn)行系統(tǒng)驅(qū)動(dòng)；輔助系統(tǒng)包括外部歷史數(shù)據(jù)、檔案數(shù)據(jù)的導(dǎo)入和存儲(chǔ)。
3節(jié)能減排大數(shù)據(jù)中心
節(jié)能減排分布式計(jì)算框架將數(shù)據(jù)分成四類，分別是：現(xiàn)場(chǎng)實(shí)時(shí)采集數(shù)據(jù)、計(jì)算結(jié)果、檔案數(shù)據(jù)、分布式計(jì)算框架管理數(shù)據(jù)。數(shù)據(jù)的存儲(chǔ)基于Hadoop系統(tǒng)的HBase數(shù)據(jù)庫。Hadoop的核心是HDFS和MapReduce，HDFS為海量數(shù)據(jù)提供存儲(chǔ)，MapReduce為海量數(shù)據(jù)提供檢索計(jì)算[1]。HBase是一個(gè)分布式的、面向列的開源數(shù)據(jù)庫，它在Hadoop之上提供了非結(jié)構(gòu)化的數(shù)據(jù)存儲(chǔ)能力[2]。
3.1現(xiàn)場(chǎng)實(shí)時(shí)采集數(shù)據(jù)
在分布式計(jì)算框架中，現(xiàn)場(chǎng)實(shí)時(shí)采集的數(shù)據(jù)存儲(chǔ)于歷史數(shù)據(jù)表中。節(jié)能減排分布式計(jì)算框架中最大測(cè)點(diǎn)數(shù)約40萬，大部分測(cè)點(diǎn)數(shù)據(jù)的采集周期為每10秒，數(shù)據(jù)量巨大。考慮到節(jié)能減排數(shù)據(jù)的規(guī)模以及大數(shù)據(jù)檢索性能，歷史數(shù)據(jù)表按年分表存儲(chǔ)。歷史數(shù)據(jù)存儲(chǔ)以測(cè)點(diǎn)編碼、小時(shí)時(shí)間為行檢索關(guān)鍵字，存儲(chǔ)對(duì)應(yīng)小時(shí)的歷史數(shù)據(jù)，該測(cè)點(diǎn)的一個(gè)小時(shí)數(shù)據(jù)按四個(gè)列族方式存儲(chǔ)，每個(gè)列族存儲(chǔ)15分鐘數(shù)據(jù)。
3.2結(jié)果數(shù)據(jù)
結(jié)果數(shù)據(jù)包括節(jié)能減排相關(guān)計(jì)算業(yè)務(wù)的處理結(jié)果，包括脫硫、脫硝、除塵小時(shí)排放數(shù)據(jù)、考核數(shù)據(jù)和事件統(tǒng)計(jì)數(shù)據(jù)等。每種應(yīng)用數(shù)據(jù)都是基于特定的計(jì)算單元（應(yīng)用相關(guān)的具有內(nèi)在邏輯關(guān)系的一組測(cè)點(diǎn)）的多個(gè)測(cè)點(diǎn)數(shù)據(jù)按照一定的邏輯關(guān)系計(jì)算所得，因而計(jì)算結(jié)果數(shù)據(jù)在Hadoop中的存儲(chǔ)以計(jì)算單元編碼、時(shí)間為檢索關(guān)鍵字，按照應(yīng)用要求建立列族存儲(chǔ)結(jié)果數(shù)據(jù)。
3.3檔案數(shù)據(jù)
節(jié)能減排分布式計(jì)算框架的建立是為節(jié)能減排的各種應(yīng)用服務(wù)，目前應(yīng)用相關(guān)檔案數(shù)據(jù)主要是與電廠、設(shè)備、采集關(guān)系比較緊密的一些配置信息數(shù)據(jù)。各種檔案表中以檔案的'編碼為檢索關(guān)鍵字，根據(jù)具體的檔案信息建立列族存儲(chǔ)數(shù)據(jù)。
3.4分布式計(jì)算框架管理數(shù)據(jù)
分布式計(jì)算框架內(nèi)除了需要處理的歷史數(shù)據(jù)外，還包括支撐系統(tǒng)運(yùn)行的框架管理數(shù)據(jù)，如：賬戶數(shù)據(jù)、腳本信息數(shù)據(jù)、日志數(shù)據(jù)等。帳號(hào)數(shù)據(jù)是分布式計(jì)算框架中的登錄用戶信息，帳號(hào)信息作用于腳本任務(wù)執(zhí)行的全過程。腳本信息數(shù)據(jù)是由腳本編輯系統(tǒng)生成的腳本信息，計(jì)算框架依賴腳本信息進(jìn)行任務(wù)調(diào)度和計(jì)算，并產(chǎn)生最終的結(jié)果數(shù)據(jù)。日志數(shù)據(jù)是計(jì)算框架根據(jù)規(guī)則產(chǎn)生的各種操作日志信息，方便數(shù)據(jù)回溯和跟蹤。
4分布式計(jì)算框架
節(jié)能減排分布式計(jì)算框架是基于Linux上Hadoop系統(tǒng)的計(jì)算平臺(tái)，是為了適應(yīng)節(jié)能減排復(fù)雜多變的應(yīng)用業(yè)務(wù)而開發(fā)的、支持腳本編程的計(jì)算平臺(tái)，它以Lua腳本技術(shù)為支撐，融合了節(jié)能減排的計(jì)算業(yè)務(wù)特性。節(jié)能減排分布式計(jì)算框架的任務(wù)執(zhí)行通過任務(wù)調(diào)度節(jié)點(diǎn)控制；任務(wù)調(diào)度節(jié)點(diǎn)將腳本發(fā)送給計(jì)算節(jié)點(diǎn)；計(jì)算節(jié)點(diǎn)調(diào)用底層的Lua腳本驅(qū)動(dòng)引擎完成任務(wù)執(zhí)行。任務(wù)調(diào)度節(jié)點(diǎn)與計(jì)算節(jié)點(diǎn)之間的關(guān)系如圖2所示。圖2任務(wù)調(diào)度節(jié)點(diǎn)與計(jì)算節(jié)點(diǎn)之間的關(guān)系計(jì)算節(jié)點(diǎn)具有線性擴(kuò)展性，可以根據(jù)需要任意增加節(jié)點(diǎn)數(shù)量。計(jì)算節(jié)點(diǎn)會(huì)將任務(wù)的執(zhí)行情況反饋給任務(wù)調(diào)度節(jié)點(diǎn)，由任務(wù)調(diào)度節(jié)點(diǎn)更新數(shù)據(jù)庫中的任務(wù)狀態(tài)。
4.1任務(wù)調(diào)度節(jié)點(diǎn)
根據(jù)腳本編輯系統(tǒng)生成的腳本信息以及快照表中的測(cè)點(diǎn)最新數(shù)據(jù)時(shí)標(biāo)信息，生成可以執(zhí)行的腳本任務(wù)，并將腳本任務(wù)分派給計(jì)算節(jié)點(diǎn)。
4.2計(jì)算節(jié)點(diǎn)
接收任務(wù)調(diào)度節(jié)點(diǎn)分派的腳本任務(wù)，啟動(dòng)任務(wù)執(zhí)行序列運(yùn)行任務(wù)。每個(gè)計(jì)算節(jié)點(diǎn)中可以有多個(gè)任務(wù)執(zhí)行序列并發(fā)執(zhí)行腳本任務(wù)。
4.3任務(wù)執(zhí)行序列
任務(wù)執(zhí)行序列是計(jì)算節(jié)點(diǎn)中的最小任務(wù)執(zhí)行單元，它從全局任務(wù)隊(duì)列中獲取任務(wù)，并將任務(wù)腳本分解為多個(gè)腳本塊，根據(jù)腳本塊之間的串聯(lián)關(guān)系依次調(diào)用Lua腳本驅(qū)動(dòng)引擎執(zhí)行腳本塊。
4.4Lua腳本驅(qū)動(dòng)引擎
Lua是一門擴(kuò)展式程序設(shè)計(jì)語言，它作為一個(gè)強(qiáng)大、輕量的嵌入式腳本語言，可供任何需要的程序使用。其最大的特點(diǎn)是：可擴(kuò)展、簡(jiǎn)單、高效率、跨平臺(tái)[3]。在Lua腳本的基礎(chǔ)上，結(jié)合節(jié)能減排分布式計(jì)算框架的特點(diǎn)，對(duì)Lua接口進(jìn)行了擴(kuò)充，使得腳本驅(qū)動(dòng)引擎能夠訪問計(jì)算框架內(nèi)的各種資源。擴(kuò)充的接口包括：Hadoop訪問接口、關(guān)系數(shù)據(jù)庫訪問接口、內(nèi)存控制接口、任務(wù)調(diào)度接口、任務(wù)執(zhí)行接口、安全控制接口、日志管理接口。在分布式計(jì)算框架中，為了方便Lua腳本的編寫，以及實(shí)現(xiàn)多設(shè)備、多應(yīng)用之間的腳本共享，使用了以下兩種技術(shù)：1）腳本分塊。支持將一個(gè)腳本分解為多個(gè)腳本塊，每個(gè)腳本塊完成單一的功能，通過計(jì)算框架內(nèi)部的執(zhí)行序列實(shí)現(xiàn)腳本塊串聯(lián)。2）腳本塊共享。對(duì)于不同應(yīng)用，可以將相同的計(jì)算功能定義為獨(dú)立的腳本塊，實(shí)現(xiàn)共享，減輕腳本編程工作量。
4.5Hadoop訪問接口
Hadoop是一個(gè)能夠?qū)Ａ繑?shù)據(jù)進(jìn)行分布式處理的軟件框架，它具有可靠、高效的特性，且易于擴(kuò)展。在Hadoop的基礎(chǔ)上，結(jié)合節(jié)能減排分布式計(jì)算框架的特性，對(duì)Hadoop的訪問接口進(jìn)行了規(guī)劃，在節(jié)能減排大數(shù)據(jù)中心四類數(shù)據(jù)之間實(shí)現(xiàn)了統(tǒng)一的數(shù)據(jù)訪問接口。
5結(jié)論
基于Linux系統(tǒng)和大數(shù)據(jù)Hadoop平臺(tái)，以Lua腳本技術(shù)驅(qū)動(dòng)的節(jié)能減排分布式計(jì)算框架，通過計(jì)算節(jié)點(diǎn)的線性擴(kuò)展能力提高了數(shù)據(jù)吞吐量，通過腳本分塊和共享技術(shù)提高了算法的兼容性和可擴(kuò)展性，從而有效地解決了當(dāng)前節(jié)能減排系統(tǒng)中海量數(shù)據(jù)并發(fā)操作和算法多變問題。
作者:王其祥 周春蕾 孫栓柱 單位:江蘇方天電力技術(shù)有限公司
參考文獻(xiàn)
[1]TomWhite.Hadoop權(quán)威指南（2版），周敏奇，王曉玲，等，譯.2011.
[2]LarsGeorge.HBase權(quán)威指南.代志遠(yuǎn)，劉佳，等，譯.2013.
[3]RobertoIerusalimschy.ProgramminginLua.2005.
【節(jié)能減排監(jiān)控系統(tǒng)的計(jì)算框架研究論文】相關(guān)文章：
基于云計(jì)算的網(wǎng)絡(luò)監(jiān)控系統(tǒng)研究論文10-31
制氧信息化系統(tǒng)與節(jié)能減排研究論文10-28
基于云計(jì)算的網(wǎng)絡(luò)監(jiān)控系統(tǒng)研究分析論文10-31
火電廠鍋爐節(jié)能減排研究論文10-26