????“數(shù)據(jù)是基礎(chǔ)。如果數(shù)據(jù)沒(méi)有高效的承載,應(yīng)用做得再好,都不會(huì)達(dá)到很好的效果?!鼻鄭u海關(guān)云架構(gòu)師任林認(rèn)為。
????“數(shù)據(jù)處理是一個(gè)很重要的能力。之前海關(guān)的數(shù)據(jù)都由各個(gè)部門分散去做,而我們想找到一個(gè)解決方案,將這些數(shù)據(jù)梳理并構(gòu)建一個(gè)體系,從而提升海關(guān)整體的數(shù)據(jù)處理能力?!比瘟挚谥械姆桨?,正是他的團(tuán)隊(duì)(XRZ隊(duì))參加微軟Windows Server 2012云創(chuàng)益大賽團(tuán)隊(duì)賽的作品——?jiǎng)討B(tài)數(shù)據(jù)倉(cāng)庫(kù)高性能云計(jì)算平臺(tái)(簡(jiǎn)稱數(shù)據(jù)倉(cāng)庫(kù)云平臺(tái))。
????其實(shí),動(dòng)態(tài)數(shù)據(jù)倉(cāng)庫(kù)項(xiàng)目已經(jīng)在海關(guān)運(yùn)行了多年,但采用的是分布式的部署方式。全國(guó)目前共有46個(gè)直屬海關(guān)單位,600個(gè)隸屬海關(guān)和辦事處,通關(guān)監(jiān)管點(diǎn)近4000個(gè)。分散的數(shù)據(jù)管理方式顯然存在著不便于統(tǒng)一管控、資源得不到最佳配置等弊端。在云計(jì)算技術(shù)日趨成熟的今天,包括任林在內(nèi)的海關(guān)技術(shù)團(tuán)隊(duì),開(kāi)始思考能否利用云計(jì)算,將數(shù)據(jù)按云的方式向用戶提供服務(wù),實(shí)現(xiàn)數(shù)據(jù)服務(wù)集中化、降本增效和真正意義上的動(dòng)態(tài)可控。
????“過(guò)去,我們有實(shí)際的需求,但是沒(méi)有有效的手段?!比瘟謱?duì)《中國(guó)計(jì)算機(jī)報(bào)》記者表示,“Windows Server 2012的推出,恰好為我們提供了解決實(shí)際需求的思路、提供了可實(shí)現(xiàn)的手段。”
????數(shù)據(jù)倉(cāng)庫(kù)云化
????云再也不只飄在天上,它已經(jīng)可以被你我欣賞、觸及。特別是隨著Windows Server 2012這款被微軟稱為云操作系統(tǒng)內(nèi)核的系統(tǒng)軟件的發(fā)布,任林等人將海關(guān)數(shù)據(jù)倉(cāng)庫(kù)云化提上了日程。
????任林介紹,他們首先將基礎(chǔ)設(shè)施云化,再基于微軟并行數(shù)據(jù)倉(cāng)庫(kù)(Parallel Data Warehouse,簡(jiǎn)稱PDW)進(jìn)行高性能的數(shù)據(jù)存儲(chǔ)與管理,將數(shù)據(jù)處理執(zhí)行從原來(lái)的節(jié)點(diǎn)遷移到了云引擎中,并將應(yīng)用進(jìn)行了重新設(shè)計(jì),以服務(wù)的方式提供給用戶。就這樣,包括北京、上海、廣州等多個(gè)云數(shù)據(jù)中心為基礎(chǔ)的海關(guān)數(shù)據(jù)倉(cāng)庫(kù)云平臺(tái)設(shè)計(jì)應(yīng)運(yùn)而生,它還包括動(dòng)態(tài)數(shù)據(jù)倉(cāng)庫(kù)云門戶、動(dòng)態(tài)數(shù)據(jù)倉(cāng)庫(kù)云引擎和最上層的Web應(yīng)用云部署中心。
????“我們?cè)趧?dòng)態(tài)數(shù)據(jù)倉(cāng)庫(kù)云化方面做了很多嘗試。目前,我們基于微軟Windows Server 2012和Azure架構(gòu)做了一些工作,建立了一套以數(shù)據(jù)為核心的管理體系,為用戶提供高水平、高效率的平臺(tái),以支撐我們整個(gè)海關(guān)的應(yīng)用?!比瘟终f(shuō)。
????以服務(wù)的方式提供數(shù)據(jù)
????“大數(shù)據(jù)是現(xiàn)在業(yè)界的熱點(diǎn),但是我們的方案絕不是跟風(fēng)和炒作。這些都是我們的實(shí)際需求,也是我們實(shí)實(shí)在在的應(yīng)用?!比瘟直硎?。
????任林將數(shù)據(jù)處理能力視為信息化體系中非常重要的能力之一,它離不開(kāi)海關(guān)的實(shí)際應(yīng)用場(chǎng)景。全國(guó)海關(guān)系統(tǒng)每天都在生成大量的結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù),每時(shí)每刻遍布全國(guó)的海關(guān)業(yè)務(wù)終端都要利用這些數(shù)據(jù)進(jìn)行業(yè)務(wù)辦理、分析與查詢?!澳壳捌脚_(tái)整體的數(shù)據(jù)量已經(jīng)達(dá)到了上百TB的規(guī)模,下一步我們還要將基于Hadoop架構(gòu)的非結(jié)構(gòu)化數(shù)據(jù)遷移到平臺(tái)上來(lái)。按照我們的規(guī)劃,平臺(tái)可以支撐PB級(jí)的數(shù)據(jù)量?!比瘟终f(shuō)。
????據(jù)任林的團(tuán)隊(duì)測(cè)試,在海關(guān)數(shù)據(jù)倉(cāng)庫(kù)云平臺(tái)上,4TB數(shù)據(jù)量的兩表聯(lián)合查詢僅需29秒,10TB數(shù)據(jù)量的三表聯(lián)合查詢僅需1分30秒。依托Windows Server 2012提供的云計(jì)算平臺(tái)和PDW帶來(lái)的高性能數(shù)據(jù)倉(cāng)庫(kù),海關(guān)的綜合管理業(yè)務(wù)平臺(tái)提供了即席查詢、固定查詢、多維分析、報(bào)表指標(biāo)等各種數(shù)據(jù)處理功能。云計(jì)算與高性能,也讓海關(guān)各個(gè)部門高效聯(lián)動(dòng)審批成為可能。例如,如果業(yè)務(wù)人員通過(guò)指標(biāo)分析發(fā)現(xiàn)了業(yè)務(wù)中的風(fēng)險(xiǎn)點(diǎn),可立即通過(guò)發(fā)送聯(lián)系處置單,要求相應(yīng)部門進(jìn)行處置。
????實(shí)際上,海關(guān)云計(jì)算“一切皆服務(wù)”的理念不僅僅只體現(xiàn)在基礎(chǔ)設(shè)施層面,它在應(yīng)用層面也有充分的體現(xiàn)?!拔覀兊哪繕?biāo)就是通過(guò)云計(jì)算的方式,讓用戶只需要提交需求,接收返回結(jié)果,而不用去關(guān)心其中具體的操作過(guò)程?!比瘟直硎?,“Windows Server 2012和微軟其他產(chǎn)品幫助我們實(shí)現(xiàn)了這一理念。我們自己提供了可視化的操作界面,用戶不用再寫代碼,即可完成對(duì)綜合業(yè)務(wù)管理平臺(tái)的操作。例如在生成SQL查詢時(shí),用戶可以完全使用拖拽的方式選取各個(gè)表和字段,很方便地完成各種定制查詢。”
????統(tǒng)一管理各種平臺(tái)
????任林認(rèn)為,云計(jì)算的最大價(jià)值在于保持業(yè)務(wù)的連續(xù)性?!癢indows Server 2012基本具備了云操作系統(tǒng)的特征,它能夠?yàn)榈讓犹峁┯行Ч芾?,?duì)上層服務(wù)提供持續(xù)性支持?!?/p>
????“由于海關(guān)IT系統(tǒng)復(fù)雜多樣,我們對(duì)Windows Server 2012采用了逐步引入的方式,并投入了很大精力進(jìn)行兼容性測(cè)試?!睘榱吮U蠑?shù)據(jù)倉(cāng)庫(kù)云平臺(tái)服務(wù)的高可用性,任林的團(tuán)隊(duì)經(jīng)過(guò)反復(fù)實(shí)驗(yàn),最終基于Windows Server 2012、System Center 2012建立了兼容性較高的資源管理體系?!巴ㄟ^(guò)Windows Server 2012和System Center 2012,平臺(tái)能夠支持各個(gè)主流廠商的軟硬件和基礎(chǔ)環(huán)境。比如我們可以兼容管理Linux、VMware等系統(tǒng),基本滿足了需求。”任林向記者介紹。
????Windows Server 2012可以實(shí)現(xiàn)通過(guò)一個(gè)節(jié)點(diǎn)完成對(duì)整個(gè)數(shù)據(jù)中心的實(shí)時(shí)任務(wù)管理,這種管理方式可以讓海關(guān)運(yùn)維人員輕松地在一個(gè)地點(diǎn)管理大規(guī)模的服務(wù)器集群?!耙郧埃瑢?duì)服務(wù)器集群管理需要從這個(gè)控制臺(tái)到那個(gè)控制臺(tái),甚至從這個(gè)桌面到那個(gè)桌面?,F(xiàn)在,一個(gè)桌面就可以完成數(shù)據(jù)中心幾千臺(tái)設(shè)備的管理?!比瘟峙d奮地說(shuō),“對(duì)運(yùn)維工程師來(lái)說(shuō),這是一個(gè)很酷的功能,而且非常實(shí)用。”
????值得一提的是,目前平臺(tái)正是使用了微軟System Center 2012中的 Virtual Machine Manager(虛擬機(jī)管理器,簡(jiǎn)稱SCVMM)進(jìn)行統(tǒng)一管理。無(wú)疑,SCVMM這一重量級(jí)工具在新版本中有了新的提升。“它讓我們能夠以較低的成本去管理多個(gè)廠商的產(chǎn)品,讓運(yùn)維人員不用每天對(duì)著多個(gè)不同的管理界面,大幅提高了工作效率?!比瘟终f(shuō)。
????實(shí)現(xiàn)資源最優(yōu)配置
????效率不僅源于高性能的設(shè)備和管理工具,更源于對(duì)數(shù)據(jù)倉(cāng)庫(kù)資源配置的設(shè)計(jì)。結(jié)合業(yè)務(wù)需求,任林的團(tuán)隊(duì)將海關(guān)動(dòng)態(tài)數(shù)據(jù)倉(cāng)庫(kù)的應(yīng)用分為三個(gè)級(jí)別:最高級(jí)別應(yīng)用基于PDW,中等級(jí)別應(yīng)用基于青島海關(guān)搭建的數(shù)據(jù)庫(kù)群集,而低級(jí)別應(yīng)用基于SQL Server。
????“海關(guān)中有很多業(yè)務(wù)是需要即席查詢的,業(yè)務(wù)終端需要即時(shí)查詢、馬上返回結(jié)果,這就需要通過(guò)PDW來(lái)進(jìn)行快速的執(zhí)行?!比瘟窒蛴浾呓榻B,“而有一些固定查詢,比如某些報(bào)表是每月生成一次,那么就可以安排在較低的應(yīng)用級(jí)別來(lái)完成,甚至可以提前進(jìn)行?!?/p>
????在這樣一個(gè)按照業(yè)務(wù)需求分級(jí)別進(jìn)行數(shù)據(jù)管理的解決方案中,不僅提高了數(shù)據(jù)的管理效率,同時(shí)也提高了硬件資源的利用率。任林介紹,在數(shù)據(jù)倉(cāng)庫(kù)云平臺(tái)項(xiàng)目中,他們逐步引入新的系統(tǒng)和設(shè)備,并對(duì)原有設(shè)備進(jìn)行了整合改造,安排進(jìn)行相對(duì)低級(jí)別的工作,這樣使得IT資源得到更好的配置利用。
????云計(jì)算的本質(zhì)就是對(duì)資源進(jìn)行更為有效的利用。在資源利用方面,任林的團(tuán)隊(duì)其實(shí)有更偉大的設(shè)想?!叭绻軌蛲ㄟ^(guò)云計(jì)算將IT資源進(jìn)行充分的配置,作為公共管理與服務(wù)部門,我們希望對(duì)內(nèi)部的IT能力進(jìn)行梳理,最終將能力釋放出來(lái),為公眾提供更加廣泛的服務(wù)?!比瘟终f(shuō)。
????方案亮點(diǎn)
????(1)本方案讓W(xué)indows Server 2012的價(jià)值在大規(guī)模應(yīng)用場(chǎng)景中得以充分體現(xiàn),實(shí)現(xiàn)了平臺(tái)的高可用性。
????(2)方案同樣適合中大型規(guī)模應(yīng)用,結(jié)合PDW,實(shí)現(xiàn)了系統(tǒng)的可擴(kuò)展和高性能。
????(3)實(shí)現(xiàn)安全高效統(tǒng)一管理:多中心、外網(wǎng)統(tǒng)一門戶管理、多服務(wù)器遠(yuǎn)程管理。