根據(ju)(ju)(ju)(ju)集(ji)團(tuan)信(xin)息化(hua)規劃(hua)，遵循(xun)“互聯網+”的理念(nian)，建(jian)設(she)集(ji)團(tuan)大數(shu)(shu)(shu)據(ju)(ju)(ju)(ju)平臺，實(shi)現集(ji)團(tuan)數(shu)(shu)(shu)據(ju)(ju)(ju)(ju)資(zi)源的集(ji)中及整合，構(gou)建(jian)集(ji)團(tuan)統一的數(shu)(shu)(shu)據(ju)(ju)(ju)(ju)模型，提高企(qi)業(ye)數(shu)(shu)(shu)據(ju)(ju)(ju)(ju)的處理效率與共享程度(du)。實(shi)現對(dui)集(ji)團(tuan)企(qi)業(ye)內部數(shu)(shu)(shu)據(ju)(ju)(ju)(ju)和外(wai)部數(shu)(shu)(shu)據(ju)(ju)(ju)(ju)的分析挖掘，對(dui)內對(dui)外(wai)提供(gong)(gong)數(shu)(shu)(shu)據(ju)(ju)(ju)(ju)服務(wu)。為全網提供(gong)(gong)決(jue)策支(zhi)持(chi)、產品創新(xin)、交叉(cha)營銷、服務(wu)支(zhi)撐、風險管控以及流程優化(hua)等支(zhi)撐服務(wu)。
集團大數(shu)(shu)(shu)(shu)據(ju)(ju)(ju)平(ping)(ping)臺(tai)將在Hadoop和(he)云(yun)計算等(deng)(deng)技術(shu)的(de)(de)基(ji)礎上，對金融大數(shu)(shu)(shu)(shu)據(ju)(ju)(ju)平(ping)(ping)臺(tai)、量(liang)收(shou)系統、生(sheng)產(chan)系統、CRM系統、電商平(ping)(ping)臺(tai)、數(shu)(shu)(shu)(shu)據(ju)(ju)(ju)分析(xi)綜(zong)合服務(wu)(wu)平(ping)(ping)臺(tai)的(de)(de)歷史數(shu)(shu)(shu)(shu)據(ju)(ju)(ju)、數(shu)(shu)(shu)(shu)據(ju)(ju)(ju)模型(xing)、報表應用等(deng)(deng)進行(xing)移植，全面整合集團業務(wu)(wu)數(shu)(shu)(shu)(shu)據(ju)(ju)(ju)。數(shu)(shu)(shu)(shu)據(ju)(ju)(ju)來源涵(han)蓋集團所(suo)有(you)的(de)(de)生(sheng)產(chan)和(he)管(guan)理(li)系統，并可接入同業及相(xiang)關市(shi)場(chang)甚(shen)至互(hu)聯網信息，建立從業務(wu)(wu)層到(dao)管(guan)理(li)層到(dao)決策層的(de)(de)智(zhi)能分析(xi)體系，模擬量(liang)化風險和(he)收(shou)益，實現對集團各種業務(wu)(wu)數(shu)(shu)(shu)(shu)據(ju)(ju)(ju)進行(xing)分類、管(guan)理(li)、統計和(he)分析(xi)等(deng)(deng)功能，給各級(ji)管(guan)理(li)人(ren)(ren)員提(ti)供各類準確的(de)(de)統計分析(xi)預測數(shu)(shu)(shu)(shu)據(ju)(ju)(ju)，使(shi)其(qi)能夠及時掌握全面的(de)(de)經營狀(zhuang)況(kuang)，為(wei)(wei)宏觀決策提(ti)供支(zhi)(zhi)持(chi)；為(wei)(wei)基(ji)層業務(wu)(wu)人(ren)(ren)員提(ti)供詳盡的(de)(de)數(shu)(shu)(shu)(shu)據(ju)(ju)(ju)，供其(qi)對各自的(de)(de)工作目標、當前(qian)和(he)歷史狀(zhuang)況(kuang)進行(xing)準確的(de)(de)把握，對業務(wu)(wu)活動進行(xing)有(you)效支(zhi)(zhi)撐；滿(man)足集團經營管(guan)理(li)及決策支(zhi)(zhi)持(chi)，建設國內一流，世界領先的(de)(de)大數(shu)(shu)(shu)(shu)據(ju)(ju)(ju)平(ping)(ping)臺(tai)。
本(ben)方案提供(gong)統一(yi)的運(yun)維監控(kong)服(fu)務。本(ben)方案涉及到的所有軟件(jian)的部(bu)(bu)署(shu)都通(tong)過Docker打包成鏡(jing)(jing)像(xiang)文件(jian)，以便非常快捷的部(bu)(bu)署(shu)實施。內部(bu)(bu)系統通(tong)過鏡(jing)(jing)像(xiang)數據接(jie)口交(jiao)互(hu)層進(jin)行交(jiao)互(hu)。通(tong)過外部(bu)(bu)接(jie)口層納入集團運(yun)維平臺進(jin)行統一(yi)監控(kong)
一站式大數據平臺提供集群自動化(hua)部署(shu)服(fu)務。用(yong)(yong)(yong)戶只需(xu)(xu)要安裝管理平臺軟件，就可以在(zai)友好的圖(tu)形化(hua)界面上安裝、部署(shu)、配置(zhi)所(suo)需(xu)(xu)要的服(fu)務。整(zheng)個安裝過程不需(xu)(xu)要用(yong)(yong)(yong)戶使(shi)用(yong)(yong)(yong)任何終端命令或者代碼。
平臺提供了強大的(de)(de)(de)(de)在線(xian)擴(kuo)容(rong)(rong)功能(neng)，不(bu)需要宕機停庫，不(bu)需要停止業(ye)務，就(jiu)可(ke)(ke)以(yi)添(tian)加(jia)(jia)新的(de)(de)(de)(de)節(jie)點(dian)，實(shi)現擴(kuo)容(rong)(rong)。節(jie)點(dian)添(tian)加(jia)(jia)完成之(zhi)后可(ke)(ke)以(yi)立即對新添(tian)加(jia)(jia)的(de)(de)(de)(de)節(jie)點(dian)進(jin)(jin)行(xing)(xing)角(jiao)色的(de)(de)(de)(de)分(fen)(fen)配(pei)(pei)，一旦配(pei)(pei)置成功，則(ze)新加(jia)(jia)的(de)(de)(de)(de)節(jie)點(dian)就(jiu)會馬上投入運(yun)算。擴(kuo)容(rong)(rong)之(zhi)后的(de)(de)(de)(de)數(shu)據(ju)節(jie)點(dian)也不(bu)需要停機進(jin)(jin)行(xing)(xing)數(shu)據(ju)重分(fen)(fen)布(bu)，系統自動選擇空閑的(de)(de)(de)(de)時間進(jin)(jin)行(xing)(xing)數(shu)據(ju)的(de)(de)(de)(de)重新分(fen)(fen)布(bu)。同時，擴(kuo)容(rong)(rong)的(de)(de)(de)(de)操(cao)作可(ke)(ke)以(yi)方便的(de)(de)(de)(de)在界面進(jin)(jin)行(xing)(xing)操(cao)作。
平臺通過(guo)專門的監控(kong)服務(wu)對集(ji)群的狀(zhuang)(zhuang)態(tai)進行監控(kong)，包括服務(wu)器CPU、內存(cun)、網(wang)絡和(he)磁盤(pan)的利用率和(he)健(jian)康(kang)狀(zhuang)(zhuang)態(tai)，以及(ji)分(fen)布式應用系統(tong)的狀(zhuang)(zhuang)態(tai)，并在(zai)故(gu)障發生(sheng)或者某項指(zhi)標超過(guo)預(yu)設(she)閥值(zhi)時時提供(gong)告警(jing)功能。管(guan)理(li)員可(ke)通過(guo)瀏(liu)覽器訪問(wen)集(ji)群的監控(kong)和(he)管(guan)理(li)界面進行日常的監控(kong)和(he)維護，系統(tong)提供(gong)圖標信(xin)息展(zhan)示。管(guan)理(li)員可(ke)以便(bian)捷了解到(dao)集(ji)群的計算資源是(shi)否處于空閑狀(zhuang)(zhuang)態(tai)、哪些服務(wu)器的負(fu)載過(guo)高，甚至(zhi)判斷集(ji)群的組網(wang)及(ji)機(ji)架安排是(shi)否合理(li)等。管(guan)理(li)員也可(ke)通過(guo)對各(ge)個節點的各(ge)個角色的日志(zhi)信(xin)息進行檢索，獲得(de)更加精(jing)確的信(xin)息。
平臺提供計算(suan)任務管(guan)理(li)和(he)作業管(guan)理(li)，包括作業的(de)上傳(chuan)、配置、啟(qi)動(dong)、停止、刪(shan)除和(he)狀態查看(kan)等功能。
在(zai)平(ping)臺中，資(zi)(zi)源可以從多個方面(mian)進(jin)行管理。從資(zi)(zi)源管理模(mo)塊的(de)層面(mian)，用戶通過(guo)配(pei)置(zhi)不同的(de)Scheduler來定義不一樣的(de)資(zi)(zi)源使用策略，目前支持FIFO Scheduler、Fair Scheduler以及Capacity Scheduler，實現作業動(dong)態調(diao)整，支持對任(ren)務系(xi)統資(zi)(zi)源占用進(jin)行實時調(diao)配(pei)，改(gai)變作業調(diao)度優先級等(deng)操作。
通過集(ji)群監(jian)控系統向(xiang)集(ji)團(tuan)運維監(jian)控平臺發送監(jian)控消息，提供(gong)對接接口，實現大(da)數據平臺與集(ji)團(tuan)運維監(jian)控平臺的互通，實現統一監(jian)控。
平(ping)臺通(tong)過(guo)專門的(de)(de)監控服務(wu)(wu)對(dui)集(ji)群(qun)的(de)(de)狀(zhuang)態進(jin)行(xing)監控，包括服務(wu)(wu)器(qi)CPU、內(nei)存(cun)、網絡(luo)和磁盤的(de)(de)利用率和健(jian)康狀(zhuang)態，以及分(fen)布(bu)式應(ying)用系統的(de)(de)狀(zhuang)態，并在故障發生或者(zhe)某項(xiang)指(zhi)標(biao)超過(guo)預(yu)設閥(fa)值時提供(gong)告警功能(neng)。管(guan)理(li)(li)(li)員可(ke)通(tong)過(guo)瀏(liu)覽器(qi)訪(fang)問集(ji)群(qun)的(de)(de)監控和管(guan)理(li)(li)(li)界(jie)面進(jin)行(xing)日(ri)常的(de)(de)監控和維護(hu)，系統提供(gong)圖表信(xin)(xin)息(xi)(xi)展示(shi)。管(guan)理(li)(li)(li)員可(ke)以便(bian)捷的(de)(de)了(le)解到集(ji)群(qun)的(de)(de)計(ji)算資(zi)源是否處于空閑狀(zhuang)態、哪(na)些(xie)服務(wu)(wu)器(qi)的(de)(de)負(fu)載(zai)過(guo)高，甚至(zhi)判(pan)斷集(ji)群(qun)的(de)(de)組網及機架(jia)安排是否合(he)理(li)(li)(li)等。管(guan)理(li)(li)(li)員也(ye)可(ke)通(tong)過(guo)對(dui)各個(ge)節點的(de)(de)各個(ge)角色的(de)(de)日(ri)志信(xin)(xin)息(xi)(xi)進(jin)行(xing)檢索(suo)，獲得更加(jia)精確(que)的(de)(de)信(xin)(xin)息(xi)(xi)。
平(ping)臺提供(gong)功能完整，性能優異(yi)的ETL框架支(zhi)持平(ping)臺建(jian)設，針(zhen)對(dui)數(shu)據的預處理，中間的轉換清洗(xi)，包括寫入目標(biao)時針(zhen)對(dui)異(yi)常(chang)數(shu)據的捕獲。整個過(guo)程由平(ping)臺提供(gong)的調度平(ping)臺，元數(shu)據管理平(ping)臺提供(gong)支(zhi)撐，讓各(ge)部分(fen)之間緊密合(he)作(zuo)，又各(ge)司其職。
針(zhen)對(dui)此項目復雜的業務系統和管理(li)，平臺提供完善的調度(du)功能(neng)，以更(geng)好的對(dui)各個模(mo)塊進行(xing)良好調度(du)管理(li)。
調度平(ping)臺是平(ping)臺的(de)(de)數(shu)據(ju)流核心，調度平(ping)臺讓相關的(de)(de)業務系統(tong)、處理(li)(li)系統(tong)按(an)照一定的(de)(de)業務邏輯，在客(ke)戶的(de)(de)安(an)排(pai)下，像流水線一樣，或串(chuan)行(xing)(xing)，或并(bing)行(xing)(xing)，按(an)照一定的(de)(de)依賴(lai)關系，在每(mei)(mei)日，每(mei)(mei)周定時觸發，依次執行(xing)(xing)。平(ping)臺提供完善的(de)(de)接(jie)口和管理(li)(li)模塊(kuai)，讓眾多的(de)(de)作業管理(li)(li)簡易(yi)高效。
本方(fang)案提供(gong)的大數(shu)據(ju)平臺(tai)支持多種環(huan)境，以便(bian)于后續進(jin)行(xing)多種數(shu)據(ju)分析(xi)(xi)(xi)與挖掘，并提供(gong)多個接(jie)口對數(shu)據(ju)進(jin)行(xing)導出，以便(bian)于客戶在(zai)體外進(jin)行(xing)數(shu)據(ju)分析(xi)(xi)(xi)；也(ye)(ye)提供(gong)數(shu)據(ju)沙(sha)盤給(gei)特定的數(shu)據(ju)分析(xi)(xi)(xi)師進(jin)行(xing)數(shu)據(ju)分析(xi)(xi)(xi)，數(shu)據(ju)沙(sha)盤也(ye)(ye)提供(gong)多個數(shu)據(ju)以及產(chan)品接(jie)口，以便(bian)于進(jin)行(xing)數(shu)據(ju)探索。
本方案的(de)(de)(de)(de)平(ping)(ping)臺采用Hadoop平(ping)(ping)臺，它(ta)本身(shen)是一個(ge)并(bing)發存儲、并(bing)發計算(suan)的(de)(de)(de)(de)高效(xiao)平(ping)(ping)臺，選用了 Discover的(de)(de)(de)(de)挖(wa)掘(jue)模塊，它(ta)是在(zai)對(dui)(dui)開源的(de)(de)(de)(de)R全面支(zhi)持的(de)(de)(de)(de)基礎(chu)上(shang)，結合SparkR進(jin)(jin)(jin)行(xing)了代碼的(de)(de)(de)(de)重大(da)(da)改造(zao)(zao)。并(bing)對(dui)(dui)常用的(de)(de)(de)(de)R算(suan)法(fa)進(jin)(jin)(jin)行(xing)了并(bing)行(xing)化(hua)改造(zao)(zao)，這些改造(zao)(zao)正是基于大(da)(da)數(shu)(shu)據(ju)(ju)(ju)中關(guan)鍵(jian)的(de)(de)(de)(de)體量巨大(da)(da)這個(ge)維度進(jin)(jin)(jin)行(xing)的(de)(de)(de)(de)優化(hua)。之前的(de)(de)(de)(de)數(shu)(shu)據(ju)(ju)(ju)挖(wa)掘(jue)由于在(zai)單(dan)機上(shang)進(jin)(jin)(jin)行(xing)，而(er)由于數(shu)(shu)據(ju)(ju)(ju)挖(wa)掘(jue)需要對(dui)(dui)數(shu)(shu)據(ju)(ju)(ju)進(jin)(jin)(jin)行(xing)大(da)(da)量的(de)(de)(de)(de)衍(yan)生和關(guan)聯運算(suan)，會讓(rang)待分析的(de)(de)(de)(de)數(shu)(shu)據(ju)(ju)(ju)集積聚擴大(da)(da)，因而(er)很多(duo)數(shu)(shu)據(ju)(ju)(ju)挖(wa)掘(jue)針對(dui)(dui)海量數(shu)(shu)據(ju)(ju)(ju)只(zhi)能采用抽(chou)樣的(de)(de)(de)(de)策略進(jin)(jin)(jin)行(xing)模型訓(xun)練，讓(rang)挖(wa)掘(jue)效(xiao)果受到(dao)很大(da)(da)影響。在(zai)并(bing)發R算(suan)法(fa)的(de)(de)(de)(de)支(zhi)撐下，只(zhi)要節點數(shu)(shu)足(zu)夠，原則(ze)上(shang)可以處理(li)任意體量的(de)(de)(de)(de)數(shu)(shu)據(ju)(ju)(ju)。
平臺(tai)支持(chi)R、ANSI SQL、Python、Java、C/C++等語(yu)言，采用(yong)B/S架構，提供(gong)圖形(xing)化界面操作(zuo)支持(chi)，操作(zuo)界面支持(chi)簡體(ti)中文(wen)。支持(chi)多數據來源輸入輸出提供(gong)表(biao)格、圖形(xing)、地圖等可視化元(yuan)素展示(shi)功能(neng)，將提供(gong)以下相關(guan)功能(neng)和特性：
標準企業報表(biao)(biao)，固定報表(biao)(biao)等。
參(can)(can)數(shu)(shu)驅動報表，各種基于參(can)(can)數(shu)(shu)的報表。
周期(qi)性報表(biao)，例(li)如周報，月報，季報等(deng)，系統支(zhi)持管理員(yuan)定(ding)(ding)義(yi)周期(qi)性運行(xing)，亦支(zhi)持業務用戶自定(ding)(ding)義(yi)重復運行(xing)方(fang)式(shi)(shi)，用戶或管理員(yuan)可以定(ding)(ding)義(yi)輸出(chu)格式(shi)(shi)，包(bao)括(kuo)PDF，Excel，Word，PPT等(deng)各種格式(shi)(shi)；系統同時(shi)提供基于事件的(de)觸發(fa)方(fang)式(shi)(shi)。
支持鉆取功能，提供基于事(shi)件的腳本控制能力，以滿足各(ge)種(zhong)復雜報(bao)表需求(qiu)。
復雜(za)中國(guo)(guo)式報表(biao)，包括中國(guo)(guo)式表(biao)頭(tou)、復雜(za)布局、特殊(shu)功能等各(ge)種能力。
提(ti)供豐富(fu)的圖(tu)形(xing)(xing)展現功(gong)能，支(zhi)持包括餅圖(tu)、條形(xing)(xing)、線形(xing)(xing)、儀表盤、趨勢圖(tu)及各種(zhong)圖(tu)形(xing)(xing)；支(zhi)持Flash圖(tu)形(xing)(xing)。
支(zhi)持報表導出到Excel、Word、PPT、HTML和PDF等格式，導出時可以(yi)選擇導出整個報表還是部分(fen)內容；系統支(zhi)持導出數(shu)據快照，以(yi)便日(ri)后審計等。
支(zhi)持將報表(biao)導(dao)出(chu)成(cheng)原(yuan)生Excel，報表(biao)中的圖(tu)形（非Flash)能導(dao)出(chu)為原(yuan)生Excel圖(tu)形，能夠在導(dao)出(chu)后的Excel中進一步編(bian)輯(ji)，支(zhi)持導(dao)出(chu)Excel公式，透視(shi)表(biao)等(deng)。
提供數(shu)據導出功(gong)能，用戶能將(jiang)所(suo)查看(kan)的報表中(zhong)數(shu)據進行有選擇的導出。
提供報表版(ban)本管理能力，為不同(tong)的(de)執行結(jie)果保(bao)留不同(tong)的(de)版(ban)本。
提供基于角色和(he)用(yong)戶的權(quan)限(xian)控制，管(guan)理員可以為不同的角色和(he)用(yong)戶設置相(xiang)應的功(gong)能選項及權(quan)限(xian)。
多(duo)(duo)語言多(duo)(duo)時區支持，系(xi)統(tong)為不用語言環境用戶提供多(duo)(duo)語言支持，用戶在登錄時可以選(xuan)擇(ze)時區及語言，系(xi)統(tong)將自動(dong)切換(huan)至相(xiang)應的UI（僅限UI）。
