對(duì)于鐵路物資應(yīng)用大數(shù)據(jù)管理解決方案的研究論文

　　鐵路物資應(yīng)用大數(shù)據(jù)管理系統(tǒng)首先構(gòu)建物資專業(yè)數(shù)據(jù)庫,需要補(bǔ)充和完善需要的數(shù)據(jù)項(xiàng),構(gòu)建物資專業(yè)全量數(shù)據(jù)體系,例如增加重要物資的生產(chǎn)日期,技術(shù)證件(復(fù)印件或圖片),驗(yàn)收記錄,復(fù)檢復(fù)驗(yàn)業(yè)務(wù)數(shù)據(jù),質(zhì)量問題圖片數(shù)據(jù),供應(yīng)商的生產(chǎn)許可數(shù)據(jù)、生產(chǎn)資質(zhì)(圖片)等數(shù)據(jù);其次完善物資管理職能,豐富和增加基礎(chǔ)數(shù)據(jù)源,例如修舊利廢管理,廢舊物資管理等,在提高對(duì)廢、舊物資管理的同時(shí),完善物資管理數(shù)據(jù)源;系統(tǒng)通過歸集處理,完成對(duì)物資專業(yè)產(chǎn)生的數(shù)據(jù)、與物資有關(guān)的其他數(shù)據(jù)、來自互聯(lián)網(wǎng)上的相關(guān)數(shù)據(jù),還包括手工編輯導(dǎo)入的數(shù)據(jù)等集中處理,將這些數(shù)據(jù)(結(jié)構(gòu)化、非結(jié)構(gòu)化)歸集到大平臺(tái)數(shù)據(jù)庫中,形成數(shù)據(jù)源;數(shù)據(jù)存儲(chǔ)和處理,采用大數(shù)據(jù)技術(shù)對(duì)歸集的數(shù)據(jù)源進(jìn)行清洗、轉(zhuǎn)換并存入不同的數(shù)據(jù)庫,并進(jìn)行匯總、挖掘處理,形成對(duì)外統(tǒng)一的大數(shù)據(jù)接口;數(shù)據(jù)查詢、分析和預(yù)測(cè)系統(tǒng)對(duì)處理后的大數(shù)據(jù)根據(jù)業(yè)務(wù)需求進(jìn)行各種統(tǒng)計(jì)、查詢和預(yù)測(cè),達(dá)到讓數(shù)據(jù)張口,靠數(shù)據(jù)說話,減少因缺少數(shù)據(jù)支撐而帶來的偏差,降低決策風(fēng)險(xiǎn)。

　　1 物資管理數(shù)據(jù)體系

　　在物資管理信息系統(tǒng)中,增加物資的生產(chǎn)日期、入庫驗(yàn)收信息,相關(guān)技術(shù)證件、復(fù)檢復(fù)驗(yàn)數(shù)據(jù)等;在物資質(zhì)量問題反饋管理中增加質(zhì)量問題圖片;增加物資屬性圖片及供應(yīng)商的詳細(xì)信息(如生產(chǎn)規(guī)模、信譽(yù)等級(jí)、資質(zhì)、生產(chǎn)許可和認(rèn)證等),建立物資專業(yè)基本信息庫,形成物資管理全量數(shù)據(jù)體。

　　1.1 完善物資管理職能

　　增加修舊利費(fèi)管理子系統(tǒng),對(duì)卸下的配件經(jīng)過維修再利用,提高物資的使用率;增加廢舊物資管理子系統(tǒng),將報(bào)廢的各類物資進(jìn)行分類歸集,由物資處進(jìn)行統(tǒng)一處置,清算處理,沖減成本;增加物資質(zhì)量跟蹤管理子系統(tǒng),與各專業(yè)的生產(chǎn)檢修系統(tǒng)進(jìn)行互聯(lián)互通,實(shí)現(xiàn)對(duì)物資采購、檢驗(yàn)、使用、維修、報(bào)廢等全過程管理。

　　1.2 數(shù)據(jù)采集

　　數(shù)據(jù)采集就是從數(shù)據(jù)源收集、識(shí)別和選取數(shù)據(jù)的過程,隨著業(yè)務(wù)的進(jìn)行,各類數(shù)據(jù)的累積越來越大,如何有效地收集這些數(shù)據(jù),保證采集數(shù)據(jù)的可靠性,避免重復(fù)數(shù)據(jù),保證數(shù)據(jù)的質(zhì)量,是數(shù)據(jù)采集這個(gè)環(huán)節(jié)需要解決的。

　　數(shù)據(jù)采集分為兩個(gè)來源:數(shù)據(jù)來自應(yīng)用系統(tǒng)之外,簡(jiǎn)稱為外部采集;數(shù)據(jù)來自引用系統(tǒng)內(nèi)部,簡(jiǎn)稱為內(nèi)部采集。外部采集主要來自物資經(jīng)營的專業(yè)網(wǎng)站,例如東方財(cái)富網(wǎng)等其他一些網(wǎng)站,數(shù)據(jù)包括關(guān)注物資的價(jià)格變化數(shù)據(jù),供應(yīng)商的生產(chǎn)、銷售數(shù)據(jù),價(jià)格數(shù)據(jù);還包括國家統(tǒng)計(jì)部門發(fā)布的GDP、PPI和CPI等;包括總公司、路局專業(yè)處室的下一時(shí)間段的大修、更新項(xiàng)目計(jì)劃數(shù)據(jù),主要用來分析和預(yù)測(cè)價(jià)格走勢(shì),下一階段的物資采購預(yù)測(cè)等。

　　1.3 數(shù)據(jù)挖掘

　　數(shù)據(jù)挖掘作為一種決策支持過程,高度自動(dòng)化地分析企業(yè)的數(shù)據(jù),做出歸納性的推理,從中挖掘出潛在的模式,幫助決策者調(diào)整市場(chǎng)策略,減少風(fēng)險(xiǎn),做出正確的決策。針對(duì)歸集的大量相關(guān)業(yè)務(wù)數(shù)據(jù),進(jìn)行清洗、刪除和處理,保證數(shù)據(jù)的有效性和正確性,然后分析物資專業(yè)所關(guān)注各項(xiàng)內(nèi)容(或關(guān)鍵指標(biāo))之間潛在的關(guān)系,找出影響分析結(jié)果的主、次因素,作為數(shù)據(jù)挖掘的基礎(chǔ)。

　　2 數(shù)據(jù)分析和展現(xiàn)

　　在大數(shù)據(jù)分析與業(yè)務(wù)協(xié)同的基礎(chǔ)上,利用基本分析引擎驅(qū)動(dòng)的圖形信息顯示功能,建立管理儀表盤跟蹤、分析、監(jiān)控、預(yù)測(cè)關(guān)鍵指標(biāo)和目標(biāo),實(shí)現(xiàn)對(duì)物資價(jià)格預(yù)測(cè)、需求和采購分析、質(zhì)量跟蹤、廉政風(fēng)險(xiǎn)防控等業(yè)務(wù)決策模型的最終分析運(yùn)用結(jié)果進(jìn)行展現(xiàn)。

　　2.1 重要物資價(jià)格變化趨勢(shì)

　　根據(jù)每月產(chǎn)生的采購價(jià)格,形成價(jià)格的直觀圖表,同時(shí)可以關(guān)聯(lián)相關(guān)數(shù)據(jù)預(yù)測(cè)未來一段時(shí)間內(nèi)的價(jià)格走勢(shì);也可以顯示歷史(一年前過兩年前的)變化,作為比較依據(jù)。

　　2.2 重要物資需求預(yù)測(cè)分析

　　根據(jù)物資大數(shù)據(jù),可以分析預(yù)測(cè)出下年度的重要物資的需求數(shù)量,以便根據(jù)市場(chǎng)情況,提前做出采購預(yù)算,保證供應(yīng);分析結(jié)果可以通過報(bào)表或柱狀圖展示。

　　2.3 物資采購綜合分析

　　根據(jù)物資大數(shù)據(jù),對(duì)物資采購的各項(xiàng)指標(biāo)進(jìn)行綜合分析,包括采購周期、采購方式、物資使用方向、采購金額、供應(yīng)商反饋及問題投訴,從中發(fā)現(xiàn)可能存在的廉政風(fēng)險(xiǎn),強(qiáng)化陽光采購。

　　2.4 庫存周轉(zhuǎn)與采購周期分析

　　根據(jù)物資專業(yè)大數(shù)據(jù),對(duì)全局的庫存物資的周轉(zhuǎn)天數(shù)(能夠按照物資小類、物資大類等)及相對(duì)應(yīng)的采購周期進(jìn)行分析,查找周轉(zhuǎn)天數(shù)差異,找出問題所在,提高庫存的周轉(zhuǎn)率,杜絕庫存積壓、減少庫存資金占用;分析結(jié)果通過報(bào)表或圖形展現(xiàn)。3 技術(shù)方案總體架構(gòu)。整個(gè)架構(gòu)分為5層:數(shù)據(jù)源層,處于整個(gè)架構(gòu)的最底層,包含物資管理系統(tǒng)及與之關(guān)聯(lián)的全部業(yè)務(wù)數(shù)據(jù):結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化。獲取層:數(shù)據(jù)采集(ETL),負(fù)責(zé)對(duì)源數(shù)據(jù)的采集、清洗、轉(zhuǎn)換和加載,包括:把原始數(shù)據(jù)加載到Hadoop平臺(tái)。數(shù)據(jù)層:包括主數(shù)據(jù)倉庫、分布式數(shù)據(jù)庫及Hadoop云平臺(tái),Hadoop云平臺(tái)負(fù)責(zé)存儲(chǔ)海量的單據(jù)數(shù)據(jù),提供并行的計(jì)算和非結(jié)構(gòu)化數(shù)據(jù)的處理能力,實(shí)現(xiàn)低成本的存儲(chǔ)和低時(shí)延、高并發(fā)的查詢能力;主數(shù)據(jù)倉庫(與MPP合設(shè))負(fù)責(zé)存儲(chǔ)指標(biāo)數(shù)據(jù)、KPI數(shù)據(jù)和高度匯總數(shù)據(jù);分布式數(shù)據(jù)庫(MPP)負(fù)責(zé)存儲(chǔ)加工、關(guān)聯(lián)、匯總后的業(yè)務(wù)數(shù)據(jù),并提供分布式計(jì)算、支撐數(shù)據(jù)深度分析和數(shù)據(jù)挖掘能力,向主數(shù)據(jù)倉庫輸出KPI和高度匯總數(shù)據(jù)。能力層:負(fù)責(zé)向上層的應(yīng)用方提供大數(shù)據(jù)平臺(tái)能力,同時(shí)提供統(tǒng)一的數(shù)據(jù)開放接口,使多方大數(shù)據(jù)應(yīng)用方享用。應(yīng)用層:為用戶提供大數(shù)據(jù)平臺(tái)的數(shù)據(jù)分析、查詢、挖掘等功能,實(shí)現(xiàn)對(duì)物資管理專業(yè)的需求預(yù)測(cè)、采購預(yù)期、價(jià)格走勢(shì)、物資質(zhì)量跟蹤、供應(yīng)商績(jī)效考核等綜合分析。

　　3 安全方案

　　基于信息安全等級(jí)保護(hù)二級(jí)要求落實(shí)安全措施的要求,結(jié)合本系統(tǒng)的具體需求,在系統(tǒng)設(shè)計(jì)時(shí),應(yīng)重點(diǎn)考慮應(yīng)用安全、數(shù)據(jù)安全和網(wǎng)絡(luò)安全三個(gè)方面。

　　4.1 應(yīng)用安全

　　應(yīng)用安全是信息系統(tǒng)整體防御的最后一道防線。在應(yīng)用層面運(yùn)行著信息系統(tǒng)的基于網(wǎng)絡(luò)的應(yīng)用以及特定業(yè)務(wù)應(yīng)用�；�于網(wǎng)絡(luò)的應(yīng)用是形成其他應(yīng)用的基礎(chǔ),包括消息發(fā)送、web瀏覽等,可以說是基本的應(yīng)用。業(yè)務(wù)應(yīng)用采納基本應(yīng)用的功能以滿足鐵路物資管理信息系統(tǒng)的要求。由于各種基本應(yīng)用最終是為業(yè)務(wù)應(yīng)用服務(wù)的,因此對(duì)應(yīng)用系統(tǒng)的安全保護(hù)最終就是如何保護(hù)系統(tǒng)的各種業(yè)務(wù)應(yīng)用程序安全運(yùn)行。

　　4.2 數(shù)據(jù)安全

　　系統(tǒng)處理的各種數(shù)據(jù)(用戶數(shù)據(jù)、系統(tǒng)數(shù)據(jù)、業(yè)務(wù)數(shù)據(jù)等)在維持系統(tǒng)正常運(yùn)行上起著至關(guān)重要的作用。一旦數(shù)據(jù)遭到破壞(泄漏、修改、毀壞),都會(huì)在不同程度上造成影響,從而危害到系統(tǒng)的正常運(yùn)行。由于物資應(yīng)用大數(shù)據(jù)管理系統(tǒng)的各個(gè)層面(網(wǎng)絡(luò)、主機(jī)、應(yīng)用等)都對(duì)各類數(shù)據(jù)進(jìn)行傳輸、存儲(chǔ)和處理等,因此,對(duì)數(shù)據(jù)的保護(hù)需要物理環(huán)境、網(wǎng)絡(luò)、數(shù)據(jù)庫和操作系統(tǒng)、應(yīng)用程序等提供支持。各個(gè)“關(guān)口”把好了,數(shù)據(jù)本身再具有一些防御和修復(fù)手段,必然將對(duì)數(shù)據(jù)造成的損害降至最小。另外,數(shù)據(jù)備份也是防止數(shù)據(jù)被破壞后無法恢復(fù)的重要手段,而硬件備份等更是保證系統(tǒng)可用的重要內(nèi)容。

　　4.3 網(wǎng)絡(luò)安全

　　網(wǎng)絡(luò)安全為物資應(yīng)用大數(shù)據(jù)管理系統(tǒng)在網(wǎng)絡(luò)環(huán)境的安全運(yùn)行提供支持。一方面,確保網(wǎng)絡(luò)設(shè)備的安全運(yùn)行,提供有效的網(wǎng)絡(luò)服務(wù),另一方面,確保在網(wǎng)上傳輸數(shù)據(jù)的保密性、完整性和可用性等。該系統(tǒng)納入鐵路總公司、鐵路局網(wǎng)絡(luò)和信息安全保障體系中。

　　4.4 關(guān)鍵技術(shù)

　　大數(shù)據(jù)并非一項(xiàng)新技術(shù),其前身是商務(wù)智能BI,是一系列信息技術(shù)的集合。怎樣將數(shù)據(jù)中的價(jià)值挖掘出來,并以直觀、清晰地方式展現(xiàn)在人們面前,是大數(shù)據(jù)解決的基本問題。數(shù)據(jù)展現(xiàn)通過借助表格、圖片等手段,揭示隱藏在數(shù)據(jù)背后的模式與數(shù)據(jù)之間的關(guān)聯(lián)關(guān)系,它以簡(jiǎn)單、友好的方式將這種關(guān)系呈現(xiàn)給用戶,可以有效地提升數(shù)據(jù)的使用效率。該系統(tǒng)包括數(shù)據(jù)采集、數(shù)據(jù)管理、計(jì)算處理、數(shù)據(jù)分析和數(shù)據(jù)展現(xiàn)5個(gè)技術(shù)環(huán)節(jié)。

　　數(shù)據(jù)存儲(chǔ)是大數(shù)據(jù)時(shí)代需要解決的重要問題。目前,鐵路物資系統(tǒng)保存了大量的結(jié)構(gòu)化數(shù)據(jù),然而亟待解決的是海量半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)問題。非結(jié)構(gòu)化的數(shù)據(jù)主要采用對(duì)象存儲(chǔ)系統(tǒng)或分布式文件系統(tǒng)進(jìn)行存儲(chǔ),本文采用Hadoop分布式文件系統(tǒng)。Hadoop基于一種開源的理念實(shí)現(xiàn)的分布式文件系統(tǒng);半結(jié)構(gòu)化數(shù)據(jù)可以使用NoSQL數(shù)據(jù)庫HBase中存放;結(jié)構(gòu)化數(shù)據(jù)存放在關(guān)系型數(shù)據(jù)庫Oracle或SQL Server中。HDFS(Hadoop Distributed FileSystem)是Hadoop的核心模塊之一,具有如下特點(diǎn):

　　在一個(gè)多節(jié)點(diǎn)塊集群存儲(chǔ)文件;在節(jié)點(diǎn)間復(fù)制模塊;主從架構(gòu);沒有文件更新;一次寫,多次讀;大數(shù)據(jù)塊順序讀模式;為批處理設(shè)計(jì)。大數(shù)據(jù)時(shí)代的數(shù)據(jù)有以下幾個(gè)特征:大體量(Volume)、多樣性(Variety)、大價(jià)值(Value)、時(shí)效性(Velocity)、準(zhǔn)確性(Veracity)的5V特點(diǎn)。常規(guī)的數(shù)據(jù)分析僅僅是對(duì)己有數(shù)據(jù)的靜態(tài)分析,并不能進(jìn)行動(dòng)態(tài)的預(yù)測(cè),而物資系統(tǒng)要求動(dòng)態(tài)實(shí)時(shí)的反應(yīng)生產(chǎn)實(shí)際,所以該系統(tǒng)大數(shù)據(jù)分析的難點(diǎn)是動(dòng)態(tài)化、多維化和深度化。適用于大數(shù)據(jù)的技術(shù),包括大規(guī)模并行處理(Mpp)數(shù)據(jù)庫,數(shù)據(jù)挖掘電網(wǎng),分布式文件系統(tǒng),分布式數(shù)據(jù)庫,云計(jì)算平臺(tái),互聯(lián)和可擴(kuò)展的存儲(chǔ)系統(tǒng)。

　　4 結(jié)語

　　5.1 實(shí)施策略

　　大數(shù)據(jù)平臺(tái)的建設(shè)工作量大、周期長、涉及部門多,系統(tǒng)的實(shí)施應(yīng)遵循統(tǒng)一指揮、統(tǒng)一規(guī)劃的原則,系統(tǒng)實(shí)施過程采用分步建設(shè)、試點(diǎn)先行的原則,在明確分工的基礎(chǔ)上,大力協(xié)同,科學(xué)實(shí)施,確保各項(xiàng)工作的有序推進(jìn)。

　　5.2 項(xiàng)目實(shí)施組織

　　成立物資應(yīng)用大數(shù)據(jù)管理信息系統(tǒng)項(xiàng)目工作組,按照本方案有序推進(jìn)實(shí)施工作。項(xiàng)目工作組負(fù)責(zé)總體指導(dǎo)和統(tǒng)籌協(xié)調(diào),解決系統(tǒng)工程建設(shè)中的重大問題,確保按統(tǒng)一規(guī)劃和建設(shè)標(biāo)準(zhǔn)進(jìn)行實(shí)施;協(xié)調(diào)設(shè)計(jì)單位、相關(guān)接口系統(tǒng)的設(shè)計(jì)開發(fā)單位、業(yè)務(wù)處室和站段直接的分工協(xié)作。

　　成立專家組負(fù)責(zé)業(yè)務(wù)指導(dǎo)和技術(shù)把關(guān),為項(xiàng)目開發(fā)和實(shí)施過程中出現(xiàn)的問題提供咨詢支持。成立項(xiàng)目總體組,負(fù)責(zé)項(xiàng)目總體設(shè)計(jì)、進(jìn)行任務(wù)分工、把握項(xiàng)目進(jìn)度、協(xié)調(diào)項(xiàng)目組內(nèi)部工作等,下設(shè)數(shù)據(jù)組、軟件開發(fā)組與實(shí)施組、質(zhì)量保證組。

　　物資應(yīng)用大數(shù)據(jù)管理信息系統(tǒng)的建設(shè)可以有效地提升物資管理水平,可以對(duì)市場(chǎng)價(jià)格及路局下一階段重要物資的需求有一個(gè)相對(duì)準(zhǔn)確的預(yù)判,根據(jù)大數(shù)據(jù)的預(yù)測(cè)提前部署物資的采購工作,可以保證全局的物資供應(yīng);通過大數(shù)據(jù)平臺(tái)的應(yīng)用可以實(shí)現(xiàn)物資質(zhì)量跟蹤與供應(yīng)商評(píng)價(jià)有機(jī)結(jié)合;實(shí)現(xiàn)對(duì)物資庫存數(shù)據(jù)的挖掘和分析,可以降低庫存物資,減少物資積壓,提高對(duì)廢舊物資的有效利用,對(duì)降低物資消耗有積極作用。

【對(duì)于鐵路物資應(yīng)用大數(shù)據(jù)管理解決方案的研究論文】相關(guān)文章：

對(duì)于鐵路機(jī)車車輛運(yùn)行故障監(jiān)測(cè)診斷技術(shù)的研究與應(yīng)用的分析論文03-15

GPRS技術(shù)在鐵路偏遠(yuǎn)給水所的研究和應(yīng)用論文03-16

鐵路運(yùn)輸節(jié)能技術(shù)的應(yīng)用論文03-17

計(jì)算機(jī)存儲(chǔ)技術(shù)對(duì)GIS數(shù)據(jù)管理的應(yīng)用論文03-08

鐵路施工企業(yè)物資成本控制論文02-23

煤炭企業(yè)物資管理研究的論文11-10

鐵路專用線供電方案研究論文02-14

鐵路項(xiàng)目工程物資管理的相關(guān)問題探討論文03-05

大數(shù)據(jù)制訂鐵路運(yùn)輸物資的調(diào)運(yùn)方案論文02-12