武 偉 金浩 焦書梅 唐偉媛 杜杰
（自動(dòng)化部）
摘 要：為了積極探索大數(shù)據(jù)在鋼鐵企業(yè)的發(fā)展和應(yīng)用，充分挖掘現(xiàn)有的信息化系統(tǒng)效益和順應(yīng)實(shí)際業(yè)務(wù)需求，研發(fā)了一個(gè)數(shù)據(jù)統(tǒng)計(jì)管理平臺(tái)，對(duì)生產(chǎn)管理系統(tǒng)中的有關(guān)數(shù)據(jù)進(jìn)行了二次處理，形成相應(yīng)的數(shù)據(jù)統(tǒng)計(jì)分析報(bào)表，供業(yè)務(wù)使用。這是在鋼企現(xiàn)有條件下，對(duì)大數(shù)據(jù)應(yīng)用一次有益探索。
關(guān)鍵字：大數(shù)據(jù)；平臺(tái)
1 前言
近年來(lái)大數(shù)據(jù)發(fā)展和應(yīng)用越來(lái)也廣泛，它的價(jià)值和效用在各個(gè)領(lǐng)域得到體現(xiàn)。作為一家大型綜合型鋼鐵企業(yè)，河鋼邯鋼也在對(duì)大數(shù)據(jù)的應(yīng)用上進(jìn)行積極的探索和實(shí)踐。
大數(shù)據(jù)具備以下特點(diǎn)：數(shù)據(jù)規(guī)模大；數(shù)據(jù)快速增長(zhǎng)和及時(shí)處理，時(shí)效性強(qiáng)；數(shù)據(jù)的多樣性，有不同的表現(xiàn)形式和格式，數(shù)據(jù)來(lái)源多；數(shù)據(jù)的價(jià)值密度低，單條數(shù)據(jù)并無(wú)太多價(jià)值，但龐大的數(shù)據(jù)量蘊(yùn)含巨大財(cái)富。鋼鐵企業(yè)在實(shí)際生產(chǎn)經(jīng)營(yíng)過程中，恰恰具備上述數(shù)據(jù)量龐大、數(shù)據(jù)快速增長(zhǎng)、數(shù)據(jù)多樣等特點(diǎn)，使得對(duì)大數(shù)據(jù)的發(fā)展和應(yīng)用具有現(xiàn)實(shí)條件與實(shí)際需要，從而能從大數(shù)據(jù)應(yīng)用上獲取效益和價(jià)值。河鋼邯鋼在發(fā)展和應(yīng)用大數(shù)據(jù)上一方面根據(jù)生產(chǎn)經(jīng)營(yíng)的實(shí)際需要出發(fā)，另一方面是從按照現(xiàn)有信息化系統(tǒng)實(shí)際情況，制定大數(shù)據(jù)發(fā)展方向和計(jì)劃，從基礎(chǔ)做起，進(jìn)行積極探索和嘗試。數(shù)據(jù)統(tǒng)計(jì)管理平臺(tái)就是在上述要求上對(duì)大數(shù)據(jù)應(yīng)用進(jìn)行的一次探索，平臺(tái)系統(tǒng)主要功能目標(biāo)是對(duì)生產(chǎn)經(jīng)營(yíng)管理系統(tǒng)中的數(shù)據(jù)進(jìn)行二次處理，形成數(shù)據(jù)統(tǒng)計(jì)分析報(bào)表，作為指導(dǎo)生產(chǎn)經(jīng)營(yíng)的參考和決策的依據(jù)。
2 項(xiàng)目簡(jiǎn)介
本項(xiàng)目的主要內(nèi)容是開發(fā)和建設(shè)數(shù)據(jù)統(tǒng)計(jì)管理平臺(tái)網(wǎng)站，實(shí)現(xiàn)自動(dòng)生成生產(chǎn)、質(zhì)量、庫(kù)存等數(shù)據(jù)報(bào)表。業(yè)務(wù)部門使用該平臺(tái)后，可以按照時(shí)間點(diǎn)或者時(shí)間段，根據(jù)業(yè)務(wù)規(guī)則快速統(tǒng)計(jì)出生產(chǎn)、質(zhì)量、庫(kù)存數(shù)據(jù)，不在手工出具報(bào)表。本項(xiàng)目從開始立項(xiàng)至全部完成并上線共耗時(shí)2個(gè)月。系統(tǒng)投入使用后，業(yè)務(wù)人員在做統(tǒng)計(jì)分析報(bào)表時(shí)，不再需要從各個(gè)管理系統(tǒng)查詢所需數(shù)據(jù)，并將這些數(shù)據(jù)手工計(jì)算形成規(guī)范化的數(shù)據(jù)分析報(bào)表文件，只需要使用分配用戶權(quán)限登陸本平臺(tái)，按照時(shí)間和業(yè)務(wù)類型查詢相關(guān)數(shù)據(jù)報(bào)表，優(yōu)化了生產(chǎn)部門的工作流程，大大提高了管理水平和工作效率。
3 系統(tǒng)設(shè)計(jì)與功能介紹
數(shù)據(jù)統(tǒng)計(jì)管理平臺(tái)主要功能是實(shí)現(xiàn)了對(duì)各個(gè)系統(tǒng)中的有關(guān)數(shù)據(jù)進(jìn)行統(tǒng)一管理，按照業(yè)務(wù)規(guī)則，自動(dòng)生成數(shù)據(jù)報(bào)表，供業(yè)務(wù)人員使用。數(shù)據(jù)統(tǒng)計(jì)管理平臺(tái)首先從各個(gè)MES系統(tǒng)、一體化經(jīng)營(yíng)系統(tǒng)統(tǒng)計(jì)或抽取相關(guān)數(shù)據(jù)，然后根據(jù)業(yè)務(wù)規(guī)則對(duì)這些數(shù)據(jù)進(jìn)行二次處理，并按照一定格式保存到平臺(tái)數(shù)據(jù)庫(kù)。用戶使用分配的用戶名和密碼登陸到網(wǎng)站系統(tǒng)，即可按照時(shí)間、產(chǎn)線、業(yè)務(wù)類型等維度查詢到報(bào)表數(shù)據(jù)，從而形成報(bào)表文件供業(yè)務(wù)下載使用。
3.1 設(shè)計(jì)原則
根據(jù)系統(tǒng)的實(shí)際情況，充分考慮互聯(lián)網(wǎng)應(yīng)用的安全性、與內(nèi)部系統(tǒng)的數(shù)據(jù)通訊，整體方案設(shè)計(jì)將遵循以下設(shè)計(jì)原則：
3.1.1 安全性
由于系統(tǒng)具有一定特殊性和復(fù)雜性，網(wǎng)絡(luò)的基本安全在整個(gè)網(wǎng)絡(luò)的設(shè)計(jì)中尤為重要。如何有效地實(shí)現(xiàn)互聯(lián)網(wǎng)、生產(chǎn)網(wǎng)絡(luò)、辦公網(wǎng)絡(luò)之間的網(wǎng)絡(luò)隔離將是一個(gè)涉及系統(tǒng)安全性的重要問題。有效的安全控制將為網(wǎng)絡(luò)的正常運(yùn)行，提供良好的支撐。
3.1.2 可靠性
應(yīng)從系統(tǒng)結(jié)構(gòu)、設(shè)計(jì)方案、設(shè)備選擇等方面綜合考慮，保證網(wǎng)絡(luò)正常運(yùn)行，盡量減少因局部故障引起整個(gè)系統(tǒng)癱瘓。
3.1.3 高可用性
包括應(yīng)用服務(wù)的可用性、網(wǎng)絡(luò)的可用性、網(wǎng)絡(luò)設(shè)備的可用性，網(wǎng)絡(luò)設(shè)備的可用性是基礎(chǔ)，在此基礎(chǔ)上，網(wǎng)絡(luò)的設(shè)計(jì)和網(wǎng)絡(luò)的性能優(yōu)化決定網(wǎng)絡(luò)的可用性。
3.1.4 高性能
性能的好壞是評(píng)價(jià)一個(gè)網(wǎng)絡(luò)的重要標(biāo)準(zhǔn)。只有一個(gè)高性能的網(wǎng)絡(luò)才能提供不間斷地、高質(zhì)量的服務(wù)。網(wǎng)絡(luò)的高性能通過設(shè)備高性能的交換和網(wǎng)絡(luò)的優(yōu)化來(lái)實(shí)現(xiàn)。
3.1.5 維護(hù)管理
網(wǎng)絡(luò)管理是網(wǎng)絡(luò)正常運(yùn)行的核心，因此必須有一個(gè)強(qiáng)大的、統(tǒng)一的網(wǎng)管系統(tǒng)支持，提供預(yù)警、配置、統(tǒng)計(jì)等強(qiáng)大的工具，以便提高解決故障的時(shí)效及為網(wǎng)絡(luò)優(yōu)化提供數(shù)據(jù)。網(wǎng)管系統(tǒng)應(yīng)當(dāng)直觀統(tǒng)一，操作簡(jiǎn)單化。
3.2 系統(tǒng)功能模塊
質(zhì)保書管理系統(tǒng)包括通訊模塊、數(shù)據(jù)抽取模塊、業(yè)務(wù)模塊、權(quán)限管理模塊、日志模塊。
3.2.1 通訊模塊
平臺(tái)數(shù)據(jù)來(lái)自多個(gè)系統(tǒng)，比如MES系統(tǒng)、一體化經(jīng)營(yíng)管理平臺(tái)等，為從這些系統(tǒng)中獲得數(shù)據(jù)，就需要與這些系統(tǒng)通訊。為了保證這些系統(tǒng)的安全性并及時(shí)獲取數(shù)據(jù)，開發(fā)出WEBSERVICE、DB_LINK、SCOKET等不同方式的通訊程序?qū)崿F(xiàn)數(shù)據(jù)傳輸。
3.2.2 數(shù)據(jù)抽取模塊
平臺(tái)從各個(gè)系統(tǒng)采集數(shù)據(jù)時(shí)，既要考慮抽取到的數(shù)據(jù)準(zhǔn)確完整性，又要考慮各個(gè)平臺(tái)安全性。從數(shù)據(jù)準(zhǔn)確完整性角度考慮，抽取數(shù)據(jù)進(jìn)行全數(shù)據(jù)抽取，即將各個(gè)系統(tǒng)中的數(shù)據(jù)定時(shí)全部抽取到本平臺(tái)，但是數(shù)據(jù)抽取時(shí)間過長(zhǎng)，經(jīng)常達(dá)到數(shù)小時(shí)，長(zhǎng)時(shí)間占用各系統(tǒng)資源會(huì)影響系統(tǒng)的穩(wěn)定運(yùn)行。所以經(jīng)過綜合分析，決定采取精確抽取和全數(shù)據(jù)抽取相結(jié)合的方法來(lái)采集數(shù)據(jù)。精確抽取就是按照業(yè)務(wù)提供的數(shù)據(jù)項(xiàng)來(lái)采集數(shù)據(jù)，并定時(shí)完成數(shù)據(jù)的增量和變更；全數(shù)據(jù)抽取主要針對(duì)數(shù)據(jù)變化頻繁而數(shù)據(jù)量又較小的系統(tǒng)。采用這種抽取數(shù)據(jù)規(guī)則，最大程度上滿足業(yè)務(wù)需求和保證系統(tǒng)穩(wěn)定。
3.2.3 業(yè)務(wù)模塊
業(yè)務(wù)人員通過內(nèi)網(wǎng)來(lái)訪問數(shù)據(jù)統(tǒng)計(jì)管理平臺(tái)的網(wǎng)站，使用分配給客戶的用戶名和密碼登陸系統(tǒng)，客戶可按照時(shí)間、產(chǎn)線、業(yè)務(wù)類型查詢出各自授權(quán)后的報(bào)表數(shù)據(jù)，隨后將其以PDF、EXCEL等格式下載到本地使用。圖1、圖2、圖3、和圖4為操作過程。
圖1操作界面
圖2報(bào)表數(shù)據(jù)界面
圖3報(bào)表下載界面
圖4下載后的報(bào)表文件
3.2.4 權(quán)限管理模塊
對(duì)于業(yè)務(wù)用戶，根據(jù)其業(yè)務(wù)流程、業(yè)務(wù)功能的不同來(lái)分配其權(quán)限，防止各種誤操作；對(duì)于用戶，根據(jù)其分配的權(quán)限，用戶只能通過系統(tǒng)看到自己的數(shù)據(jù)報(bào)表信息，保證數(shù)據(jù)的安全性。
3.2.5 日志模塊
每個(gè)用戶在系統(tǒng)中的任何操作，比如數(shù)據(jù)抽取、刪除、下載等操作，系統(tǒng)都將這些操作記錄下來(lái)，方便系統(tǒng)管理員對(duì)用戶的監(jiān)控管理。
4 應(yīng)用效果
優(yōu)化流程，提高效率。業(yè)務(wù)人員在做統(tǒng)計(jì)分析報(bào)表時(shí)，不再需要從各個(gè)管理系統(tǒng)查詢所需數(shù)據(jù)，并將這些數(shù)據(jù)手工計(jì)算形成規(guī)范化的數(shù)據(jù)分析報(bào)表文件，只需要使用分配用戶權(quán)限登陸本平臺(tái)，按照時(shí)間和業(yè)務(wù)類型查詢相關(guān)數(shù)據(jù)報(bào)表，優(yōu)化了生產(chǎn)部門的工作流程，大大提高了管理水平和工作效率。
充分利用信息技術(shù)優(yōu)勢(shì)，進(jìn)行大數(shù)據(jù)應(yīng)用方面探索。利用通訊技術(shù)、網(wǎng)聯(lián)網(wǎng)等技術(shù)，引進(jìn)大數(shù)據(jù)概念，有效的從各個(gè)系統(tǒng)采集數(shù)據(jù)、管理數(shù)據(jù)，提高了數(shù)據(jù)利用率，在大數(shù)據(jù)應(yīng)用上進(jìn)行了有益探索。
5 結(jié)語(yǔ)
大數(shù)據(jù)的發(fā)展和應(yīng)用將是信息化發(fā)展的一個(gè)重要方面，如何利用大數(shù)據(jù)，挖掘大數(shù)據(jù)的功能和價(jià)值，進(jìn)而創(chuàng)造效益，這將是重大課題，也是一個(gè)漫長(zhǎng)過程。作為鋼企，大數(shù)據(jù)的發(fā)展和應(yīng)用應(yīng)該從大處著眼，小處著手，從實(shí)際需要出發(fā)，利用現(xiàn)有信息化平臺(tái)完善基礎(chǔ)，儲(chǔ)備知識(shí)，積累經(jīng)驗(yàn)，從而形成適用于企業(yè)特點(diǎn)的大數(shù)據(jù)平臺(tái)，實(shí)現(xiàn)信息化的長(zhǎng)足發(fā)展，為企業(yè)創(chuàng)在效益。