武 偉 金浩 焦書梅 唐偉媛 杜杰
（自動化部）
摘 要：為了積極探索大數(shù)據(jù)在鋼鐵企業(yè)的發(fā)展和應用，充分挖掘現(xiàn)有的信息化系統(tǒng)效益和順應實際業(yè)務需求，研發(fā)了一個數(shù)據(jù)統(tǒng)計管理平臺，對生產(chǎn)管理系統(tǒng)中的有關數(shù)據(jù)進行了二次處理，形成相應的數(shù)據(jù)統(tǒng)計分析報表，供業(yè)務使用。這是在鋼企現(xiàn)有條件下，對大數(shù)據(jù)應用一次有益探索。
關鍵字：大數(shù)據(jù)；平臺
1 前言
近年來大數(shù)據(jù)發(fā)展和應用越來也廣泛，它的價值和效用在各個領域得到體現(xiàn)。作為一家大型綜合型鋼鐵企業(yè)，河鋼邯鋼也在對大數(shù)據(jù)的應用上進行積極的探索和實踐。
大數(shù)據(jù)具備以下特點：數(shù)據(jù)規(guī)模大；數(shù)據(jù)快速增長和及時處理，時效性強；數(shù)據(jù)的多樣性，有不同的表現(xiàn)形式和格式，數(shù)據(jù)來源多；數(shù)據(jù)的價值密度低，單條數(shù)據(jù)并無太多價值，但龐大的數(shù)據(jù)量蘊含巨大財富。鋼鐵企業(yè)在實際生產(chǎn)經(jīng)營過程中，恰恰具備上述數(shù)據(jù)量龐大、數(shù)據(jù)快速增長、數(shù)據(jù)多樣等特點，使得對大數(shù)據(jù)的發(fā)展和應用具有現(xiàn)實條件與實際需要，從而能從大數(shù)據(jù)應用上獲取效益和價值。河鋼邯鋼在發(fā)展和應用大數(shù)據(jù)上一方面根據(jù)生產(chǎn)經(jīng)營的實際需要出發(fā)，另一方面是從按照現(xiàn)有信息化系統(tǒng)實際情況，制定大數(shù)據(jù)發(fā)展方向和計劃，從基礎做起，進行積極探索和嘗試。數(shù)據(jù)統(tǒng)計管理平臺就是在上述要求上對大數(shù)據(jù)應用進行的一次探索，平臺系統(tǒng)主要功能目標是對生產(chǎn)經(jīng)營管理系統(tǒng)中的數(shù)據(jù)進行二次處理，形成數(shù)據(jù)統(tǒng)計分析報表，作為指導生產(chǎn)經(jīng)營的參考和決策的依據(jù)。
2 項目簡介
本項目的主要內(nèi)容是開發(fā)和建設數(shù)據(jù)統(tǒng)計管理平臺網(wǎng)站，實現(xiàn)自動生成生產(chǎn)、質(zhì)量、庫存等數(shù)據(jù)報表。業(yè)務部門使用該平臺后，可以按照時間點或者時間段，根據(jù)業(yè)務規(guī)則快速統(tǒng)計出生產(chǎn)、質(zhì)量、庫存數(shù)據(jù)，不在手工出具報表。本項目從開始立項至全部完成并上線共耗時2個月。系統(tǒng)投入使用后，業(yè)務人員在做統(tǒng)計分析報表時，不再需要從各個管理系統(tǒng)查詢所需數(shù)據(jù)，并將這些數(shù)據(jù)手工計算形成規(guī)范化的數(shù)據(jù)分析報表文件，只需要使用分配用戶權限登陸本平臺，按照時間和業(yè)務類型查詢相關數(shù)據(jù)報表，優(yōu)化了生產(chǎn)部門的工作流程，大大提高了管理水平和工作效率。
3 系統(tǒng)設計與功能介紹
數(shù)據(jù)統(tǒng)計管理平臺主要功能是實現(xiàn)了對各個系統(tǒng)中的有關數(shù)據(jù)進行統(tǒng)一管理，按照業(yè)務規(guī)則，自動生成數(shù)據(jù)報表，供業(yè)務人員使用。數(shù)據(jù)統(tǒng)計管理平臺首先從各個MES系統(tǒng)、一體化經(jīng)營系統(tǒng)統(tǒng)計或抽取相關數(shù)據(jù)，然后根據(jù)業(yè)務規(guī)則對這些數(shù)據(jù)進行二次處理，并按照一定格式保存到平臺數(shù)據(jù)庫。用戶使用分配的用戶名和密碼登陸到網(wǎng)站系統(tǒng)，即可按照時間、產(chǎn)線、業(yè)務類型等維度查詢到報表數(shù)據(jù)，從而形成報表文件供業(yè)務下載使用。
3.1 設計原則
根據(jù)系統(tǒng)的實際情況，充分考慮互聯(lián)網(wǎng)應用的安全性、與內(nèi)部系統(tǒng)的數(shù)據(jù)通訊，整體方案設計將遵循以下設計原則：
3.1.1 安全性
由于系統(tǒng)具有一定特殊性和復雜性，網(wǎng)絡的基本安全在整個網(wǎng)絡的設計中尤為重要。如何有效地實現(xiàn)互聯(lián)網(wǎng)、生產(chǎn)網(wǎng)絡、辦公網(wǎng)絡之間的網(wǎng)絡隔離將是一個涉及系統(tǒng)安全性的重要問題。有效的安全控制將為網(wǎng)絡的正常運行，提供良好的支撐。
3.1.2 可靠性
應從系統(tǒng)結構、設計方案、設備選擇等方面綜合考慮，保證網(wǎng)絡正常運行，盡量減少因局部故障引起整個系統(tǒng)癱瘓。
3.1.3 高可用性
包括應用服務的可用性、網(wǎng)絡的可用性、網(wǎng)絡設備的可用性，網(wǎng)絡設備的可用性是基礎，在此基礎上，網(wǎng)絡的設計和網(wǎng)絡的性能優(yōu)化決定網(wǎng)絡的可用性。
3.1.4 高性能
性能的好壞是評價一個網(wǎng)絡的重要標準。只有一個高性能的網(wǎng)絡才能提供不間斷地、高質(zhì)量的服務。網(wǎng)絡的高性能通過設備高性能的交換和網(wǎng)絡的優(yōu)化來實現(xiàn)。
3.1.5 維護管理
網(wǎng)絡管理是網(wǎng)絡正常運行的核心，因此必須有一個強大的、統(tǒng)一的網(wǎng)管系統(tǒng)支持，提供預警、配置、統(tǒng)計等強大的工具，以便提高解決故障的時效及為網(wǎng)絡優(yōu)化提供數(shù)據(jù)。網(wǎng)管系統(tǒng)應當直觀統(tǒng)一，操作簡單化。
3.2 系統(tǒng)功能模塊
質(zhì)保書管理系統(tǒng)包括通訊模塊、數(shù)據(jù)抽取模塊、業(yè)務模塊、權限管理模塊、日志模塊。
3.2.1 通訊模塊
平臺數(shù)據(jù)來自多個系統(tǒng)，比如MES系統(tǒng)、一體化經(jīng)營管理平臺等，為從這些系統(tǒng)中獲得數(shù)據(jù)，就需要與這些系統(tǒng)通訊。為了保證這些系統(tǒng)的安全性并及時獲取數(shù)據(jù)，開發(fā)出WEBSERVICE、DB_LINK、SCOKET等不同方式的通訊程序?qū)崿F(xiàn)數(shù)據(jù)傳輸。
3.2.2 數(shù)據(jù)抽取模塊
平臺從各個系統(tǒng)采集數(shù)據(jù)時，既要考慮抽取到的數(shù)據(jù)準確完整性，又要考慮各個平臺安全性。從數(shù)據(jù)準確完整性角度考慮，抽取數(shù)據(jù)進行全數(shù)據(jù)抽取，即將各個系統(tǒng)中的數(shù)據(jù)定時全部抽取到本平臺，但是數(shù)據(jù)抽取時間過長，經(jīng)常達到數(shù)小時，長時間占用各系統(tǒng)資源會影響系統(tǒng)的穩(wěn)定運行。所以經(jīng)過綜合分析，決定采取精確抽取和全數(shù)據(jù)抽取相結合的方法來采集數(shù)據(jù)。精確抽取就是按照業(yè)務提供的數(shù)據(jù)項來采集數(shù)據(jù)，并定時完成數(shù)據(jù)的增量和變更；全數(shù)據(jù)抽取主要針對數(shù)據(jù)變化頻繁而數(shù)據(jù)量又較小的系統(tǒng)。采用這種抽取數(shù)據(jù)規(guī)則，最大程度上滿足業(yè)務需求和保證系統(tǒng)穩(wěn)定。
3.2.3 業(yè)務模塊
業(yè)務人員通過內(nèi)網(wǎng)來訪問數(shù)據(jù)統(tǒng)計管理平臺的網(wǎng)站，使用分配給客戶的用戶名和密碼登陸系統(tǒng)，客戶可按照時間、產(chǎn)線、業(yè)務類型查詢出各自授權后的報表數(shù)據(jù)，隨后將其以PDF、EXCEL等格式下載到本地使用。圖1、圖2、圖3、和圖4為操作過程。
圖1操作界面
圖2報表數(shù)據(jù)界面
圖3報表下載界面
圖4下載后的報表文件
3.2.4 權限管理模塊
對于業(yè)務用戶，根據(jù)其業(yè)務流程、業(yè)務功能的不同來分配其權限，防止各種誤操作；對于用戶，根據(jù)其分配的權限，用戶只能通過系統(tǒng)看到自己的數(shù)據(jù)報表信息，保證數(shù)據(jù)的安全性。
3.2.5 日志模塊
每個用戶在系統(tǒng)中的任何操作，比如數(shù)據(jù)抽取、刪除、下載等操作，系統(tǒng)都將這些操作記錄下來，方便系統(tǒng)管理員對用戶的監(jiān)控管理。
4 應用效果
優(yōu)化流程，提高效率。業(yè)務人員在做統(tǒng)計分析報表時，不再需要從各個管理系統(tǒng)查詢所需數(shù)據(jù)，并將這些數(shù)據(jù)手工計算形成規(guī)范化的數(shù)據(jù)分析報表文件，只需要使用分配用戶權限登陸本平臺，按照時間和業(yè)務類型查詢相關數(shù)據(jù)報表，優(yōu)化了生產(chǎn)部門的工作流程，大大提高了管理水平和工作效率。
充分利用信息技術優(yōu)勢，進行大數(shù)據(jù)應用方面探索。利用通訊技術、網(wǎng)聯(lián)網(wǎng)等技術，引進大數(shù)據(jù)概念，有效的從各個系統(tǒng)采集數(shù)據(jù)、管理數(shù)據(jù)，提高了數(shù)據(jù)利用率，在大數(shù)據(jù)應用上進行了有益探索。
5 結語
大數(shù)據(jù)的發(fā)展和應用將是信息化發(fā)展的一個重要方面，如何利用大數(shù)據(jù)，挖掘大數(shù)據(jù)的功能和價值，進而創(chuàng)造效益，這將是重大課題，也是一個漫長過程。作為鋼企，大數(shù)據(jù)的發(fā)展和應用應該從大處著眼，小處著手，從實際需要出發(fā)，利用現(xiàn)有信息化平臺完善基礎，儲備知識，積累經(jīng)驗，從而形成適用于企業(yè)特點的大數(shù)據(jù)平臺，實現(xiàn)信息化的長足發(fā)展，為企業(yè)創(chuàng)在效益。