武 偉 金浩 焦書梅 唐偉媛 杜杰
（自動化部）
摘 要：為了積極探索大數據在鋼鐵企業的發展和應用，充分挖掘現有的信息化系統效益和順應實際業務需求，研發了一個數據統計管理平臺，對生產管理系統中的有關數據進行了二次處理，形成相應的數據統計分析報表，供業務使用。這是在鋼企現有條件下，對大數據應用一次有益探索。
關鍵字：大數據；平臺
1 前言
近年來大數據發展和應用越來也廣泛，它的價值和效用在各個領域得到體現。作為一家大型綜合型鋼鐵企業，河鋼邯鋼也在對大數據的應用上進行積極的探索和實踐。
大數據具備以下特點：數據規模大；數據快速增長和及時處理，時效性強；數據的多樣性，有不同的表現形式和格式，數據來源多；數據的價值密度低，單條數據并無太多價值，但龐大的數據量蘊含巨大財富。鋼鐵企業在實際生產經營過程中，恰恰具備上述數據量龐大、數據快速增長、數據多樣等特點，使得對大數據的發展和應用具有現實條件與實際需要，從而能從大數據應用上獲取效益和價值。河鋼邯鋼在發展和應用大數據上一方面根據生產經營的實際需要出發，另一方面是從按照現有信息化系統實際情況，制定大數據發展方向和計劃，從基礎做起，進行積極探索和嘗試。數據統計管理平臺就是在上述要求上對大數據應用進行的一次探索，平臺系統主要功能目標是對生產經營管理系統中的數據進行二次處理，形成數據統計分析報表，作為指導生產經營的參考和決策的依據。
2 項目簡介
本項目的主要內容是開發和建設數據統計管理平臺網站，實現自動生成生產、質量、庫存等數據報表。業務部門使用該平臺后，可以按照時間點或者時間段，根據業務規則快速統計出生產、質量、庫存數據，不在手工出具報表。本項目從開始立項至全部完成并上線共耗時2個月。系統投入使用后，業務人員在做統計分析報表時，不再需要從各個管理系統查詢所需數據，并將這些數據手工計算形成規范化的數據分析報表文件，只需要使用分配用戶權限登陸本平臺，按照時間和業務類型查詢相關數據報表，優化了生產部門的工作流程，大大提高了管理水平和工作效率。
3 系統設計與功能介紹
數據統計管理平臺主要功能是實現了對各個系統中的有關數據進行統一管理，按照業務規則，自動生成數據報表，供業務人員使用。數據統計管理平臺首先從各個MES系統、一體化經營系統統計或抽取相關數據，然后根據業務規則對這些數據進行二次處理，并按照一定格式保存到平臺數據庫。用戶使用分配的用戶名和密碼登陸到網站系統，即可按照時間、產線、業務類型等維度查詢到報表數據，從而形成報表文件供業務下載使用。
3.1 設計原則
根據系統的實際情況，充分考慮互聯網應用的安全性、與內部系統的數據通訊，整體方案設計將遵循以下設計原則：
3.1.1 安全性
由于系統具有一定特殊性和復雜性，網絡的基本安全在整個網絡的設計中尤為重要。如何有效地實現互聯網、生產網絡、辦公網絡之間的網絡隔離將是一個涉及系統安全性的重要問題。有效的安全控制將為網絡的正常運行，提供良好的支撐。
3.1.2 可靠性
應從系統結構、設計方案、設備選擇等方面綜合考慮，保證網絡正常運行，盡量減少因局部故障引起整個系統癱瘓。
3.1.3 高可用性
包括應用服務的可用性、網絡的可用性、網絡設備的可用性，網絡設備的可用性是基礎，在此基礎上，網絡的設計和網絡的性能優化決定網絡的可用性。
3.1.4 高性能
性能的好壞是評價一個網絡的重要標準。只有一個高性能的網絡才能提供不間斷地、高質量的服務。網絡的高性能通過設備高性能的交換和網絡的優化來實現。
3.1.5 維護管理
網絡管理是網絡正常運行的核心，因此必須有一個強大的、統一的網管系統支持，提供預警、配置、統計等強大的工具，以便提高解決故障的時效及為網絡優化提供數據。網管系統應當直觀統一，操作簡單化。
3.2 系統功能模塊
質保書管理系統包括通訊模塊、數據抽取模塊、業務模塊、權限管理模塊、日志模塊。
3.2.1 通訊模塊
平臺數據來自多個系統，比如MES系統、一體化經營管理平臺等，為從這些系統中獲得數據，就需要與這些系統通訊。為了保證這些系統的安全性并及時獲取數據，開發出WEBSERVICE、DB_LINK、SCOKET等不同方式的通訊程序實現數據傳輸。
3.2.2 數據抽取模塊
平臺從各個系統采集數據時，既要考慮抽取到的數據準確完整性，又要考慮各個平臺安全性。從數據準確完整性角度考慮，抽取數據進行全數據抽取，即將各個系統中的數據定時全部抽取到本平臺，但是數據抽取時間過長，經常達到數小時，長時間占用各系統資源會影響系統的穩定運行。所以經過綜合分析，決定采取精確抽取和全數據抽取相結合的方法來采集數據。精確抽取就是按照業務提供的數據項來采集數據，并定時完成數據的增量和變更；全數據抽取主要針對數據變化頻繁而數據量又較小的系統。采用這種抽取數據規則，最大程度上滿足業務需求和保證系統穩定。
3.2.3 業務模塊
業務人員通過內網來訪問數據統計管理平臺的網站，使用分配給客戶的用戶名和密碼登陸系統，客戶可按照時間、產線、業務類型查詢出各自授權后的報表數據，隨后將其以PDF、EXCEL等格式下載到本地使用。圖1、圖2、圖3、和圖4為操作過程。
圖1操作界面
圖2報表數據界面
圖3報表下載界面
圖4下載后的報表文件
3.2.4 權限管理模塊
對于業務用戶，根據其業務流程、業務功能的不同來分配其權限，防止各種誤操作；對于用戶，根據其分配的權限，用戶只能通過系統看到自己的數據報表信息，保證數據的安全性。
3.2.5 日志模塊
每個用戶在系統中的任何操作，比如數據抽取、刪除、下載等操作，系統都將這些操作記錄下來，方便系統管理員對用戶的監控管理。
4 應用效果
優化流程，提高效率。業務人員在做統計分析報表時，不再需要從各個管理系統查詢所需數據，并將這些數據手工計算形成規范化的數據分析報表文件，只需要使用分配用戶權限登陸本平臺，按照時間和業務類型查詢相關數據報表，優化了生產部門的工作流程，大大提高了管理水平和工作效率。
充分利用信息技術優勢，進行大數據應用方面探索。利用通訊技術、網聯網等技術，引進大數據概念，有效的從各個系統采集數據、管理數據，提高了數據利用率，在大數據應用上進行了有益探索。
5 結語
大數據的發展和應用將是信息化發展的一個重要方面，如何利用大數據，挖掘大數據的功能和價值，進而創造效益，這將是重大課題，也是一個漫長過程。作為鋼企，大數據的發展和應用應該從大處著眼，小處著手，從實際需要出發，利用現有信息化平臺完善基礎，儲備知識，積累經驗，從而形成適用于企業特點的大數據平臺，實現信息化的長足發展，為企業創在效益。