ABSTRACT

A great challenge for big-data-driven SCM is its integration in current systems. This paper discuses the necessity to integrate big data in SCM field, then analyzes the main sources and contents of the data in SCM, and probes preliminarily into the methods of its integration so as to provide reference to the application of big data in SCM.

Keywords:Big Data, Supply Chain Management (SCM), Data Integration, Network Sharing

供应链大数据整合与网络共享研究

陈原，刘惠，袁婷

广东工业大学经济与贸易学院，广东 广州

收稿日期：2015年10月25日；录用日期：2015年11月19日；发布日期：2015年11月26日

摘 要

大数据驱动下供应链管理最大挑战是现有系统对大数据的整合。本文分析了供应链大数据整合与网络共享的必要性，对供应链领域数据的主要来源和内容进行了仔细的梳理，并对其大数据整合的方法进行了探讨，以期为大数据在供应链领域的应用提供参考。

关键词 :大数据，供应链管理，数据整合，网络共享

1. 引言

国际数据公司(International Data Corporation, IDC)预测大数据技术和服务市场将以27%的综合增年长速度(Compound Annual Growth Rate, CAGR)增长，到2017年达到324亿美元的规模，其中，某些具有云基础设施产品的行业将以高达49%的CAGR速度增长，可以说，大数据技术和服务市场代表着快速增长的以数十亿计的世界范围内的市场机会 [1] 。大数据的特征是数据量大、数据种类多、非标准化数据的价值最大化，因此，大数据技术的战略意义不在于掌握庞大的数据信息，而在于对这些含有意义的数据进行专业化化处理，通过数据共享、交叉复用后获得最大的数据价值。

近些年来，供应链与大数据管理的关系越来越密切，靠大数据驱动供应链处于领先地位的有45%是零售商，如沃尔玛、亚马逊等；有22%是快速消费品(Fast Moving Consumer Goods, FMCG)行业的企业 [2] 。据2013年10月产业市场研究与分析公司(Industry ARC)的报告“供应链管理中的大数据市场”，服务业、制造业和零售业是在SCM策略中使用大数据最多的产业(如图1)，2018年全球供应链大数据市场将从2012年的大约4.3亿美元增长到37亿美元左右，2013至2018年，全球供应链市场有望创造404亿美元的营业收入，其CAGR约为31.4%，前景诱人 [3] 。

大数据背景下先进的管理理念和信息技术，能够整合物流供应链资源、创新物流供应链服务模式、提升物流供应链服务和管理水平，在供应链中采用大数据工具已越来越多，IBM、惠普、甲骨文、思爱普、EMC和亚马逊等厂商推出了许多大数据软件工具，与现有的ERP、SAP和MES等解决方案的集成性非常高 [3] ，由于数据分析的云端化以及许可和人员数量的减少，成本大幅下降。要更有效地展开发挥大数据工具在供应链中的作用，需要在更广泛的范围上对供应链大数据进行整合与网络共享。

2. 供应链大数据整合与网络共享的必要性

2.1. 供应链大数据整合与网络共享有利于形成供应链内外部一致的数据视图

虽然供应链管理在数据应用方面由来已久，仍存在着一定的问题。供应链不同结点企业各有各的企

图1. 2012年全球供应链管理大数据市场份额(按产业细分)

业信息系统，如生产支撑型、业务支撑型、管理支撑型以及决策分析型等[4] ，在供应链不同管理环节上使用不同的供应链技术，如制造资源计划(MRPII)、准时化技术(JIT)、分销资源计划(DRP)、物流资源计划技术(LBP)、精细生产与物流技术(LP)、企业资源计划(ERP)、制造业物流安全技术等，造成供应链所承载的业务内涵、系统规模、数量和复杂性不断攀升，数据的零散分布、歧义以及供应链管理协调机制和平台的缺乏，严重遏制了数据价值的进一步发挥和增值，造成供应链内外部缺乏完整、一致的企业数据视图，难以根据数据作出正确的判断、决策和快速响应，当然，也遏制了数据价值的完整释放。这就需要对供应链大数据资源进行整合与网络共享。

2.2. 供应链大数据整合与网络共享是供应链生态网络中各主体协调和利益分配优化的基础

随着大数据的兴起和全方位发展，企业供应链的运作趋向于网络化和动态化，横向和纵向的整合成为主旋律。在纵向整合方面，大规模企业群体以供应链为纽带紧密联系，分工协作、互利共生，实现供应链向价值链进而向网络生态链的转变；在横向整合方面，网络化商务模式改变了企业组织间的竞争模式，使地理上异地分布、组织上平等独立的多个企业，在谈判协商的基础上建立密切合作关系，形成动态的“虚拟企业”或“企业联盟”，以实现企业资源的优化、动态组合与共享。由此，有专家指出，大数据背景下商务管理研究的4大前沿课题之一就是企业网络生态系统及其协同共生机制、利益分配等。大数据背景下的供应链管理将逐渐摈弃以产品为中心(Goods-dominant Logic)注重微观层面的产品营销成本和竞争等要素的传统管理模式，转变为以服务为中心(Service-dominant Logic)注重宏观层面的资源能力协同发展价值创造和产业链合作等要素的面向“社会媒体–网民群体–企业群”三位一体和谐共生的企业网络生态系统(Enterprise Ecosystem)的新型管理模式[5] 。

在供应链运营中，来自零售终端售后服务提供商经销商运输商生产商和供应商等各个环节的数据都将成为大数据的一部分，如何通过供应链主体间的协调运作实现这些数据在市场机遇发现与模式创新等方面的价值、在传统的基于批发价的契约机制的基础上供应链主体之间如何实施数据的共享与协同价值创造、以及如何实现大数据驱动的供应链协调运作机制、以及如何应用大数据对物流及供应链进行优化等[4] ，这些大数据环境下供应链生态网络中各主体的协调方式和利益分配优化问题都将以供应链大数据资源进行整合与网络共享为基础。

2.3. 供应链大数据整合与网络共享是进行大数据预测性分析和优化供应链运营管理的需要

制造业从供应链渠道，以及生产现场的仪器或传感器网络收集了大量数据。利用大数据对这些数据库进行更紧密的整合与分析，可帮助改善库存管理、销售与分销流程的效率，以及对设备的连续监控和预测性维护[2] 。例如在预测方面，承运人用来进行交货时间的预测、天气预测、货运司乘人员个性评估、运输天数与运抵日期预测，制造商用来进行提前期预测、客户响应预测，零售商用来进行客户体验预测等；在库存管理方面，承运人用来进行实时库存管理，制造商用来进行供应商库存管理、有效客户响应、快速响应管理，零售商用来进行永续库存系统精确度的提升；在运输管理方面，承运人在综合考虑气候、交通堵塞、货运司乘人员个性等因素的情况下进行路径优化，制造商用来提升车间管理的监测数据，零售商用来将当地交通拥堵、天气情况与门店交通相关联。

在客户关系管理(CRM)方面，可在数据质量有保障的前提下，对供应链内各结点企业的大量历史数据采用商业智能、数据挖掘、预测等技术手段，迅速发现问题和化解问题，发现事物发展的深层次规律和关联，例如客户偏好、收入预测、客户流失倾向预测等[4] ，利用来源广泛的细分单元销售(Granular Sales)数据，在贸易伙伴之间，提高一方对信息的能见度，同时提高另一方的可信度，利用采购方的位置和时间戳进行合作匹配和销售决策等。大数据使用得当，可为供应链管理提供出色答案，为企业提供决策支持，从而节省时间与金钱，在竞争中保持领先地位。

3. 供应链大数据的来源与内容分析

供应链领域的数据越来越多，呈现了大数据的3V特性(如表1)，即量大(Volume)、种类繁多(Variety)和数量增速快(Velocity)的几大特性，其中一个很重要的原因是供应链中的数据收集包含更多的内容，例如，在常规记录某地点销售商品品名、数量、价格、客户名等信息时，还会有销售时间、销售当时的库存量等信息；再如，有的公司现在不按销售地点来做每天的销售盘点，而是按库存单元来进行日盘点，以便于库存决策；在物流装备方面，涉及起重机、输送机、取料机、装载机、卸载机、叉车、牵引车、正面吊、跨运车、仓库、货架、托盘、集装箱、容器等通用设备，设备特点、用途、工作原理、设计准则、产品结构、型号与规格、性能参数、标准参数、适用场合等数据也很庞杂。更不用说漫长的跨国供应链，其数据是在供应链上多结点抓取的，加上微博、大众点评等网上客户体验数据的扩散，供应链上需要分析和量化处理的数据越来越多。仅从供应链的采购环节看，其现阶段大数据的获取方式主要有传感器技术、web2.0技术、条形码技术、RFID技术、移动终端技术等 [6] 。供应链大数据的主要来源及其描述具体如表1。

4. 供应链大数据整合与网络共享的方法探讨

整合可以理解为由两个或两个以上事物、现象、过程、属性、关系、信息、能量等在符合一定条件、要求的前提下，融合、聚合或重组成一个较大整体的发展过程及其结果，其实质在于涵盖了整合后系统内部的功能和各要素之间的关系 [9] 。

表1. 供应链大数据主要来源及其描述[7] [8]

数据整合的方法直接影响数据的组织、生产、交换和共享的效率和质量。在对供应链领域展开数据整合时，首先对结构化数据进行整合化处理，包括[8] ：(1) 统一的元数据标准。元数据是对数据资源的规范化描述，用于描述数据内容、质量等信息和数据的组织结构等元数据。标准是数据整理、建库、汇编、发布的标准格式，采用统一的元数据标准进行数据整合可提高数据库的建库质量，使数据资源整合达到规范化、标准化。例如标准化的物品编码不仅在大数据分析中起到重要的信息汇聚作用，还能提升数据间的关联性，降低数据分析的复杂度，大幅提高大数据分析的准确性。(2) 统一规则的数据编码。在元数据标准基础上，确定领域编码，对数据进行整合。原有数据无论是数据质量、格式还是数据组织结构、字段命名规则等都存在差异，需采用统一的编码规则进行标准化整合，确保数据的唯一性，提高数据整合的效率和质量。(3) 统一的数据录入管理软件。为用户提供多种数据格式的导入与导出、数据动态查询与统计等功能，在编码唯一的前提下，进行多文件数据汇总和数据校验，保证数据录入的规范化及统一性，有利于数据管理与使用。

对结构化数据和非结构化的整合则采用文献[9] 中的重组整合或一体化综合整合方式进行整合。重组整合是通过对数字资源的分解重组，按其逻辑关系组织成立体网状的知识资源系统，支持对知识和数字化资源的采集、加工、处理、存储、归档、组织、发布和利用等的全过程，是包含建设体系、存储与管理体系、用户服务体系3大模块对基础平台。该方式能整合多种媒体多种渠道的数据，包括文字信、图像、音频、视频等不同载体、不同介质的数据；剔除冗余、重复和劣质信息，对数字资源内容与结构进行新的聚类和重组；实现不同类型、不同级次(一手和二手)资源间的链接，保持数据的整体性和关联性，形成具有新的组织结构和功能的资源系统。一体化综合整合方式的关键则是实现各应用系统之间的技术兼容、元数据之间以及与其他资源对象之间的互操作，以形成更为优化的数据整合系统。

供应链的有效运行建立在SCM系统对供应链工作流程集成管理的基础上，基于多agent的工作流技术在一定程度上能提高供应链的敏捷性[10] ，但无法解决日趋庞大的数据及其处理效率问题。而云计算环境下的工作流管理系统，适合支持需要高效的计算性能和大规模存储的跨组织业务协作[11] ，有效防止供应链合作伙伴在数据中心能力方面进行过度投资，因此，云计算成为为供应链大数据整合与共享不可或缺的技术之一，文献[12] 阐述了基于云环境中应用工作流技术的可行性，并提出了其应用场景。

在大数据共享方面，供应链数据中心的大数据将由云来替代传统存储来进行处理[6] 。云供应链平台是指基于云计算应用模式、利用大数据和通信网络技术，提供供应链产品信息、技术、设备等数据网络共享服务的信息平台。在云平台上，所有的结点企业、行业协会、管理机构、行业媒体、法律机构等都集中整合成资源池，依靠大数据处理能力、标准的作业流程、灵活的业务覆盖、精确的环节控制、智能的决策支持及深入的信息共享来完成供应链各环节所需要的信息化要求，面向社会用户提供信息服务、管理服务、技术服务和交易服务[13] ；同时，各种资源相互展示和互动，按需交流，达成意向，减少资源浪费，降低成本，提高效率。

北美以及欧洲的金融服务、零售、高新技术、食品、医药等行业通过各种形式，积极建立基于云计算的供应链云解决方案[14] 。目前的供应链云框架大都建立在Map/Reduce分布式并行编程模型和Hadoop的大数据集群应用策略之上[15] [16] ，以实现基于工作流和组件复用的大数据处理应用的协同。当然，根据不同的供应链大数据项目的实际需求，需要对大数据处理组件集成的开发环境、大数据处理应用模板的开发工具、大数据处理应用执行计划的配置工具及基础数据处理组件库、系统管理工具、基于工作流的大数据处理应用执行算法等进行深入的研究和科学的设计。

文章引用

陈 原,刘 惠,袁 婷. 供应链大数据整合与网络共享研究
Study on Integration & Network Sharing of Big Data in Supply Chain Management Field[J]. 数据挖掘, 2015, 05(04): 75-80. http://dx.doi.org/10.12677/HJDM.2015.54011

参考文献 (References)