第三方电子商务大数据分析平台的构建与应用研究
关键词：电子商务；第三方平台；系统设计；大数据分析；中小企业
引言
随着信息技术的进步，各个领域的数据量都在迅猛增长，关于大数据的研究[1-6]正成为热点。大数据时代的到来为电子商务带来观念的转变，促使服务模式的革新[7-9]。在将大数据分析运用于电子商务的网络营销[10]、客户分析[11]、决策支持[12]、物流配送[13]等方面开展了较多的研究，并在谷歌、百度、阿里、腾讯[14-16]等大型公司得到应用，取得了很大的效益。
中小企业占企业数量的绝大多数。但由于技术、资金、数据量和人才等多方面问题，对于绝大多数中小企业而言，自主开展大数据分析应用是很困难的。因此，通过构建第三方电子商务大数据分析平台来帮助中小企业共享大数据分析技术给企业发展带来的巨大优势具有着重要的意义。
1、中小企业电子商务大数据分析的特点
1.1 数据类型多
从数据类型来看，既包括客户订单、采购订单、生产单、仓储记录、BOM单、成本数据等结构化数据，也包括客户信息、访问日志、产品研发设计信息等半结构化数据，还包括客户评价、产品设计图、产品说明书、产品外观图、网店设计界面、客户服务详细记录等非结构化数据。
1.2 数据来源复杂
从数据来源看，所使用的数据既有来自于互联网上不同平台的，也有来自于企业内部信息系统的；既有来自于本企业的，也有来自于竞争对手、供应商、客户等相关企业的。特别是对于结构化和半结构化数据而言，如果数据来源不同，其结构通常也不相同，这增加了数据处理的复杂性。
1.3 数据分析应用具有实时性大数据分析区别于传统数据分析的一个重要特征就是分析处理的实时性，这要求对随时产生的数据进行实时分析以获取所需信息并实时应用。以电子商务推荐为例，一个新的用户注册后应能立即分析其喜好进行产品推荐；一个新产品上线后应能立即分析并推荐给潜在的客户群。
1.4 数据潜在应用价值无法预估传统电子商务数据分析是根据预设目标进行数据采集，无关数据将会被舍弃。而大数据分析收集的是企业的各种数据，所采集存储的数据，其未来可能应用绝不会仅限于最初所设定目标，而且这种潜在的应用会是什么、有多大的价值也是无法预估的。
2、需求分析
2.1 功能需求
（1）决策支持。通过对企业自身数据和行业数据进行分析，可以很好的发现企业在行业中的位置、存在的问题和可能的机会，从而帮助企业正确进行市场定位、产品定位和发展战略制定。
（2）精准营销。通过对客户特性和产品特性进行关联分析，进行个性化产品推荐；通过对购买信息进行聚类分析，更精准的进行客户细分；通过对品牌传播效果进行分析，找准品牌传播方向。
（3）精准设计。通过对用户对产品的喜好数据进行大数据分析，企业可以设计出让客户更满意的产品；并可在个性化产品设计时，通过分析其历史数据做出更符合客户需求的设计。
（4）精益生产。通过大数据分析，企业可以更准确的预测产品需求量，在此基础上组织采购和生产，实现“多品种、小批量”的精益生产，并可以根据个性化产品设计进行个性化产品定制生产。
（5）个性化客户服务。通过大数据分析，企业面向客户服务能够根据客户个体的需求特点快捷的响应和解决客户问题，提升客户服务体验；并可以面向客户提供针对性的特色服务。
2.2 性能要求
（1）满足大数据3V的要求。平台应能支持对ZB级的各种结构化、半结构化和非结构化的原始格式数据进行加载、处理和分析；并能在很高速度（GB/S）的加载过程中集成多个来源的数据，对数据的查询达到亚秒级响应。
（2）满足企业级应用的要求。包括：具有高度的开放性，可以整合不同技术、厂商的工具，能支持多种设备、协议和架构；具有高可扩展性，支持对数据增长和未来新业务响应的扩展；具有高容错性，在单点故障时能够应用的可用性；具有良好的安全性，保证数据和网络的安全，保护个人和企业的隐私；具有良好的可用性，并能在平台上根据个性化需要做二次开发。
3、平台设计
3.1 平台应用架构
平台架构见图1。考虑到平台扩展需要，应采用基于SOA的架构，提供大量标准通用的数据接口和功能组件来支持不同类型应用的扩展。考虑到中小企业对大数据应用既包括通用需求，也包括个性化需求，平台应包含基于PaaS模式的应用开发平台和在此基础上的基于SaaS的应用程序库。
3.2 平台实现框架
我们使用基于Apache开源技术来实现这一平台，见图2。大数据的存储和处理主要通过分布式文件处理系统来实现，主流技术是Hadoop存储 + MapReduce处理。
参考文献：
[1] Chen Y, Alspaugh S, Katz R. Interactive analytical processing in big data systems: A cross-industry study of MapReduce workloads. Proc. of the VLDB Endowment, 2012,5(12): 1802-1813.
[2] CHENG Hongbing, RONG Chunming, HWANG Kai, WANG Weihong, LI Yanyan. Secure Big Data Storage and Sharing Scheme for Cloud Tenants[J]. China Communications, 2015(06): 106-115.
[3] Wenliang Huang, Zhen Chen, Wenyu Dong, Hang Li, Bin Cao, Junwei Cao. Mobile Internet Big Data Platform in China Unicom[J]. Tsinghua Science and Technology, 2014(01): 95-101.
[4] 刘军,李婷婷,程刚,于华,雷振明. 基于大数据分析的移动互联网服务提供商流量挖掘与建模[J]. 中国通信,2013(12): 25-36.
[5] 黄显霞,李挥,张宇蒙,侯韩旭,周泰,郭涵,张华宇. 基于二元再生码的大数据存储系统研究[J]. 计算机研究与发展,2013(S2): 54-63.
[6] 冯芷艳，郭迅华，曾大军等. 大数据背景下商务管理研究若干前沿课题[J].管理科学学报，2013,16(1): 1-9.
[7] 刘志超,陈勇,姚志立. 大数据时代的电子商务服务模式革新[J]. 科技管理研究, 2014(01): 31-34.
[8] 赵佳英,郑称德,殷薇. 我国电子商务商业模式动态演变:基于内容分析法的纵向研究[J]. 情报杂志,2013(03): 189-194+183.
[9] 王惠敏. 大数据背景下电子商务的价值创造与模式创新[J]. 商业经济研究, 2015(07): 76-77.
[10]张才明. 海尔集团婴儿家电的大数据营销[J]. 企业管理，2015 (2):71-73.
[11] 黄昶君,王林. 大数据时代商业银行电子商务零售客户风险评分模型设计框架及实证分析[J]. 投资研究,2014(04): 16-26.
[12] 高永梅,琚春华,鲍福光. 基于大数据的电信领域用户服务模型与数据融合策略研究[J]. 电信科学,2014(07): 62-69.
[13] 魏斐翡. ECLHadoop:基于Hadoop的有效电子商务物流大数据处理策略[J]. 计算机工程与科学,2013(10): 65-71.
[14] 张安琪. 从阿里巴巴淘宝看大数据相关性的营销手段[J]. 新闻研究导刊,2015(01): 85-86.
[15] 刘兵. 大数据网络分析工具上的互联网营销初探——以百度统计为例[J]. 新闻传播,2014(17): 92.
[16] 车凯龙,铁茜. 国内外社交网络(SNS)大数据应用比较研究——以Facebook和腾讯为例[J]. 图书馆学研究,2014(18): 18-23.
作者简介：
彭海静，泰州学院计算机科学与技术学院，硕士，副教授。主要研究方向：信息化与电子商务。