2017-03-10 10:25:02 来源:
“ 深度研报关于美国农业部连载报告告一段落,从今天开始,我们将为大家带来大数据在我国商品交易市场的应用与发展前瞻的报告,感谢大家的支持,敬请关注。 宁波大红鹰学院电子商务学院副院长 邹华胜 大数据产业是指一切与支撑大数据组织管理和价值发现相关的企业经济活动的集合。作为一种新兴的现代服务业,大数据产业主要包括三个方面:1、相关IT硬件与软件的生产、销售和租赁活动;2、大数据平台的运维与管理服务,系统集成、数据安全、云存储等解决方案与相关咨询服务;3、与大数据应用相关的数据租售业务、分析预测服务、决策支持服务、数据分享平台、数据分析平台等。与传统产业相比,大数据产业资源占用少、能耗低、无污染,应用领域广泛,发展空间巨大。 随着互联网技术的广泛应用,数据已不仅仅是一种商业资源,而是全球网络经济竞争的重要战略资源。信息技术与经济社会的交汇融合引发了数据迅猛增长,大数据正日益对全球生产、流通、分配、消费活动以及经济运行机制、社会生活方式和国家治理能力产生重要影响。加快推进大数据在我国商品交易市场中的发展和应用,对促进商品的高效流通,产业结构的调整,以及推动经济的可持续发展,具有十分重要的战略意义和现实意义 当前,大数据在我国商品交易市场的应用日趋活跃。 首先,从宏观层面看,国家相继出台了系列政策扶持大数据产业发展。2015年,国务院印发了《促进大数据发展行动纲要》,对我国大数据产业的发展进行了顶层设计和统筹部署。国家对大数据产业的高度重视,为大数据研究和应用提供了保障;从微观层面看,许多企业已经意识到大数据时代的到来以及所带来的变化和市场预期,并且纷纷开始规划大数据时代企业的未来,例如阿里巴巴已经宣布从IT时代进入DT时代,以找钢网为代表的商品交易平台企业也开始筹划大数据在平台的应用。 其次,近年来,政府对大数据产业的支持力度不断增大,极大地促进了大数据领域研究与应用。从大数据涉及的主要学科领域分布中可以看到,大量文献集中在数据处理系统、性能和算法上,如数据挖掘、机器学习、主成分分析与分类等,其次为神经网络、降维运算、数据存储、关联规则、数据集等,这些都为大数据技术在商品交易市场中的应用积累了丰富经验,打下坚实的技术基础。 再次,我国商品交易市场,尤其是大宗商品交易市场,经过十余年的快速发展,平台中已经沉积了包括商品信息、客户信息、交易信息、物流信息、资金信息以及社交信息、位置信息等海量数据,为商品交易市场的大数据应用创造了条件。同时,商品交易市场数据量的爆发性增长以及数据处理能力需求都迫切需要采用大数据技术,以应对数据增长和数据处理的客观需求。 目前,我国许多商品交易市场平台企业,借助于已有的数据挖掘、分析工具,已经开始利用这些数据进行挖掘、分析,根据分析结果辅助决策、指导生产和销售。有些商品交易平台企业根据用户的购买历史和浏览记录分析出用户的购买喜好,对其进行个性化产品推荐或广告的推送服务,这种有针对性的导购行为极大提高了促销成功率,也节省了大量人力、物力,增加了产品销售量;还有些平台企业利用大数据检索服务挖掘更加细分的服务领域,拓展细分市场等。 相对于大数据的广泛应用领域,以上只是大数据在商品交易市场中应用的冰山一角。虽然受制于数据、技术、市场、人才等多种因素,我国商品交易市场的大数据应用还处于初级发展阶段,但未来的快速发展已势不可挡。 目前,大数据在我国商品交易市场中的应用与发展,主要存在两方面的问题。一是大数据产业在我国仍处于发展初期,大数据应用与我国商品交易市场的融合发展还有待探索;另一方面,商品交易市场在发展大数据应用中,也面临许多亟待解决的问题。 (一)大数据产业所存在的问题制约了商品交易市场大数据的发展 1、大数据企业规模小,竞争力弱,难以形成产业优势 目前,我国大数据企业大概有200多家,以小微企业为主,年销售额达到十亿人民币的企业几乎没有。其中,将近60%的大数据企业集中在北京,人数大多在几十人到几百人,少有千人以上的企业。企业规模过小,行业过于分散,缺乏领军企业,难以形成产业优势,这是制约我国大数据产业发展的重要问题,也是大数据企业在发展中的痛点,更是大数据在我国商品交易市场中应用和发展的难点。 2、外部数据”孤岛”,数据价值较低 我国大数据市场还不成熟。一方面,大数据企业所拥有的数据,大多都是片段的数据,难以形成完整、具有商业价值的数据;另一方面,外部数据大多处于孤岛状态,数据利用率很低。很多需要数据的企业不得不通过多家大数据企业来采购数据,但采购来的数据,往往数据整合的难度较大,整体费用过高。此外,政府部门、金融行业、BAT、电信运营商等拥有大数据资源的部门与企业,其数据一般不对外开放,这也加剧了数据的“孤岛”现象,极大地限制了大数据在我国的应用与普及,同样也对我国商品交易市场开展大数据应用分析形成了阻碍。 3、大数据技术和产品同业务结合深度不够 由于外部数据质量、企业用户数据敏感度、企业管理方式、商业数据人才等问题,大数据解决方案与客户业务结合的深度不够,数据对业务的整体推动效果难以达到预期,这是大数据产业难以爆发的一个痛点,同样也是制约我国商品交易市场大数据应用发展的问题。 一方面,大多数大数据企业对商品交易市场的数据有需求,但是对商品交易市场的业务不熟悉,对数据商业应用的场景以及数据技术了解很少,对商品交易市场数据的商业敏感度很低。另一方面,大数据企业的业务人员由于缺乏相应的数据分析方法和工具,也难以对数据进行深度分析和应用,所提供的数据产品、数据工具或数据技术,与企业的实际业务和需求结合不够紧密,难以迅速帮助企业利用数据提升业务。 4、行业进入门槛高、专业人才缺失 在大数据时代,大数据企业需要的是实时数据和高效的数据工具,以进行预测和决策分析。传统的数据挖掘工具在性能和灵活性等方面已经不能满足需求,非结构化数据应用也对传统数据工具提出了挑战,而专业的大数据分析工具,如SPSS Moderler、SAS、R等,都比较昂贵,一般企业和商品交易市场负担不起。此外,掌握大数据分析工具、了解大数据业务和应用的专业人才缺乏,也难以满足大数据产业发展和商品交易市场大数据应用的现实需求。 (二)商品交易市场大数据应用发展中所面临的问题 从全球范围看,大数据技术已经得到广泛关注和应用,但对大数据认识、研究和应用还都处于初期阶段,一方面由于大数据技术本身还不够成熟,另一方面大数据应用所必须的基本要素,如数据积累、目标市场、所需要的人才等还很欠缺。因此,商品交易市场在开始规划大数据美好蓝图的同时,也必须重视其所面临的问题。 1、投资规模方面的问题 我国商品交易市场等平台企业的经营交易信息,包括商品信息、物流信息,以及用户的社交信息、位置信息等等,其信息量远远超过现有企业IT架构和基础设施的承载能力。同时,在商品交易市场大数据应用中,还面临数据孤岛、数据质量、数据格局等数据治理问题。因此,商品交易市场或大数据企业,在发展大数据业务前,需要对信息系统的规划、投资、建设和未来的收益进行全面评估。 2、技术要求方面的问题 大数据时代下,云计算技术所提供的服务,既包括软件服务和应用平台服务,又包括基础设施服务,但目前我国针对云计算技术服务的管理政策和技术标准尚未建立。大量的数据汇集,包括运营数据、客户信息、个人隐私和各种行为记录,必然涉及数据安全风险和数据隐私泄露风险。商品交易市场大数据的发展,需要提高数据安全技术和隐私保护技术,一方面,防止数据的丢失、被篡改和被窃取,另一方面,也要止出现安全问题和隐私泄露。 3、数据利用方面的问题 一方面,我国政府、企业和行业信息化系统建设缺少统一规划和科学论证,系统之间缺乏统一的标准,形成了众多“信息孤岛”,而且受行政垄断和商业利益所限,数据开放程度较低,数据共享难问题突出,这对我国商品交易市场大数据的广泛利用造成极大障碍。另一方面,丰富的数据资源是大数据产业发展的前提。目前,我国数字化数据资源总量远远低于欧美,每年新增数据量仅为美国的7%,欧洲的12%,其中政府和制造业的数据资源积累远远落后于国外。有限的数据资源,以及数据的标准化、准确性、完整性,也降低了商品交易市场数据的利用价值。 4、专业人才方面的问题 据Gartner预测,2015年,全球将新增440万个与大数据相关的工作岗位。但拥有大数据技能的人才却十分短缺,只有三分之一岗位可以招到胜任的人才。我国目前大数据人才缺口已经超过100万人。缺乏复合型的专业人才也是制约我国商品交易市场大数据应用和发展的瓶颈问题。