9月2日,Apache CarbonData+Spark技术交流会在上汽集团车享大楼举行,这是上汽集团首次承办顶尖软件技术论坛。交流会吸引了来自饿了么、携程、百度、英特尔、蚂蚁金服、盛大网络等各家企业的300余人参加。
Apache CarbonData是一种基于索引、面向大数据平台的列式数据格式,具有低时延查询、存储和计算分离的轻量化等特点,由华为技术有限公司大数据团队将其贡献给全球最大开源组织Apache软件基金会社区,这也是中国企业首个贡献给Apache的开源项目。
会上,来自美国Databricks公司、华为、上汽等行业顶尖专家对Spark SQL使用场景介绍、Spark 2.2核心特性CBO(优化器)介绍、CarbonData应用实践等内容进行分享,并帮助关注CarbonData项目的开发者深入了解该技术。
2016年,上汽认识到CarbonData项目在处理海量数据的存储优化和快速挖掘潜在商业机会的重要意义,引入该技术作为上汽大数据平台组件。在合作开发中,上汽大数据团队提升了CarbonData项目的大数据查询性能,并进一步拓展了该项目在汽车行业的应用实践。CarbonData开源项目在今年4月从Apache社区孵化器“毕业”,被认定为Apache顶级项目。上汽数据业务部被Apache CarbonData社区认可为该项目核心代码贡献者,说明上汽在海量数据分布式存储、索引技术、查询技术上的能力得到了行业肯定。上汽大数据团队在互联网开源软件开发上实现突破,这也说明了上汽数据业务部有能力、有技术从系统底层构建满足上汽大数据平台自身需求的分布式文件结构。
据悉,目前上汽数据业务部正针对车联网、未来驾驶应用场景等内容开发自己的开源项目,进一步夯实核心软件开发能力。