2016年8月13日,YOCSEF长沙在湖南大学信息科学与工程学院成功举办“基于云的并行分布式数据处理技术”专题报告会。本次活动得到YOCSEF各分论坛、YOCSEF长沙会员的支持,来自北京并行科技、蓝盾股份、深圳证通电子、芒果TV等企业代表、YOCSEF长沙会员代表和湖南大学信息科学与工程学院的师生参加了本次活动。
本次特邀湖南大学信息科学与工程学院唐卓博士进行了“Spark体系结构研究及其在工业大数据中的应用实践”的主题报告,报告首先从Spark总体流程、核心模块实现、应用库、与Hadoop的对比分析等方面来介绍Spark的基本框架和工作原理;接着介绍在Spark Shuffle过程中针对reduce任务数据量的负载均衡优化中所做的工作,以及在基于Spark+Redis+HDFS所完成的工业大数据并行处理云服务平台中所完成的具体工作。
深圳市证通电子股份有限公司首席技术总监秦云川博士作了“BotsYun机器互联中心架构与模式”主题报告, BotsYun机器互联中心为多样化服务终端提供统一全生命周期管理平台,支持各种不同业务软件的运行,缩短集成和开发时间。采用了基于PaaS的云计算模式,客户可以便捷快速地开发和部署应用。平台统一的数据模型,可支持各类型终端的接入,进行统一集中管理,节省企业开发多套管理平台的投入成本。通过虚拟化技术、提供开放的API接口,使各行各业的第三方业务系统都能方便快捷地接入集成,给企业提供业务拓展、外部联盟创新的平台。
来自芒果TV的高级架构师冯本明报告了“湖南卫视芒果直播系统后台业务架构”,介绍了芒果超级女声直播APP后台业务系统的技术内幕,以及如何基于阿里云来实现数据库、本地缓存、Redis缓存、MQ消息、分布式业务架构等方面的系统优化,实现芒果超级女声直播APP的后台业务系统能有效支撑亿级用户的高并发量访问。
云计算的发展和成熟为大数据的采集、存储和处理提供了分布式的文件系统和并行编程环境,也为基于机器学习的数据分析技术提供了计算能力的支撑。本次专题报告会邀请国内外学术界和企业界的专家学者,从不同视角进行深入探讨和分析基于云计算的并行分布式数据处理技术及其在产业界的应用情况,取得良好的效果,引起了现场的热烈讨论。
唐卓博士做主题报告
秦云川博士做主题报告
冯本明高级架构师做主题报告
部分与会人员合影
所有评论仅代表网友意见