职位描述
职位描述：
职位描述:
1、负责业务数据和用户行为日志的实时采集、计算、存储、服务,为业务部门提供直接数据决策;
2、开发可靠、高效、准确的实时和准实时采集和计算代码,并形成整体框架和接口供调用;
3、建立和维护大数据基础设施,解决海量数据存储、计算的问题;
职位要求:
1、掌握实时计算技术体系包括数据采集、计算引擎 storm 、spark streaming、flink等,对实时计算所涉及的事务、容错、可靠性有深入理解 并有实际项目经验；
2、熟悉 hadoop 生态包括 hdfs/mapreduce/hive/hbase,熟悉 flume、kafka 等实时开源工具并有项目经验；
3、熟悉 mysql 等关系型数据库,熟悉 redis 内存数据库,熟悉 linux 系统;
4、熟练使用 sql,熟悉 python、java 等编程语言；
5、有良好的沟通能力和自我驱动动力,具备出色的规划、执行力,强烈的责任感,以及优秀的学习能力。