职位描述
1.负责公司大数据业务集群(HadoopHbaseHiveYarnSparkimpalakudu等)的运维工作,确保集群环境的稳定可用 2.负责集群容量规划、扩容及性能优化
3.负责大数据集群性能监控与优化,故障处理,数据备份及容灾恢复,集群出现异常时,能快速定位问题,并及时给出解决方案
4.设计实现大规模分布式集群的运维、监控和管理平台
5.参与主导业务架构设计,在设计阶段给出可运维性改进建议
6.负责大数据平台运维规划,深入研究大数据业务相关运维技术,持续优化集群服务架构,探索新的大数据运维技术及发展方向。
任职要求: 1.计算机及相关专业本科及以上学历
2.2年以上运维、开发或系统管理经验,大数据平台运维或开发经验优先
3.熟悉Shell,Python至少一种脚本语言熟悉UNIXLINUX操作系统的使用
4.熟悉ClouderaHadoop的管理和维护、有实际集群扩容,数据恢复,调优经验尤佳
5.熟悉Hadoop,Mapreduce,Hive,HBase,Yarn,Spark,Kafka,Storm等技术,熟悉各组件的适用场景,至少3年以上产品平台维护经验
6.具备至少30台服务器的hadoop集群管理经验 7.具有良好的学习能力、沟通能力、团队合作能力及适应能力强烈的主动性和责任心,自我驱动成长。