大数据架构师需要掌握哪些基础技能?
想成为年薪50k的大数据架构师不是没有可能,只要你掌握了以下技能:
1)掌握分布式系统原
大数据架构就是:在总体框架的大数据处理中的组织。涵盖了数据源,存储格式,分析工具和报告方法。 想成为年薪50k的大数据架构师不是没有可能,只要你掌握了以下技能: 1)掌握分布式系统原理,熟悉主流云平台结构及技术特性,对存储、计算、消息队列、集群管理、虚拟化等技术有深入的理解和认识,对IaaS / PaaS/SaaS平台构架有深层次的了解; 2)系统设计&编码能力,追求优雅的设计和优秀的代码质量,高标准,快速行动; 3)思路清晰,具备生产系统快速 trouble-shooting 的经验和能力,擅长分析更深层次的原因; 4)存储方向:Ceph,Swift, HDFS, RocksDB,LevelDB大数据技术架构, memcache, redis,HBase,MySQL, Postgresql,mongoDB 其中的一项或多项; 5)计算方向:对 Spark,MapReduce,Storm,OLAP ,Flume, Kafka的一项或多项; 6)集群管理方向: YARN,Mesos 熟悉一项或多项; 7)虚拟化方向:KVM,XEN,VMvare,OpenStack,Cloud Stack 熟悉一项或多项; 8)了解上述技术的特性,具备按业务场景进行方案设计和核心模块研发的能力; (编辑:海南站长网) 【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容! |