课程背景

大数据在这个互联网时代的重要意义，已经无需再多赘述。阿里、腾讯、美团等几乎你听过名字的公司，都有自己的大数据平台。

过去我们都关注大数据开发，随着大数据平台的逐渐完善，如何保障数据的安全、高效，如何保证系统架构的平稳运行，都成为各数据平台的“心病”。

于是，大数据运维这个岗位一跃成为大数据领域的热词。很多公司会让开发来兼大数据运维的工作，这对开发人员来说也是不小的挑战。

相比大数据开发，大数据运维方向需要更多的经验积累，比如什么架构才能支撑这个数据量、什么资源配置才能满足分析需求，这需要你实际接触过、操作过才能给出答案，而不是靠理论或者猜测。

专栏解读

专栏共七大模块， 26 个课时，引用大量大数据运维的实战案例，来讲述大数据平台的架构设计与部署、大数据平台的监控告警、性能调优，涵盖了大数据运维工作的全方位技能点。

模块一：Hadoop 大数据平台的规划与部署，主要讲解 Hadoop 大数据平台的搭建与基础配置；

模块二：Hadoop 分布式架构解析，主要讲解分布式文件系统 HDFS 和分布式资源管理器 Yarn 的运行机制以及内部实现细节；

模块三：Hadoop 外围应用整合实战，主要讲解大数据平台下如何整合一些外围应用，主要是 Spark、Flink 与 Yarn 的整合应用，以及 HBase 集群的部署；

模块四：Hadoop 大数据平台数据收集应用实践，主要讲解数据收集方法以及如何实现快速查询，Filebeat 、 Logstash、Elasticsearch ；

模块五：大数据平台日志传输与可视化应用实践，主要讲解海量数据环境中如何实现数据的实时传输，并实现可视化展示 ；

模块六：大数据平台运维监控体系的构建，主要讲解如何对大数据平台下每个组件的运行状态、服务状态进行监控；

模块七：大数据平台性能调优与运维经验汇总，主要讲解大数据运维中常见的故障处理方法、集群扩缩容、集群调度策略选型等。

老师简介
高俊峰（南非蚂蚁）：前新浪资深运维专家
专业运维专家、系统架构师、DBA 和技术顾问，曾就职于新浪、阿里云、新好耶等企业，从事 Linux/Unix 服务器系统的架构、运维和管理工作。他负责设计并运维过 PB 数量级、日百亿量的大数据平台，擅长大规模服务器集群的运维和管理，在故障诊断与排除、自动化运维、安全运维、性能调优、虚拟化等方面有丰富的实战经验。目前，他任国内某创业公司 CTO，主要从事基于 Hadoop 的云平台，以及 Hadoop 相关生态系统的运维、监控与优化等技术研究工作。

此外，他还著有畅销书《循序渐进Linux》和《高性能Linux服务器构建实战：运维监控、性能调优与集群应用》等书，其中后者是 Linux 运维领域公认的经典著作。