大数据运维实战,给大数据工程师的运维修炼手册
课程下载
本课程供VIP会员免费学习。
下载途径:共6.92GB,网盘转存下载。
课程介绍
大数据在这个互联网时代的重要意义,已经无需再多赘述。阿里、腾讯、美团等几乎你听过名字的公司,都有自己的大数据平台。
过去我们都关注大数据开发,随着大数据平台的逐渐完善,如何保障数据的安全、高效,如何保证系统架构的平稳运行,都成为各数据平台的“心病”。
于是,大数据运维这个岗位一跃成为大数据领域的热词。很多公司会让开发来兼大数据运维的工作,这对开发人员来说也是不小的挑战。
相比大数据开发,大数据运维方向需要更多的经验积累,比如什么架构才能支撑这个数据量、什么资源配置才能满足分析需求,这需要你实际接触过、操作过才能给出答案,而不是靠理论或者猜测。
专栏共七大模块, 26 个课时,引用大量大数据运维的实战案例,来讲述大数据平台的架构设计与部署、大数据平台的监控告警、性能调优,涵盖了大数据运维工作的全方位技能点。
课程目录
[3075] 开篇词:掌握大数据,把握未来.md
[3076] 第01讲:大话 Hadoop 生态圈.md
[3077] 第02讲:Hadoop 发行版选型和伪分布式平台的构建.md
[3078] 第03讲:自动化运维工具 Anible 在部署大数据平台下的应用(上).md
[3079] 第05讲:手动模式构建双 Namenode+Yarn 的 Hadoop 集群(上).md
[3080] 第07讲:通过 Ambari 工具自动化构建 Hadoop 大数据平台和外围应用(上).md
[3081] 第09讲:如何通过 Hivetez 与 Hadoop 的整合快速实现大数据开发(上).md
[3082] 第11讲:HDFS 组件运行机制剖析及 HDFS Shell 的使用.md
[3083] 第12讲:Hadoop 分布式资源管理器 Yarn、MR 运行机制剖析.md
[3084] 第13讲:Spark Standalone 模式的构建以及 Spark 与 Yarn 的整合.md
[3085] 第14讲:HBae 与 Hadoop 的整合应用实践.md
[3086] 第15讲:Flink Standalone、Flink on Yarn 集群构建与应用场景.md
[3087] 第16讲:轻量级日志收集工具 Filebeat 应用案例.md
[3088] 第17讲:日志收集、分析过滤工具 Logtah 应用实战.md
[3089] 第18讲:Elaticearch 应用架构的实现与调优.md
[3090] 第19讲:Kafka 应用场景、集群容量规划、架构设计应用案例.md
[3091] 第20讲:日均数据量 30 亿的 Filebeat+Kafka+Mirrormaker 跨机房实时日志传送案例.md
[3092] 第21讲:Filebeat+Kafka+Logtah+Elaticearch 构建可视化日志分析系统.md
[3093] 第22讲:通过 Ganglia 实现对 HDFS、Yarn、Spark 运行状态监控.md
[3094] 第23讲:Namenode、Datanode、Nodemanager 等服务状态监控策略.md
[3095] 第24讲:通过 Kafka Eagle 实现对 Kafka 消息队列的监控.md
[3096] 第25讲:Yarn 资源调度 Fair Schedule 与 Capacity Scheduler 配置选型.md
[3097] 第26讲:HDFS 存储权限 ACL 控制策略以及与系统权限整合应用.md
[3098] 第27讲:Yarn、HDFS、Kafka 内存调优策略以及性能瓶颈.md
[3099] 第28讲:Hadoop 平台常见故障汇总以及操作系统性能调优.md
[3100] 第29讲:大数据平台的硬件规划、网络调优、架构设计、节点规划.md
[3101] 第30讲:Hadoop 跨集群数据迁移应用实践.md
[3163] 第04讲:自动化运维工具 Anible 在部署大数据平台下的应用(下).md
[3208] 第06讲:手动模式构建双 Namenode+Yarn 的 Hadoop 集群(下).md
[3337] 第08讲:通过 Ambari 工具自动化构建 Hadoop 大数据平台和外围应用(下).md
[3338] 第10讲:如何通过 Hivetez 与 Hadoop 的整合快速实现大数据开发(下).md
[4445] 结语:大数据运维,大有作为.md
文档
[3075] 开篇词:掌握大数据,把握未来.mp4
[3076] 第01讲:大话 Hadoop 生态圈.mp4
[3077] 第02讲:Hadoop 发行版选型和伪分布式平台的构建.mp4
[3078] 第03讲:自动化运维工具 Anible 在部署大数据平台下的应用(上).mp4
[3079] 第05讲:手动模式构建双 Namenode+Yarn 的 Hadoop 集群(上).mp4
[3080] 第07讲:通过 Ambari 工具自动化构建 Hadoop 大数据平台和外围应用(上).mp4
[3081] 第09讲:如何通过 Hivetez 与 Hadoop 的整合快速实现大数据开发(上).mp4
[3082] 第11讲:HDFS 组件运行机制剖析及 HDFS Shell 的使用.mp4
[3083] 第12讲:Hadoop 分布式资源管理器 Yarn、MR 运行机制剖析.mp4
[3084] 第13讲:Spark Standalone 模式的构建以及 Spark 与 Yarn 的整合.mp4
[3085] 第14讲:HBae 与 Hadoop 的整合应用实践.mp4
[3086] 第15讲:Flink Standalone、Flink on Yarn 集群构建与应用场景.mp4
[3087] 第16讲:轻量级日志收集工具 Filebeat 应用案例.mp4
[3088] 第17讲:日志收集、分析过滤工具 Logtah 应用实战.mp4
[3089] 第18讲:Elaticearch 应用架构的实现与调优.mp4
[3090] 第19讲:Kafka 应用场景、集群容量规划、架构设计应用案例.mp4
[3091] 第20讲:日均数据量 30 亿的 Filebeat+Kafka+Mirrormaker 跨机房实时日志传送案例.mp4
[3092] 第21讲:Filebeat+Kafka+Logtah+Elaticearch 构建可视化日志分析系统.mp4
[3093] 第22讲:通过 Ganglia 实现对 HDFS、Yarn、Spark 运行状态监控.mp4
[3094] 第23讲:Namenode、Datanode、Nodemanager 等服务状态监控策略.mp4
[3095] 第24讲:通过 Kafka Eagle 实现对 Kafka 消息队列的监控.mp4
[3096] 第25讲:Yarn 资源调度 Fair Schedule 与 Capacity Scheduler 配置选型.mp4
[3097] 第26讲:HDFS 存储权限 ACL 控制策略以及与系统权限整合应用.mp4
[3098] 第27讲:Yarn、HDFS、Kafka 内存调优策略以及性能瓶颈.mp4
[3099] 第28讲:Hadoop 平台常见故障汇总以及操作系统性能调优.mp4
[3100] 第29讲:大数据平台的硬件规划、网络调优、架构设计、节点规划.mp4
[3101] 第30讲:Hadoop 跨集群数据迁移应用实践.mp4
[3163] 第04讲:自动化运维工具 Anible 在部署大数据平台下的应用(下).mp4
[3208] 第06讲:手动模式构建双 Namenode+Yarn 的 Hadoop 集群(下).mp4
[3337] 第08讲:通过 Ambari 工具自动化构建 Hadoop 大数据平台和外围应用(下).mp4
[3338] 第10讲:如何通过 Hivetez 与 Hadoop 的整合快速实现大数据开发(下).mp4
[4445] 结语:大数据运维,大有作为.mp4