Azkaban CDH调度工具Azkaban安装 Azkaban 简介 Azkaban是由Linkedin开源的一个批量工作流任务调度器。用于在一个工作流内以一个特定的顺序运行一组工作和流程。Azkaban定义了一种KV文件格式来建立任务之间的依赖... 2021-01-1457.5K评论 阅读全文
CDH Linux搭建Cloudera Manager+CDH6.3.1环境 一、大数据环境发展历史 2009年新的Apache Hadoop子项目成立,2011年3月被称为"21世纪的瑞士军刀",12月27日发布1.0.0可用,2013年10月15日发布2.2.0可用,推动... 2021-01-1374.2K评论 阅读全文
Prometheus Prometheus+Grafana监控Flink指标(基于PushGateway) 提要 本文主要介绍将Flink任务运行的metric发送到Prometheus,通过Grafana报表工具展示。 Flink App:通过report将数据发出去metric信息 Pus... 2020-12-2482.3K评论 阅读全文
Linux Linux最常用的命令汇总 linux命令是对Linux系统进行管理的命令。对于Linux系统来说,无论是中央处理器、内存、磁盘驱动器、键盘、鼠标,还是用户等都是文件,Linux系统管理的命令是它正常运行的核心。 线上查询... 2020-12-2176.4K评论 阅读全文
Docker Docker搭建Portainer可视化界面 一、什么是Portainer? Portainer是Docker的图形化管理工具,提供状态显示面板、应用模板快速部署、容器镜像网络数据卷的基本操作(包括上传下载镜像,创建容器等操作)、事件日志显... 2020-12-1660.5K1 阅读全文
Docker Docker开启2375端口,提供外部访问Docker 1、编辑docker文件:/usr/lib/systemd/system/docker.service # vim /usr/lib/systemd/system/docker.service ... 2020-12-1664.1K评论 阅读全文
Hive Linux安装Hive数据仓库工具 1、Hive入门教程 Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的sql查询功能,可以将sql语句转换为MapReduce任务进行运行。其... 2020-12-0351.2K评论 阅读全文
Ambari Linux搭建大数据平台Ambari并部署Hadoop集群 一、Ambari概述 Ambari跟Hadoop等开源软件一样,也是Apache Software Foundation中的一个项目,并且是顶级项目。Apache Ambari是一个基于Web的... 2020-12-0179.3K评论 阅读全文
Elastic Stack Linux搭建ELK-7.5.1分布式集群及配置X-Pack ELK介绍 需求背景 业务发展越来越庞大,服务器越来越多 各种访问日志、应用日志、错误日志量越来越多,导致运维人员无法很好的去管理日志 开发人员排查问题,需要到服务器上查日志,... 2020-11-2176.2K1 阅读全文
Shell Linux一键部署ELK+Filebeat+Nginx+Redis日志平台自动化脚本 此脚本是Linux一键部署ELK+Filebeat+Nginx+Redis日志平台自动化脚本,有需要朋友可以参考,脚本内容如下: 环境准备 操作系统:CentOS Linux releas... 2020-11-2078.9K5 阅读全文
Elastic Stack Linux搭建ELK+Filebeat+Nginx+Redis分布式日志管理平台 ELK介绍 需求背景 业务发展越来越庞大,服务器越来越多 各种访问日志、应用日志、错误日志量越来越多,导致运维人员无法很好的去管理日志 开发人员排查问题,需要到服务器上查日志,... 2020-11-19105.8K2 阅读全文
Elastic Stack Linux安装ElasticSearch Head插件 一、Elasticsearch Head简介 Head是Elasticsearch的集群管理工具,可用于数据的查询和浏览、建立索引等功能,运行Elasticsearch head会用到grunt,而... 2020-11-1964.9K1 阅读全文
Shell Linux一键部署ShowDoc接口文档自动化脚本 此脚本是Linux一键部署ShowDoc接口文档自动化脚本,有需要朋友可以参考,脚本内容如下: 环境准备: 操作系统:CentOS Linux release 7.8.2003 软件... 2020-11-1860.9K评论 阅读全文
Shell Linux一键部署Nexus 3私服仓库自动化脚本 此脚本是Linux一键部署Nexus 3私服仓库自动化脚本,有需要朋友可以参考,脚本内容如下: 环境准备: 操作系统:CentOS Linux release 7.8.2003 软件... 2020-11-1869.7K评论 阅读全文
ShowDoc Docker安装ShowDoc接口文档工具及使用 一、ShowDoc是什么 每当接手一个他人的模块或者项目,看着那些没有解释说明的资料,我们都无比抓狂。文档呢?!文档呢?!Show me the doc !! 技术人员都很希望... 2020-11-1674.4K评论 阅读全文
Nexus Docker安装Nexus 3私服仓库 一、私服介绍 私服是指私有服务器,是架设在局域网的一种特殊的远程仓库,目的是代理远程仓库及部署第三方构建。有了私服之后,当Maven需要下载构件时,直接请求私服,私服上存在则下载到本地仓库;否则... 2020-11-1566.3K评论 阅读全文
Flink Linux搭建Flink-1.7.2 HA集群(基于Standalone模式) 一、Flink 简介 Apache Flink是一个框架和分布式处理引擎,用于对无界和有界数据流进行有状态计算。Flink设计为在所有常见的集群环境中运行,以内存速度和任何规模执行计算。 ... 2020-11-1457.8K评论 阅读全文
Hadoop Linux搭建Hadoop-2.7.2分布式集群 Hadoop 简介 Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了... 2020-11-1455.1K评论 阅读全文
Shell Linux一键部署ELK+Filebeat+Nginx+Kafka日志平台自动化脚本 此脚本是Linux一键部署ELK日志平台自动化脚本,有需要朋友可以参考,脚本内容如下: 环境准备 操作系统:CentOS Linux release 7.8.2003 软件版本 e... 2020-11-1377.6K评论 阅读全文
Elastic Stack Linux搭建ELK+Filebeat+Kafka分布式日志管理平台 ELK介绍 需求背景 业务发展越来越庞大,服务器越来越多 各种访问日志、应用日志、错误日志量越来越多,导致运维人员无法很好的去管理日志 开发人员排查问题,需要到服务器上查日志,... 2020-11-12101K4 阅读全文