星空捞月:找寻心中的安宁
首页
归档
分类
标签
关于
部署CDH6.2组件
.1. 下载组件 .2. 部署安装 .2.1. 配置文件 – config.ini : cloudera-scm-agent需要 .2.2. db.properties : cloudera-scm-server 需要 .3. 部署编排 .4. 其他补充 .4.1. 创建MySQL数据库 .4.2. 初始化SCM数据库 .1. 下载组件## 必须下载 ### Cloudera
2020-06-13
大数据
CDH
工具知识总结
1. HDFS(大数据) 1.1. NameNode性能测试 1.2. NameNode性能模拟 1.3. HDFS文件分析 1.4. HDFS文件辅助管理 1.5. HDFS Benchmark测试 1.6. Hadoop安全机制 1.7. Hadoop监控 2. Java通用 2.1. 性能分析 2.2. 优秀组件 1. HDFS(大数据) 在大数据
2020-06-13
大数据
总结
HDFS
ETCD集群部署
.1. ETCD介绍 .2. 部署ETCD集群 .2.1. 编译cfssl组件 .2.2. 创建CA证书 .2.2.1. 创建CA证书 .2.2.2. 创建业务Key .2.3. 集群配置部署 .2.3.1. etcd.service.j2 .2.3.2. etcd.conf.j2 .2.3.3. 分发部署Playbook .3. 集群状态检查及基本使用 .1. ETCD介
2020-06-12
大数据
云原生
调研
ETCD
Python2日期时间操作
在日常工作中,经常遇到一下日期时间格式转化。例如时间比较、时间格式化、从字符串转化为日期等操作,本文将日常要的这些操作进行汇总备忘。 一、时间日期想要时间格式比较,需要转化为统一的数据类型,例如转化为统一的Date类型,或Time类型,或DateTime类型。 1.1 Date操作#!/bin/python # -*- coding: UTF-8 -*-
2020-06-08
软件
python
实践
Ozone调研
主要研究目标: 独立Ozone集群部署:特性、功能、安全 Ozone with HDFS部署:特性、功能、安全 1. Ozone架构 1.1. 架构图 1.1.1. Block管理角度 1.1.2. 功能分级角度 1.1.3. 基本概念 1.1.3.1. 基本概念 1.1.3.2. 组件功能 1.2. 亮点特性 1.2.1. 安全机制 1.2.2. 单独的 2. 部署测试
2020-06-07
大数据
云原生
调研
Ozone
Minio初探
1. 部署调研 1.1. 环境准备 1.1.1. 资源下载 1.1.2. 添加执行权限 1.2. 部署模式 1.2.1. 单机部署 1.2.1.1. 单机单租户 1.2.1.2. 单机多租户 1.2.2. 分布式部署 1.3. 特性调研 1.3.1. 使用Erase Code 1.3.2. 压缩(compression) 1.3.3. 缓存(cache) 1.4. 界面功能
2020-06-01
大数据
云原生
调研
Minio
编译CDH-6.beta-hive
hbase-handler/llap-server报错信息[ERROR] Failed to execute goal org.apache.maven.plugins:maven-enforcer-plugin:1.3.1:enforce (enforce-no-snapshots) on project hive-llap-server: Some Enforcer rules have fa
2020-06-01
大数据
CDH
编译
部署
《道德经的人生智慧》读书笔记
最近有时间读了一本书:《道德经的智慧》。在干工作忙碌的闲暇之余,有空看看“鸡汤”书,喝喝鸡汤,也是非常不错的。本文取原文中的文段节选。
2020-06-01
读书笔记
闲趣
Canal上手指南:mysql到kafka
1. 准备工作1.1. MySQL账号根据Canal官方说明,需要申请一个MySQL数据库的账号,该账号具有如下权限 CREATE USER canal IDENTIFIED BY 'canal'; -- 至少具有如下权限 GRANT SELECT, SHOW VIEW, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'canal'@'%';
2018-11-22
大数据
调研
Kafka
MySQL
Canal
Apache Spark vs. Apache Flink
引言 Apache Flink,这个高性能大数据流处理框架,走到了成熟的一个阶段。通过与Apache Spark的测试比较,我们发现他们是竞对的技术,且是被推荐的实时分析框架。 从之前的Hadoop MR框架,大数据流处理框架在逐渐演进。在某种意义上,Spark不经大规模提升了计算性能,更重要的是允许快速、简单的构建数据分析框架,从而推广了Hadoop
2018-10-22
读书笔记
调研
Spark
Flink
1
2
3
…
9
搜索
×
关键词