Apache Hadoop核心源码剖析
源码阅读准备下载Apache Hadoop-2.9.2官方源码将源码导入idea中启动idea在提示界面选择导入点击Finish等待下载和解决依赖完成，源码导入成功！！NameNode 启动流程命令启动Hdfs集群start-dfs.sh该命令会启动Hdfs的NameNode以及DataNode，启动NameNode主要是通过org.apache.hadoop.hdfs.server.namenode.NameNode类。重点关注...
2020年9月
Yarn资源调度
Yarn架构ResourceManager（rm）：处理客户端请求、启动/监控ApplicationMaster、监控NodeManager、资源分配与调度。NodeManager（nm）：单个节点上的资源管理、处理来自ResourceManager的命令、处理来自ApplicationMaster的命令。ApplicationMaster（am）：数据切分、为应用程序申请资源，并分配给内部任务、任务监控与容错。Container...
MapReduce编程框架
MapReduce思想MapReduce思想在生活中处处可见。我们或多或少都曾接触过这种思想。MapReduce的思想核心是分而治之，充分利用了并行处理的优势。即使是发布过论文实现分布式计算的谷歌也只是实现了这种思想，而不是自己原创。MapReduce任务过程是分为两个处理阶段：Map阶段：Map阶段的主要作用是“分”，即把复杂的任务分解为若干个“简单的任务”来并行处理。Map阶段的这些任务可以并行计算，彼此间没有依赖关系。Red...
HDFS分布式文件系统
HDFS简介HDFS（全称：Hadoop Distribute File System，Hadoop 分布式文件系统）是 Hadoop 核心组成，是分布式存储服务。分布式文件系统横跨多台计算机，在大数据时代有着广泛的应用前景，它们为存储和处理超大规模数据提供所需的扩展能力。HDFS是分布式文件系统中的一种。HDFS的重要概念HDFS 通过统一的命名空间目录树来定位文件； 另外，它是分布式的，由很多服务器联合起来实现其功能，集群中的...
Apache Hadoop完全分布式集群搭建
软件和操作系统版本Hadoop框架是采用Java语言编写，需要java环境（jvm）JDK版本：JDK8版本集群：知识点学习：统一使用vmware虚拟机虚拟三台linux节点，linux操作系统：Centos7项目阶段：统一使用云服务器，5台云服务器节点Hadoop搭建方式单机模式：单节点模式，非集群，生产不会使用这种方式单机伪分布式模式：单节点，多线程模拟集群的效果，生产不会使用这种方式完全分布式模式：多台节点，真正的分布式Ha...
Apache Hadoop的重要组成
Hadoop=HDFS(分布式文件系统)+MapReduce(分布式计算框架)+Yarn(资源协调框架)+Common模块Hadoop HDFS：（Hadoop Distribute File System ）一个高可靠、高吞吐量的分布式文件系统比如：100T数据存储该怎么设计？Google发表的论文翻译成中文即“分而治之”分：拆分→数据切割，100T数据拆分为10G一个数据块由一个电脑节点存储这个数据块。数据切割、制作副本、分散...
Hadoop简介
什么是HadoopHadoop 是一个适合大数据的分布式存储和计算平台。狭义的Hadoop:指的是一个框架，Hadoop是由三部分组成：HDFS：分布式文件系统→存储；MapReduce:分布式离线计算框架→计算；Yarn:资源调度框架广义的Hadoop:广义Hadoop是不仅仅包含Hadoop框架，除了Hadoop框架之外还有一些辅助框架。Flume：日志数据采集；Sqoop：关系型数据库数据的采集，数据的导出；Hive:深度依...
大数据简介
大数据的定义大数据是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。大数据的特点大数据的特点可以用 IBM 曾经提出的 “5V” 来描述，如下：采集、存储和计算的数据量都非常大。计算机存储单位一般用B，KB，MB，GB，TB，PB，EB，ZB，YB，BB、NB、DB来表示，它们之间的关系是：1GB = 1024 M...
OSS云储存实战
快速入门案例描述图片上传配置环境pom.xml<?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance&q...
OSS存储开放接口规范和错误响应
开放接口规范开发者在发送请求给 OSS 时，既可以使用 带签名认证的请求，也可以使用匿名访问。OSS提供的相关API接口如下:关于Service操作API描述getService (listBuckets)返回请求者拥有的所有Bucket关于Bucket的操作API描述createBucket创建BucketputBucketACL设置Bucket访问权限putBucketLogging开启Bucket日志putBucketWeb...