Apache Hadoop完全分布式集群搭建
软件和操作系统版本Hadoop框架是采用Java语言编写，需要java环境（jvm）JDK版本：JDK8版本集群：知识点学习：统一使用vmware虚拟机虚拟三台linux节点，linux操作系统：Centos7项目阶段：统一使用云服务器，5台云服务器节点Hadoop搭建方式单机模式：单节点模式，非集群，生产不会使用这种方式单机伪分布式模式：单节点，多线程模拟集群的效果，生产不会使用这种方式完全分布式模式：多台节点，真正的分布式Ha...
YuXuan 发布的文章
Apache Hadoop的重要组成
Hadoop=HDFS(分布式文件系统)+MapReduce(分布式计算框架)+Yarn(资源协调框架)+Common模块Hadoop HDFS：（Hadoop Distribute File System ）一个高可靠、高吞吐量的分布式文件系统比如：100T数据存储该怎么设计？Google发表的论文翻译成中文即“分而治之”分：拆分→数据切割，100T数据拆分为10G一个数据块由一个电脑节点存储这个数据块。数据切割、制作副本、分散...
Hadoop简介
什么是HadoopHadoop 是一个适合大数据的分布式存储和计算平台。狭义的Hadoop:指的是一个框架，Hadoop是由三部分组成：HDFS：分布式文件系统→存储；MapReduce:分布式离线计算框架→计算；Yarn:资源调度框架广义的Hadoop:广义Hadoop是不仅仅包含Hadoop框架，除了Hadoop框架之外还有一些辅助框架。Flume：日志数据采集；Sqoop：关系型数据库数据的采集，数据的导出；Hive:深度依...
大数据简介
大数据的定义大数据是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。大数据的特点大数据的特点可以用 IBM 曾经提出的 “5V” 来描述，如下：采集、存储和计算的数据量都非常大。计算机存储单位一般用B，KB，MB，GB，TB，PB，EB，ZB，YB，BB、NB、DB来表示，它们之间的关系是：1GB = 1024 M...
OSS云储存实战
快速入门案例描述图片上传配置环境pom.xml<?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance&q...
OSS存储开放接口规范和错误响应
开放接口规范开发者在发送请求给 OSS 时，既可以使用 带签名认证的请求，也可以使用匿名访问。OSS提供的相关API接口如下:关于Service操作API描述getService (listBuckets)返回请求者拥有的所有Bucket关于Bucket的操作API描述createBucket创建BucketputBucketACL设置Bucket访问权限putBucketLogging开启Bucket日志putBucketWeb...
OSS云存储的权限控制
权限控制方式针对存放在 Bucket 的 Object 的访问，OSS 提供了多种权限控制方式，包括 ACL、RAM Policy 和 Bucket Policy。ACL：OSS 为权限控制提供访问控制列表（ACL）。ACL是基于资源的授权策略，可授予 Bucket 和 Object 访问权限。 可以在创建 Bucket 或上传 Object 时设置ACL，也可以在创建 Bucket 或上传Object 后的任意时间内修改 ACL...
OSS功能详解
基本功能使用阿里云管理控制台来完成 OSS 基本操作的流程如下：开通OSS服务器前提条件在使用阿里云 OSS 服务之前，请确保您已经注册了阿里云账号并完成实名认证。如果您还没有创建阿里云账号，系统会在您开通 OSS 时提示您注册账号。操作步骤1）登录阿里云官网。2）将鼠标移至产品，单击对象存储 OSS，打开 OSS 产品详情页面。3）在 OSS 产品详情页，单击立即开通。1）开通服务后，在 OSS 产品详情页单击管理控制台直接进入...
OSS云存储基本概念
存储空间（Bucket）存储空间是用户用于存储对象（Object）的容器，所有的对象都必须隶属于某个存储空间。存储空间具有各种配置属性，包括地域、访问权限、存储类型等。用户可以根据实际需求，创建不同类型的存储空间来存储不同的数据。同一个存储空间的内部是扁平的，没有文件系统目录的概念，所有的对象都直接隶属于其对应的存储空间。每个用户可以拥有多个存储空间。存储空间的名称在 OSS 范围内必须是全局唯一的，一旦创建之后无法修改名称。存储...
阿里云OSS云存储简介
阿里云OSS云存储简介阿里云对象存储服务（Object Storage Service，简称 OSS），是阿里云提供的海量、安全、低成本、高可靠的云存储服务。其数据设计持久性不低于99.9999999999%（12 个 9），服务设计可用性（或业务连续性）不低于 99.995%。可以使用阿里云提供的 API、SDK 接口或者 OSS 迁移工具轻松地将海量数据移入或移出阿里云 OSS。数据存储到阿里云 OSS 以后，可以选择标准存储...