亚马逊S3

<属性>
 <！-您的确切Hadoop版本在这里->
  <hadoop.version> 3.0.0 </hadoop.version>
</ properties>

<依赖项>
  <依赖性>
    <groupId> org.apache.hadoop </ groupId>
    <artifactId> hadoop-client </ artifactId>
    <version> $ {hadoop.version} </ version>
  </ dependency>
  <依赖性>
    <groupId> org.apache.hadoop </ groupId>
    <artifactId> hadoop-aws </ artifactId>
    <version> $ {hadoop.version} </ version>
  </ dependency>
</ dependencies>

fs.s3a.access.key
fs.s3a.secret.key
fs.s3a.session.token
fs.s3a.server-side-encryption.key
fs.s3a。服务器端加密算法

<属性>
  <name> fs.s3a.connection.maximum </ name>
  <value> 15 </ value>
  <description>控制到S3的最大同时连接数。</ description>
</ property>

<属性>
  <name> fs.s3a.connection.ssl.enabled </ name>
  <value> true </ value>
  <description>启用或禁用与S3的SSL连接。</ description>
</ property>

<属性>
  <name> fs.s3a.endpoint </ name>
  <description>要连接的AWS S3端点。最新列表是
    AWS文档中提供的内容：区域和端点。没有这个
    属性，则使用标准区域（s3.amazonaws.com）。
  </ description>
</ property>

<属性>
  <name> fs.s3a.path.style.access </ name>
  <value> false </ value>
  <description>启用S3路径样式访问，即禁用默认的虚拟主机行为。
    对于符合S3A要求的存储提供商很有用，因为它无需为虚拟主机设置DNS。
  </ description>
</ property>

<属性>
  <name> fs.s3a.proxy.host </ name>
  <description>用于S3连接的（可选）代理服务器的主机名。</ description>
</ property>

<属性>
  <name> fs.s3a.proxy.port </ name>
  <description>代理服务器端口。如果未设置此属性
    但使用fs.s3a.proxy.host，则假定使用端口80或443（与
    fs.s3a.connection.ssl.enabled的值。）</ description>
</ property>

<属性>
  <name> fs.s3a.proxy.username </ name>
  <description>用于与代理服务器进行身份验证的用户名。</ description>
</ property>

<属性>
  <name> fs.s3a.proxy.password </ name>
  <description>用于与代理服务器进行身份验证的密码。</ description>
</ property>

<属性>
  <name> fs.s3a.proxy.domain </ name>
  <description>用于通过代理服务器进行身份验证的域。</ description>
</ property>

<属性>
  <name> fs.s3a.proxy.workstation </ name>
  <description>用于通过代理服务器进行身份验证的工作站。</ description>
</ property>

<属性>
  <name> fs.s3a.attempts.maximum </ name>
  <value> 20 </ value>
  <description>我们应该对临时错误重试几次。</ description>
</ property>

<属性>
  <名称> fs.s3a。连接。建立。超时</名称>
  <value> 5000 </ value>
  <description>套接字连接建立超时（以毫秒为单位）。</ description>
</ property>

<属性>
  <name> fs.s3a.connection.timeout </ name>
  <value> 200000 </ value>
  <description>套接字连接超时（以毫秒为单位）。</ description>
</ property>

<属性>
  <name> fs.s3a.paging.maximum </ name>
  <value> 5000 </ value>
  <description>执行操作时需要从S3请求多少个键
     一次列出目录。</ description>
</ property>

<属性>
  <name> fs.s3a.threads.max </ name>
  <value> 10 </ value>
  <description>并发活动（部分）上载的最大数量，
  每个都使用线程池中的线程。</ description>
</ property>

<属性>
  <name> fs.s3a.socket.send.buffer </ name>
  <value> 8192 </ value>
  <description>套接字将缓冲区提示发送到亚马逊连接器。以字节为单位。</ description>
</ property>

<属性>
  <名称> fs.s3a.socket.recv.buffer </名称>
  <value> 8192 </ value>
  <description>套接字接收到亚马逊连接器的缓冲区提示。以字节为单位。</ description>
</ property>

<属性>
  <name> fs.s3a.threads.keepalivetime </ name>
  <value> 60 </ value>
  <description>线程在空闲之前可以空闲的秒数
    终止。</ description>
</ property>

<属性>
  <name> fs.s3a.max.total.tasks </ name>
  <value> 5 </ value>
  <description>之前允许进入队列的（部分）上传次数
  阻止其他上传。</ description>
</ property>

<属性>
  <name> fs.s3a.multipart.size </ name>
  <value> 100M </ value>
  <description>将上传或复制操作分成多少（以字节为单位）。
    集合{K，M，G，T，P}中的后缀可用于缩放数值。
  </ description>
</ property>

<属性>
  <name> fs.s3a.multipart.threshold </ name>
  <value> 2147483647 </ value>
  <description>将上传或复制操作分成多少（以字节为单位）。
    这也控制了重命名文件中的分区大小，因为rename（）涉及
    复制源文件。
    集合{K，M，G，T，P}中的后缀可用于缩放数值。
  </ description>
</ property>

<属性>
  <name> fs.s3a.multiobjectdelete.enable </ name>
  <value> true </ value>
  <description>启用后，多个单对象删除请求将替换为
    单个“删除多个对象”请求，从而减少了请求数量。
    注意：与S3兼容的旧对象存储可能不支持此请求。
  </ description>
</ property>

<属性>
  <name> fs.s3a.acl.default </ name>
  <description>为新创建和复制的对象设置一个罐头ACL。价值可能是私人的，
    PublicRead，PublicReadWrite，AuthenticatedRead，LogDeliveryWrite，BucketOwnerRead，
    或BucketOwnerFullControl。</ description>
</ property>

<属性>
  <name> fs.s3a.multipart.purge </ name>
  <value> false </ value>
  <description>如果要清除可能尚未清除的现有分段上传，则为真
     正确完成/中止</ description>
</ property>

<属性>
  <name> fs.s3a.multipart.purge.age </ name>
  <value> 86400 </ value>
  <description>要清除的分段上传的最小年龄（秒）</ description>
</ property>

<属性>
  <name> fs.s3a.signing-algorithm </ name>
  <description>覆盖默认的签名算法
    实现仍可以使用</ description>
</ property>

<属性>
  <name> fs.s3a.server-side-encryption-algorithm </ name>
  <description>指定s3a的服务器端加密算法：文件系统。
    默认情况下未设置。它支持以下值：“ AES256”（对于SSE-S3），“ SSE-KMS”
     和“ SSE-C”
  </ description>
</ property>

<属性>
    <name> fs.s3a.server-side-encryption.key </ name>
    <说明>如果fs.s3a.server-side-encryption-algorithm使用的特定加密密钥
    已设置为“ SSE-KMS”或“ SSE-C”。对于SSE-C，此属性的值
    应该是Base64编码的密钥。如果您使用的是SSE-KMS，并且将此属性留空，
    您将使用默认的S3 KMS密钥，否则应将此属性设置为
    特定的KMS密钥ID。</ description>
</ property>

<属性>
  <名称> fs.s3a.buffer.dir </名称>
  <value> $ {hadoop.tmp.dir} / s3a </ value>
  <description>用逗号分隔的目录列表，将用于缓冲文件
    上传到。</ description>
</ property>

<属性>
  <name> fs.s3a.block.size </ name>
  <value> 32M </ value>
  <description>使用s3a：文件系统读取文件时使用的块大小。
  </ description>
</ property>

<属性>
  <name> fs.s3a.user.agent.prefix </ name>
  <value> </ value>
  <说明>
    设置一个自定义值，该值将预先添加到发送的User-Agent标头中
    S3AFileSystem向S3后端发送HTTP请求。User-Agent标头
    始终包含Hadoop版本号，后跟由生成的字符串
    AWS开发工具包。一个示例是“ User-Agent：Hadoop 2.8.0，aws-sdk-java / 1.10.6”。
    如果设置了此可选属性，则将其值放在前面以创建一个
    定制的用户代理。例如，如果设置了此配置属性
    到“ MyApp”，则生成的User-Agent的示例将是
    “用户代理：MyApp，Hadoop 2.8.0，aws-sdk-java / 1.10.6”。
  </ description>
</ property>

<属性>
  <name> fs.s3a.impl </ name>
  <value> org.apache.hadoop.fs.s3a.S3AFileSystem </ value>
  <description> S3A文件系统的实现类</ description>
</ property>

<属性>
  <name> fs.AbstractFileSystem.s3a.impl </ name>
  <value> org.apache.hadoop.fs.s3a.S3A </ value>
  <description> S3A AbstractFileSystem的实现类。</ description>
</ property>

<属性>
  <name> fs.s3a.readahead.range </ name>
  <value> 64K </ value>
  <description>在关闭之前，在seek（）期间要预读的字节
  重新打开S3 HTTP连接。如果此选项将被覆盖
  对setReadahead（）的任何调用都是对开放流进行的。</ description>
</ property>

<属性>
  <name> fs.s3a.list.version </ name>
  <value> 2 </ value>
  <description>选择要使用的S3 SDK的List Objects API版本。
  当前支持2（默认）和1（旧API）。</ description>
</ property>

<属性>
  <name> fs.s3a.change.detection.source </ name>
  <value> etag </ value>
  <说明>
    选择要用于更改检测的S3对象属性。
    当前支持S3对象eTag的'etag'和'S3对象的'versionid'
    S3对象版本ID。使用版本ID要求对对象进行版本控制
    为每个使用的S3存储桶启用。对象版本控制在禁用
    默认情况下存储桶。使用版本ID时，使用的存储桶应
    在写入任何数据之前已启用版本控制。
  </ description>
</ property>

<属性>
  <名称> fs.s3a.change.detection.mode </名称>
  <值>服务器</值>
  <说明>
    确定如何将更改检测应用于向S3对象发出警报
    被读取时重写。值“服务器”指示应用属性
    直接限制对S3的GetObject请求。重视“客户”是指
    客户端比较响应中返回的属性值。值
    “服务器”不适用于不兼容的第三方S3实现
    在GetObject上支持这些约束。值“服务器”和“客户端”生成
    检测到不匹配时的RemoteObjectChangedException。重视“警告”作品
    类似于“客户”，但仅生成警告。值“无”将忽略更改
    完全检测。
  </ description>
</ property>

<属性>
  <name> fs.s3a.change.detection.version.required </ name>
  <value> true </ value>
  <说明>
    确定S3对象版本属性是否由
    fs.s3.change.detection.source应该按要求处理。如果为真，则
    被引用的属性在S3 GetObject响应中不可用，
    引发NoVersionAttributeException。鼓励设置为“ true”
    避免潜在的与第三方S3实现不一致的读取，或者
    针对已禁用对象版本控制的S3存储桶。
  </ description>
</ property>

<属性>
  <name> fs.s3a.aws.credentials.provider </ name>
  <value> com.amazonaws.auth.InstanceProfileCredentialsProvider </ value>
</ property>

<属性>
  <name> fs.s3a.bucket.nightly.access.key </ name>
  <value> AKAACCESSKEY-2 </ value>
</ property>

<属性>
  <名称> fs.s3a.bucket.nightly.secret.key </名称>
  <value> SESSIONSECRETKEY </ value>
</ property>

<属性>
  <name> fs.s3a.bucket.nightly.session.token </ name>
  <value>短期会话令牌</ value>
</ property>

<属性>
  <名称> fs.s3a.bucket.nightly.aws.credentials.provider </名称>
  <value> org.apache.hadoop.fs.s3a.TemporaryAWSCredentialsProvider </ value>
</ property>

<属性>
  <name> fs.s3a.bucket.landsat-pds.aws.credentials.provider </ name>
  <value> org.apache.hadoop.fs.s3a.AnonymousAWSCredentialsProvider </ value>
</ property>

<属性>
  <name> fs.s3a.fast.upload.buffer </ name>
  <value>磁盘</ value>
  <说明>
    要使用的缓冲机制。
    值：磁盘，数组，字节缓冲区。

    “磁盘”将使用fs.s3a.buffer.dir中列出的目录作为
    上传之前要保存数据的位置。

    “数组”使用JVM堆中的数组

    “字节缓冲区”使用JVM中的堆外内存。

    “数组”和“字节缓冲区”都将在单个流中消耗内存，数量最多为
    设置的块数：

        fs.s3a.multipart.size * fs.s3a.fast.upload.active.blocks。

    如果使用这些机制中的任何一种，请将该值保持较低

    通过所有线程执行工作的线程总数由
    fs.s3a.threads.max，其中fs.s3a.max.total.tasks值设置排队的数量
    工作项目。
  </ description>
</ property>

<属性>
  <name> fs.s3a.multipart.size </ name>
  <value> 100M </ value>
  <description>将上传或复制操作分成多少（以字节为单位）。
    集合{K，M，G，T，P}中的后缀可用于缩放数值。
  </ description>
</ property>

<属性>
  <name> fs.s3a.fast.upload.active.blocks </ name>
  <value> 8 </ value>
  <说明>
    单个输出流可以具有的最大块数
    活动（上载或排队到中央文件系统
    实例的排队操作池。

    这将阻止单个流使共享线程池超载。
  </ description>
</ property>

s3a-file-system.sink.my-metrics-config.class = org.apache.hadoop.metrics2.sink.FileSink
s3a-file-system.sink.my-metrics-config.filename = / var / log / hadoop-yarn / s3a-metrics.out
* .period = 10

1511208770680 s3aFileSystem.s3aFileSystem：Context = s3aFileSystem，s3aFileSystemId = 892b02bb-7b30-4ffe-80ca-3a9935e1d96e，bucket = bucket，
主机名=主机名-1.hadoop.apache.com，files_created = 1，files_copied = 2，files_copied_bytes = 10000，files_deleted = 5，fake_directories_deleted = 3，
directorys_created = 3，directorys_deleted = 0，忽略错误= 0，op_copy_from_local_file = 0，op_exists = 0，op_get_file_status = 15，op_glob_status = 0，
op_is_directory = 0，op_is_file = 0，op_list_files = 0，op_list_located_status = 0，op_list_status = 3，op_mkdirs = 1，op_rename = 2，object_copy_requests = 0，
object_delete_requests = 6，object_list_requests = 23，object_continue_list_requests = 0，object_metadata_requests = 46，object_multipart_aborted = 0，
object_put_bytes = 0，object_put_requests = 4，object_put_requests_completed = 4，stream_write_failures = 0，stream_write_block_uploads = 0，
stream_write_block_uploads_committed = 0，stream_write_block_uploads_aborted = 0，stream_write_total_time = 0，stream_write_total_data = 0，
s3guard_metadatastore_put_path_request = 10，s3guard_metadatastore_initialization = 0，object_put_requests_active = 0，object_put_bytes_pending = 0，
stream_write_block_uploads_active = 0，stream_write_block_uploads_pending = 0，stream_write_block_uploads_data_pending = 0，
S3guard_metadatastore_put_path_latencyNumOps = 0，S3guard_metadatastore_put_path_latency50thPercentileLatency = 0，
S3guard_metadatastore_put_path_latency75thPercentileLatency = 0，S3guard_metadatastore_put_path_latency90thPercentileLatency = 0，
S3guard_metadatastore_put_path_latency95thPercentileLatency = 0，S3guard_metadatastore_put_path_latency99thPercentileLatency = 0

1511208770680metricssystem.MetricsSystem：上下文= metricssystem，主机名= s3a-metrics-4.gce.cloudera.com，NumActiveSources = 1，NumAllSources = 1，
NumActiveSinks = 1，NumAllSinks = 0，Sink_fileNumOps = 2，Sink_fileAvgTime = 1.0，Sink_fileDropped = 0，Sink_fileQsize = 0，SnapshotNumOps = 5，
SnapshotAvgTime = 0.0，PublishNumOps = 2，PublishAvgTime = 0.0，DroppedPubAll = 0