Hadoop 文档

General

Common

HDFS

MapReduce

MapReduce REST APIs

YARN

YARN REST APIs

YARN Service

Submarine

Hadoop Compatible File Systems

Auth

Tools

Reference

Configuration

这是Hadoop FileSystem API的规范,该规范将文件系统的内容建模为一组路径,这些路径可以是目录,符号链接或文件。

令人惊讶的是,在该领域中几乎没有现有技术。Unix文件系统有多种规范作为索引节点树,但没有公开定义“ Unix文件系统作为数据存储访问的概念模型”的概念。

本规范试图做到这一点。定义Hadoop FileSystem模型和API,以便多个文件系统可以实现API并向应用程序提供其数据的一致模型。除了记录HDFS表现出的行为(Hadoop客户端应用程序通常期望的行为)以外,它不会尝试正式指定文件系统的任何并发行为。

  1. 介绍
  2. 符号
  3. 模型
  4. FileSystem类
  5. FSDataInputStream类
  6. FSDataOutputStreamBuilder类
  7. 使用文件系统规范进行测试
  8. 扩展规范及其测试
  9. 使用多部分上传文件