配置属性

名称说明
httpfs.http.port14000HttpFS REST API 的 HTTP 端口。
httpfs.http.hostname0.0.0.0HttpFS REST API 的绑定主机。
httpfs.http.administrators管理员的 ACL,此配置用于控制谁可以访问 HttpFS 服务器的默认 servlet。该值应为以逗号分隔的用户和组列表。用户列表排在前面,并用空格分隔,后跟组列表,例如“user1,user2 group1,group2”。用户和组都是可选的,因此“user1”、“group1”、“”、“user1 group1”、“user1,user2 group1,group2”都是有效的(注意“group1”中的前导空格)。'*' 授予所有用户和组的访问权限,例如,'*'、'* ' 和 ' *' 都是有效的。
httpfs.ssl.enabledfalse是否启用 SSL。默认值为 false,即禁用。
hadoop.http.idle_timeout.ms60000Httpfs 服务器连接超时(以毫秒为单位)。
hadoop.http.max.threads1000最大线程数。
hadoop.http.max.request.header.size65536最大 HTTP 请求标头大小。
hadoop.http.max.response.header.size65536最大 HTTP 响应标头大小。
hadoop.http.temp.dir${hadoop.tmp.dir}/httpfsHttpFS 临时目录。
httpfs.buffer.size4096从 HDFS 流式传输数据时,读/写请求使用的缓冲区大小。
httpfs.servicesorg.apache.hadoop.lib.service.instrumentation.InstrumentationService, org.apache.hadoop.lib.service.scheduler.SchedulerService, org.apache.hadoop.lib.service.security.GroupsService, org.apache.hadoop.lib.service.hadoop.FileSystemAccessServicehttpfs 服务器使用的服务。
kerberos.realmLOCALHOSTKerberos 领域,仅在客户端和 httpfs 或 HttpFS 和 HDFS 之间使用 Kerberos 身份验证时使用。此属性仅用于解析此配置文件中的其他属性。
httpfs.hostname${httpfs.http.hostname}用于合成 httpfs 使用的 HTTP Kerberos 主体的属性。此属性仅用于解析此配置文件中的其他属性。
hadoop.http.authentication.signature.secret.file${httpfs.config.dir}/httpfs-signature.secret包含用于对 HttpFS hadoop-auth cookie 进行签名的密钥的文件。只有运行 HttpFS 服务的系统用户才能读取此文件。如果在负载均衡器/循环模式下使用多个 HttpFS 服务器,则它们应共享密钥文件。如果此处指定了密钥文件不存在,则会在启动时生成随机密钥。httpfs.authentication.signature.secret.file 已弃用。请改用 hadoop.http.authentication.signature.secret.file。
hadoop.http.authentication.typesimple定义 httpfs 为其 HTTP 客户端使用的身份验证机制。有效值为“simple”或“kerberos”。如果使用“simple”,则 HTTP 客户端必须使用“user.name”查询字符串参数指定用户名。如果使用“kerberos”,则 HTTP 客户端必须使用 HTTP SPNEGO 或委派令牌。httpfs.authentication.type 已弃用。请改用 hadoop.http.authentication.type。
hadoop.http.authentication.kerberos.principalHTTP/${httpfs.hostname}@${kerberos.realm}HttpFS 在 HTTP 端点中使用的 HTTP Kerberos 主体。根据 Kerberos HTTP SPNEGO 规范,HTTP Kerberos 主体必须以“HTTP/”开头。httpfs.authentication.kerberos.principal 已弃用。请改用 hadoop.http.authentication.kerberos.principal。
hadoop.http.authentication.kerberos.keytab${user.home}/httpfs.keytabKerberos 密钥表文件,其中包含 HttpFS 在 HTTP 端点中使用的 HTTP Kerberos 主体的凭据。httpfs.authentication.kerberos.keytab 已弃用。请改用 hadoop.http.authentication.kerberos.keytab。
httpfs.delegation.token.manager.update.interval86400HttpFS 委派令牌更新间隔,默认 1 天,以秒为单位。
httpfs.delegation.token.manager.max.lifetime604800HttpFS 委派令牌最长生命周期,默认 7 天,以秒为单位
httpfs.delegation.token.manager.renewal.interval86400HttpFS 委派令牌更新间隔,默认 1 天,以秒为单位。
httpfs.hadoop.authentication.typesimple定义 httpfs 用于连接到 HDFS Namenode 的身份验证机制。有效值为“simple”和“kerberos”。
httpfs.hadoop.authentication.kerberos.keytab${user.home}/httpfs.keytabKerberos 密钥表文件,其中包含 httpfs 用于连接到 HDFS Namenode 的 Kerberos 主体的凭据。
httpfs.hadoop.authentication.kerberos.principal${user.name}/${httpfs.hostname}@${kerberos.realm}httpfs 用于连接到 HDFS Namenode 的 Kerberos 主体。
httpfs.hadoop.filesystem.cache.purge.frequency60空闲文件系统清除守护程序运行的频率(以秒为单位)。
httpfs.hadoop.filesystem.cache.purge.timeout60空闲文件系统被清除的超时时间(以秒为单位)。
httpfs.access.moderead-write设置 HTTPFS 的访问模式。如果不允许访问,则返回禁止(403)。有效的访问模式为:读写允许完全访问仅写入 PUT POST 和 DELETE 完全访问。GET 仅允许 GETFILESTATUS 和 LISTSTATUS 仅读取 GET 全部访问 PUT POST 和 DELETE 被禁止