DSEFS RESTインターフェイスの使用

DSEFSには、WebHDFSのすべてのコマンドを実装するRESTインターフェイスが用意されています。

DSEFSには、WebHDFSのコマンドを実装するRESTインターフェイスが用意されています。

RESTインターフェイスは、DSEFSを実行しているすべてのDSEノードで有効になっています。このインターフェイスは、以下のベースURIで入手できます。 http://node_hostname_or_IP_address:5598/webhdfs/v1

たとえば、curlコマンドを使用するターミナルの場合、以下のように入力します。

curl -L -X PUT 'localhost:5598/webhdfs/v1/fs/a/b/c/d/e?op=MKDIRS' && 
curl -L -X PUT -T logfile.txt '127.0.0.1:5598/webhdfs/v1/fs/log?op=CREATE&overwrite=true&blocksize=50000&rf=1' &&
curl -L -X POST logfile.txt 'localhost:5598/webhdfs/v1/fs/log?op=APPEND'

また、DSE Sparkシェルの場合は、以下のように入力します。

val rdd1 = sc.textFile("webhdfs://localhost:5598/webhdfs/v1/fs/log")