Kerberos認証を使用したHDFSまたはCFSリソースへのアクセス

HDFSまたはCFSリソースへは、Kerberos認証を使用してBYOSノードからアクセスできます。

Kerberos認証を使用しており、BYOSノードからHDFSまたはCFSデータにアクセスする必要がある場合は、次の手順に従ってDSEとSparkを構成します。

手順

  1. Hadoop構成ディレクトリーからDSE Hadoop構成ディレクトリーに、hdfs-site.xmlをコピーします。 
    $ scp hdfs-site.xml admin@dsenode:/etc/dse/hadoop2-client/conf/
  2. DSE Sparkコマンドを使用している場合は、spark.dse.access.namenodesパラメーターを使用して、HDFSまたはCFSのルート・ディレクトリーのコンマ区切りリストを渡します。

    spark.dse.access.namenodesパラメーターは、スタンドアローンSparkのspark.yarn.access.namenodesと同じ効果があります。

    Sparkアプリケーションはノードにアクセスできる必要があり、ノードにアクセスできるようにKerberosを適切に構成する必要があります。それらを同じレルムまたは信頼できるレルムに置く必要があります。

    DSE Sparkは各ノードのセキュリティ・トークンを取得するため、SparkアプリケーションはこれらのリモートHDFSまたはCFSクラスターにアクセスできます。

    dse spark --conf spark.dse.access.namenodes=cfs://node1/,hdfs://node2/,webhdfs://node3:50070
  3. スタンドアローンSparkコマンドを使用している場合は、spark.yarn.access.namenodesパラメーターを使用して、HDFSまたはCFSのルート・ディレクトリーのコンマ区切りリストを渡します。 
    $ spark-shell --master yarn-client --jars dse-byos*.jar --properties-file merged.conf --conf spark.yarn.access.namenodes=cfs://node1/,hdfs://node2/,webhdfs://node3:50070