KerberosでのSpark SQL Thriftサーバーの起動

KerberosとBYOSで、Spark SQL Thriftサーバーを起動します。

Spark SQL Thriftサーバーは実行に時間のかかるサービスで、Kerberosが有効になっている場合は、キータブ・ファイルから起動するように構成する必要があります。ユーザー・プリンシパルをDSEに追加し、Spark SQL Thriftサーバーは、生成されたBYOS構成ファイルとbyos-version.jarで再起動する必要があります。

始める前に

これらの手順はSpark SQL Thriftサーバー用で、HortonWorks 2.4内にあります。Hadoop Spark SQL Thriftサーバーのプリンシパルは、hive/_HOST@REALMです。

手順

  1. cqlshを使用して、DSEノードでプリンシパルを作成します。 
    create user hive/spark_sql_thrift_server_host@REALM;
  2. hiveユーザーとして、Spark SQL Thriftサーバー・ホストにログインします。
  3. JAAS Kerberos構成で~/.java.login.configファイルを作成します。
  4. 生成されたBYOS構成ファイルを使用して、既存のSpark SQL Thriftサーバー構成プロパティを新しいファイルにマージします。 
    cat /usr/hdp/current/spark-thriftserver/conf/spark-thrift-sparkconf.conf byos.properties > custom-sparkconf.conf
  5. カスタム構成ファイルとbyos-version.jarを使用して、Spark SQL Thriftサーバーを起動します。 
    /usr/hdp/2.4.2.0-258/spark/sbin/start-thriftserver.sh --jars byos-version.jar --properties-file custom-sparkconf.conf
  6. Beelineクライアントを使用して接続します。 
    beeline -u 'jdbc:hive2://hostname:port/default;principal=hive/_HOST@REALM'

次のタスク

-fオプションを使用して、生成されたSQLスキーマ・ファイルをbeelineに渡し、DSEテーブルのマッピングを生成することができるため、クエリー用のサービスを通じてHadoopとDataStax Enterpriseの両方のテーブルを利用できます。