Beelineを使用したSpark SQL Thriftサーバーへの接続

Shark Beelineを使用して、Spark SQL Thriftサーバーをテストします。

Shark Beelineを使用して、Spark SQL Thriftサーバーをテストできます。

手順

  1. サービスとしてSparkを有効にした状態またはスタンドアローンのインストールで、DataStax Enterpriseを起動します。
  2. パーミッションを持つユーザーとして、dse spark-sql-thriftserver startコマンドを入力してサーバーを起動し、Sparkディレクトリーに書き込みます。

    サーバーのデフォルト設定をオーバーライドするには、--hiveconfオプションを使用して、構成プロパティを渡します。構成プロパティの詳細なリストについては、HiveServer2のドキュメントを参照してください。

    $ dse spark-sql-thriftserver start

    デフォルトでは、サーバーは起動したノード上のlocalhostインターフェイスのポート10000をリッスンします。特定のポートで起動するサーバーを指定することができます。たとえば、ポート10001でサーバーを起動するには、--hiveconf hive.server2.thrift.port=10001オプションを使用します。resources/spark/conf/spark-env.shで、ポートを構成して、アドレスをバインドすることができます。HIVE_SERVER2_THRIFT_PORT, HIVE_SERVER2_THRIFT_BIND_HOST

    $ dse spark-sql-thriftserver start --hiveconf hive.server2.thrift.port=10001

    --confオプションを使用して、一般的なSpark構成設定を指定できます。

    $ dse spark-sql-thrift-server start --conf spark.cores.max=4
  3. Beelineシェルを起動します。
    $ dse spark-beeline
  4. ご使用のサーバーに対するJDBC URIを使用してサーバーに接続します。
    beeline> !connect jdbc:hive2://localhost:10000
  5. キースペースに接続して、Beehiveシェルからクエリーを実行します。
    0: jdbc:hive2://localhost:10000> use test; 0: jdbc:hive2://localhost:10000> select * from test;