Beelineを使用したSpark SQL Thriftサーバーへの接続
Shark Beelineを使用して、Spark SQL Thriftサーバーをテストします。
Shark Beelineを使用して、Spark SQL Thriftサーバーをテストできます。
手順
- サービスとしてSparkを有効にした状態またはスタンドアローンのインストールで、DataStax Enterpriseを起動します。
-
パーミッションを持つユーザーとして、dse spark-sql-thriftserver startコマンドを入力してサーバーを起動し、Sparkディレクトリーに書き込みます。
サーバーのデフォルト設定をオーバーライドするには、--hiveconfオプションを使用して、構成プロパティを渡します。構成プロパティの詳細なリストについては、HiveServer2のドキュメントを参照してください。
$ dse spark-sql-thriftserver start
デフォルトでは、サーバーは起動したノード上のlocalhostインターフェイスのポート10000をリッスンします。特定のポートで起動するサーバーを指定することができます。たとえば、ポート10001でサーバーを起動するには、--hiveconf hive.server2.thrift.port=10001オプションを使用します。resources/spark/conf/spark-env.shで、ポートを構成して、アドレスをバインドすることができます。HIVE_SERVER2_THRIFT_PORT, HIVE_SERVER2_THRIFT_BIND_HOST
$ dse spark-sql-thriftserver start --hiveconf hive.server2.thrift.port=10001
--conf
オプションを使用して、一般的なSpark構成設定を指定できます。$ dse spark-sql-thrift-server start --conf spark.cores.max=4
-
Beelineシェルを起動します。
$ dse spark-beeline
-
ご使用のサーバーに対するJDBC URIを使用してサーバーに接続します。
beeline> !connect jdbc:hive2://localhost:10000
-
キースペースに接続して、Beehiveシェルからクエリーを実行します。
0: jdbc:hive2://localhost:10000> use test; 0: jdbc:hive2://localhost:10000> select * from test;