DataStax EnterpriseでのBYOSサポートの概要
DataStax Enterpriseでは、外部SparkクラスターからDataStax Enterpriseクラスターに接続するためのJARファイルと構成ファイルを提供しています。
DataStax EnterpriseのBYOSサポートはJARファイルと生成済みの構成ファイルで構成されており、外部Sparkクラスターから特定のDataStax Enterpriseクラスターへの接続に必要なクラスと構成設定をすべて提供します。元々オープン・ソースのApache Spark用に記述されたアプリケーションに対応するように別のクラスパスを指定するには、dse sparkコマンドで-frameworkオプションを指定します。
DSEFSファイルの場所を含むすべてのDSEリソースには、外部Sparkクラスターからアクセスできます。
BYOSは、DSEに統合されたSparkのバージョン(DataStax Enterprise 5.1のリリース・ノートで説明)および以下のSparkディストリビューションに対してテストされています。
- Hortonworks Data Platform(HDP)2.5
- Cloudera CDH 5.10