DataStax Enterprise 5.0リリース・ノート

DataStax Enterpriseリリース・ノートでは、DataStax Enterprise 5.0のコンポーネント、変更点と機能強化、問題点、および解決済みの問題点について説明しています。

DataStax Enterpriseリリース・ノートでは、以下に関するコンポーネント、変更点と機能強化、問題点、および解決済みの問題点について説明しています。

クラスターの統一に関する要件 

各クラスター内のすべてのノードには、同じサブスクリプションを使用できるように同じライセンスが付与されていなければなりません。たとえば、あるクラスターに5つのノードがある場合、そのクラスター内の5つのノードはすべてDataStax Basicであるか、またはすべてDataStax Enterpriseでなければなりません。1つのクラスター内に異なるサブスクリプションを混在させることはできません。「クラスター」とは、ソフトウェアを実行し、ゴシップを介して相互に通信し合うノードのコレクションであり、「ゴシップ」とは、関連するノードの相互通信を可能にするソフトウェア内のメカニズムです。詳細については、「エンタープライズ条件」を参照してください。

DSE 5.0.1のリリース・ノート 

2016年7月7日

5.0.1 コンポーネント 

  • Apache Cassandra 3.0.7.1159

DSE 5.0.1 解決済みの問題点 

  • 4.8から5.0.0にアップグレードすると、CFSが破損します（DSP-10299）。

DSE 5.0.1 既知の問題点 

  • Cassandraネイティブ・プロトコルV4をサポートしていないドライバーでは、DSE Search CQLクエリーが失敗する可能性があります（DSP-10354）。

5.0.1 Cassandraの変更点 

DataStax Enterprise 5.0.1ではApache Cassandra Cassandra 3.0.7が認定され、実稼働向けに認定されたCassandraの変更点が追加されています。

DSE 5.0.0のリリース・ノート 

2016年6月28日

5.0 コンポーネント 

  • Apache Cassandra 3.0.7.1158
  • Apache Hadoop 1.0.4.18
  • Apache Hive 0.12.0.13
  • Apache Mahout 0.8
  • Apache Pig 0.10.1
  • Apache Solr 4.10.3.2
  • Apache Spark 1.6.1.2
  • Apache Sqoop 1.4.5.15.1
  • Apache Tomcat 6.0.45
  • Hive Connector 0.4.39
  • Java Driver for Apache Cassandra 3.0.0
  • Jetty 8.1.14.v20131031
  • Netty 4.0.34.Final
  • Spark Connector 1.6.0
  • TinkerPop 3.2.1

ドライバー 

ドライバーの互換性を確認してください。ご使用のドライバーがこのバージョンに対応していない場合や、再コンパイルが必要な場合があります。

5.0 新機能 

DSE Graph
DSE Advanced Replication
DSE Multi-Instance
DSE Tiered Storage

5.0 変更点と機能強化 

以下に関する変更点と機能強化：
5.0 DataStax Enterpriseの変更点と機能強化
  • Cassandraコミット・ログの暗号化がサポートされるようになりました（DSP-2768）。
  • DSE Unified Authenticationによって、DataStax Enterpriseで複数の認証スキームを使用できるようになりました（DSP-4191）。
  • cassandra.yamlプロパティ値が廃止されました（DSP-4838）。
  • 遅いクエリーのしきい値をパーセンタイルとして設定できるようになりました（DSP-5089）。
  • ネイティブ・プロトコルのオーセンティケーターを使用する認証を全面的に監査できるようになりました（DSP-5963）。
  • DataStax Enterpriseには2つのメタストアがあります。1つはHive用（廃止予定）、もう1つはSpark、Spark CQL、およびSpark Thriftサーバー用です。内部的に、Sparkメタストア内のテーブルは、対応するCassandraデータベース・テーブル用に生成されるSpark Cassandraソース・テーブルを使用します（DSP-6204）。
  • 再起動せずにトラストストア証明書を再度読み込むための新しいdsetoolコマンドが導入されました（DSP-6180）。
  • Cassandra 3.0のヒントで機能するように暗号化のヒントが更新されました（DSP-6421）。
  • Cassandraのネイティブ・プロトコルを使用したRPCでは、Cassandra認証とロールベースのアクセスを活用します。RPCパーミッションを設定してください（DSP-6438）。
  • cassandra.yamlではtrickle_fsync: trueが新しくデフォルトになったため、SSDのパフォーマンスが向上します。プラッターの場合は、trickle_fsync: falseに変更してください（DSP-6564）。
  • dsetool検索コマンドが、Cassandraパスワード認証で機能するようになりました（DSP-6583）。
  • ノードが完全に健全な状態になるために必要な稼働時間を構成できるようになりました（DSP-6883）。
  • CFSCompactionStrategyが廃止されました。代わりに、SizeTieredCompactionStrategyを使用してください（DSP-7872）。
  • YumおよびAPTのパッケージ・インストール・コマンドでは、Cassandraコアのみのインストール、またはAnalytics、Search、およびDSE Graphのインストールがサポートされるようになりました（DSP-8195）。
  • インストール・オプションで、さまざまなノード・タイプやヒント・ディレクトリーを有効にできるようになりました（DSP-8357）。
  • クエリー・メトリクスの精度が向上しました（DSP-8402）。
  • cqlshrcファイルにはKerberosサービス・エントリーだけが必要であり、qopはデフォルトでauthに設定され、serviceはデフォルトでdseに設定されます（DSP-8667）。
  • Tomcat Webサーバーの構成ファイルの場所が、/etc/dse/tomcat/confに変更されました（DSP-8740）。
  • dsetool statusの出力が改善され、混在ワークロード、ノードの健全性、および有効なグラフが表示されるようになりました（DSP-9399）。
  • パッケージ・インストールからdseのデモが削除されました。DataStaxインストーラーには、DataStax Enterpriseのデモをインストールするためのオプションがあります（DSP-9596）。
5.0 DSE Analyticsの変更点と機能強化
  • 複数のDSE Analyticsデータ・センターを作成する場合は、dse_leasesキースペースに適切なレプリケーション係数を設定する必要があります。さもなければ、Job Trackerが選択されません（DSP-4328）。
  • Job Trackerの選択は、自動的に管理されます。Job Trackerを手動で設定する機能は削除されました（DSP-5944）。
  • DSE PySpark Scalaラッパーが削除されました。PySparkとDSE PySparkでは、より効率的なデータフレームAPIの使用がサポートされています（DSP-6317）。
  • Cassandraのネイティブ・プロトコルを使用したRPCでは、Cassandra認証とロールベースのアクセスを活用します。Sparkを起動するには、DseClientToolへのRPCアクセスが必要です。RPCパーミッションを設定してください（DSP-6438）。
  • SparkワーカーがDataStax Enterpriseプロセス内で機能し、独立したプロセスは生成されなくなりました（DSP-6755）。
  • デフォルトでは、HiveとPigの場合以外はHadoop 2.7.1クライアント・ライブラリが使用されます。HiveとPigでは、Hadoopトラッカーが組み込まれたHadoop 1.0.4ライブラリが使用されます（DSP-7848）。
  • DSEFSは、主にSparkストリーミング・ユース・ケース用のDataStax Enterprise内の新しい分散ファイル・システムです。CFSは廃止され、DSEFSに置き換えられます（DSP-8353）。
  • HadoopとSqoopが廃止され、このドキュメントから削除されました。代わりに、Sparkを使用してください（DSP-7848）。
  • DataStax Enterprise用のHadoopが廃止されました。DSE HadoopとBYOH（Bring Your Own Hadoop）が廃止され、このドキュメントから削除されました。DSE AnalyticsにはSparkを使用することを推奨します（DSP-9081）。
5.0 DSE Searchの変更点と機能強化
  • Solrインデックスが暗号化されるようになりました（DSP-3368）。
  • solr.UUIDFieldを拡張する新しいカスタム型（solr.TimeUUIDField）のtimeuuidで、日付クエリーがサポートされるようになりました（DSP-3905）。
  • 共通のスレッド・プールとスケジューラーを使用することで、パフォーマンス・オブジェクトのパフォーマンスが向上しました。dse.yamlのasync_writersオプションが削除されました（DSP-4443）。
  • CQLクエリー結果にnumFoundが表示されるようになりました（DSP-4586）。
  • 遅いクエリーのしきい値を要求時間のパーセンテージとして構成できるようになりました（DSP-5089）。
  • 任意で、ライブ・インデクシング（RT）のポスティングをオフヒープに割り当てるように構成できるようになりました（DSP-5491）。
  • CQLQueryHandlerが自動的に挿入されるようになりました（DSP-5831）。
  • Solrコミット・ログが暗号化されるようになりました（DSP-5955）。
  • netty_server_portが廃止されました。クラスター内のすべてのノードがDataStax Enterprise 5.0を実行した後、ノード間メッセージング・オプションでローカル・ノードからの要求をコーディネートします（DSP-5928）。
  • 自動リソース生成のための領域節約プロファイルが導入されました（DSP-6375）。
  • インデックス時のブーストのサポートが削除されました。代わりに、クエリー時のブーストを使用してください（DSP-6507）。
  • テーブル・スキーマおよびクエリーで地理空間ポイント型がサポートされるようになりました（DSP-6520）。
  • Solrコアでインデックスの再作成を停止するための新しいdsetoolコマンドが導入されました（DSP-6384）。
  • JSONドキュメントのインデックス作成およびクエリーがサポートされるようになりました。CQLの拡張によってJSONドキュメントを簡単に操作できます（DSP-6787）。
  • リソース生成では、インデックス付きカラムの指定、およびdsetool create_coreとinfer_schemaコマンド用の新しいcoreOptionsInlineオプションがサポートされるようになりました（DSP-6900）。
  • クラスター化キー範囲の削除が、Solrインデックスに反映されます（DSP-7015）。
  • dsetoolでは、インデックスを再作成せずにSolrコアが暗号化されるようになりました（DSP-7083）。
  • Luceneフィールド・キャッシュが廃止されました。代わりに、フィールドにdocValues="true"を設定してください（DSP-7090）。
  • ポイント型のインデックス作成と検索がサポートされるようになりました（DSP-7220）。
  • ShortType CQLカラムがサポートされるようになりました。CQL型のsmallintは、Solr型のTrieIntFieldにマッピングされます（DSP-7273）。
  • generateResources=trueのLenientモードではサポートされていないカラムがスキップされますが、スキーマとコアは生成されます（DSP-7555）。
  • reindex=trueが指定されていない場合、dsetool create_coreの後にインデックスを再読み込みするためのメッセージが追加されました（DSP-7631）。
  • DSE Searchのレガシーnettyトランスポートですべてのノード間の暗号化オプションがサポートされるようになりました（DSP-8374）。
  • DSE SearchAnalyticsワークロードのドライバー・ページング設定は自動的に有効になります（DSP-8618）。
  • （DSP-9773）。
  • HTTPベースのSolrシャード・トランスポート・オプションが廃止されました。代わりに、ノード間メッセージング・オプションを使用してください（DSP-9856）。

5.0 既知の問題点 

5.0の既知の問題点：
  • DSEFSからマルチブロック・ファイルを読み取ると、リソース・リークやデータ破損が発生する可能性があります（DSP-10245）。

    1ブロックより大きなファイルを作成しないでください。ファイルまたはディレクトリーを作成するときは、ファイルのブロック・サイズを大きな値に設定します。ファイルおよびディレクトリーを作成するときは、-b block sizeオプションを使用します。

  • 4.8から5.0.0にアップグレードすると、CFSが破損します（DSP-10299）。
    警告: DataStax Enterprise（DSE）の以前のリリースからDSE 5.0.0にアップグレードすると、CFSを使用できなくなります。DSE 5.0.0へのアップグレード後にCFSに新しいデータを挿入しようとすると、CFSにデータが挿入されず、エラー・メッセージが表示されません。
    • CFSを使用している場合は、DataStax Enterprise 5.0.0にアップグレードしないでください。代わりに、DataStax Enterprise 5.0.1以降をインストールしてください。
    • CFSを使用していない場合、または新しいDataStax Enterprise 5.0.0インストールでCFSを使用している場合は、この問題が発生しません。
  • インデックスのパフォーマンスを向上させるには、ニア・リアルタイム（NRT）インデクシングを使用したDSE Searchに実稼動に適したmergeScheduler値を設定してください（DSP-9325）。
  • DSE Search：XをYとして選択すると、CQL Solrクエリーでエラーになります（DSP-7945）。
  • DSE 5.0に付属のTikaを使用して、暗号化されたPDFからテキストを抽出するための直接的なサポートはありません（DSP-10072）。

    この機能が必要な場合は、BouncyCastleバージョン1.54のモジュールbcmail-jdk15onおよびbcprov-jdk15onのJARをDSEクラスパスに追加すると、この機能を有効にすることができます。

5.0 解決済みの問題点 

以下に関する解決済みの問題点：

5.0 DataStax Enterpriseの解決済みの問題点 

  • SSL + Kerberosでqop=auth-intまたはauth-confが警告として報告されませんでした（DSP-6939）。
  • 強制的な結合では、構文が正しいかどうかをチェックする必要がありました（DSP-7625）。
  • CASSANDRA-10241のために、logback設定が更新されました（DSP-8762）。
    デバッグ・ロギングがデフォルトでオンになります。debug.log内には次のアクションがあります。
    • memtableフラッシュ・アクション
    • コミット・ログがリプレイされたファイル
    • コンパクションされたSSTable
    • SStableのオープン（SSTableReader）
    デバッグ・ロギングを無効にするには、ルート・レベル・セクションでASYNCDEBUGLOGアペンダーをコメント・アウトしてください。
    <root level="INFO">
<appender-ref ref="SYSTEMLOG" />
<appender-ref ref="STDOUT" />
<appender-ref ref="ASYNCDEBUGLOG" /> <!-- debug.logを無効にするにはこの行をコメントにする -->
...
</root>

5.0 DSE Analyticsの解決済みの問題点 

  • SparkストリーミングのKafkaのデモが削除されました（DSP-7725）。
  • Sparkシェル変数hcの名前が、OSS Spark命名規則に合わせてsqlContextに変更されました。CassandraSparkContextは削除されました（DSP-7958）。

5.0 DSE Searchの解決済みの問題点 

  • BYOHをすばやく起動するためにbyoh-env.shのPIG_PARTITIONER='dsetool partitioner'呼び出しが削除されました（DSP-6962）。
  • データ・インポート・ハンドラーのThriftテーブル作成後に、有効なSolrコアを作成できませんでした（DSP-6982）。
  • ウィキペディアのcql create_tableがLDAPで機能しませんでした（DSP-7236）。
  • dsetoolユーティリティにデフォルト以外のCassandraポートの引数がありませんでした（DSP-7856）。
  • いずれかのノードがダウンしたときにコアの作成/再読み込みに失敗しないように、adminテーブルがリペアされました（DSP-7948）。
  • ライブ・インデクシングによってソートされた語のシークおよび反復が修正されました（DSP-8009）。
  • ライブ・インデクシングによってソートされた語のTermStateを使用したseekExactが最適化されました（DSP-8080）。
  • create_core復旧が機能しませんでした（DSP-9891）。
  • Solrコアが閉じていても、テーブルを削除するとCassandraが強制的にシャットダウンされる可能性がありました（DSP-9907）。

5.0 Cassandraの変更点 

DataStax Enterprise 5.0ではApache Cassandra Cassandra 3.0.7が認定され、実稼働向けに認定されたCassandraの変更点が追加されています。

5.0 Spark、Hive、およびHadoopの変更点 

DataStax Enterprise 5.0では、Spark 1.6.1.2、Hive 0.12.0.13、およびHadoop 1.0.4.18が認定され、実稼働向けに認定された以下の変更点が追加されています。
  • httpclient依存関係が削除されました（HADOOP-10105）。
  • セキュリティ欠陥に対処するためにcommons-collectionsが3.2.2にバージョン・アップされました（HADOOP-12577）。
  • apache httpclientが4.5.2に、httpcoreが4.4.4にバージョン・アップされました（HADOOP-12767）。
  • hive.server2.logging.operation.enabledがfalseの場合、HiveSessionImpl#fetchResultsは運用ログをフェッチしません（HIVE-8529）。
  • sem.getInputs()とsem.getOutputs()を確認します（HIVE-12875）。
  • SparkのHive Thriftサーバーのbig decimalデータの問題（SPARK-12985）。