概要
TDV ServerからDatabricksに接続し、イントロスペクトおよびクエリを実行する方法について説明します。
本記事では、CData社より提供されているCData TDV Adapter for Databricksを利用します。
検証環境
| 製品・サービス | バージョン | 備考 |
|---|---|---|
| TDV Server | 8.8.0 | Red Hat Enterprise Linux Server（RHEL）9.x の仮想マシン上で実行 |
| TDV Studio | 8.8.0 | Windows 10 のPC上で実行 |
| Databricks on AWS | 15.4 LTS | ― |
| CData TDV Adapter for Databricks | 24.0.9175 | ― |
前提条件
以降で説明する手順における前提条件を以下に示します。
接続先
Databricksクラスターに接続します。
CData TDV Adapter for DatabricksはSQLウェアハウスにも対応していますが、本記事ではDatabricksクラスターに接続する手順のみを説明します。
クエリ実行先となるカタログは以下を使用します。
認証方式
Databricks個人用アクセストークン（PAT）を利用します。
PATは事前に作成しておく必要があります。
CData TDV Adapter for Databricks インストール
CData社のページよりCData TDV Adapter for Databricksをダウンロードし、<TDVインストールディレクトリ>/binにあるserver_util.shを以下のように実行してインストールします。
<TDVインストールディレクトリ>/bin/server_util.sh -server <hostname> [-port <port>] -user <user> -password <password> -deploy -package <unzipped_file_location>/tdv.databricks/tdv.databricks.jar
実行例は以下のとおりです。
/opt/TIBCO/TDV_Server_8.8/bin/server_util.sh -server localhost -user admin -password admin123 -deploy -package /home/tibco/tdv.databricks/tdv.databricks.jar
インストールに成功するとSuccessと出力されます。
データソース作成
SparkSQLアダプタを使用してデータソースを以下の設定で作成します。
| 項目 | 内容 |
|---|---|
| Server | <DatabricksインスタンスURL> |
| HTTP Path | <接続先DatabricksクラスターのHTTPパス> |
| Token | <Databricks個人用アクセストークン（PAT）の値> |
| 認証スキーム | <PersonalAccessToken> |
接続テストを実施し、正常に接続できることを確認します。
イントロスペクト
クエリ実行先テーブルのメタデータを取得します。
クエリ実行
イントロスペクトされたテーブルをプレビューすることでクエリを実行します。