リリース情報

2017年

2017年11月30日
Asakusa Framework 0.10.0リリース
Asakusa Framework 0.10.0リリース

Asakusa Framework 0.10.0がリリースされました。

→Asakusa Framework 0.10.0 リリースノート

本リリースでは、ビューAPI などのAsakusa DSLに対するいくつかの拡張機能や、新しいコマンドラインインターフェース Asakusa CLI などの機能追加が行われました｡ またこれらの機能を実現するため、Operator DSLコンパイラを刷新するなどAsakusa Frameworkの内部にも大幅な変更と拡張が行われました。

これらの機能拡張を検討し、また今後のAsakusa Framework開発の計画を検討する過程で、 Hadoop MapReduceを実行基盤として利用する Asakusa on MapReduce については今後も継続して Asakusa on Spark や Asakusa on M3BP といった他の実行エンジンと同等の機能や品質を維持することは困難であると判断し、 本バージョンから Asakusa on MapReduce を非推奨機能 として位置づけました。 このため、本バージョンで追加されたいくつかの機能拡張に、Asakusa on MapReduceは対応していません。Asakusa on MapReduceの非推奨機化について詳しくは、Asakusa on MapReduceの非推奨化 にて説明しています。

新機能と主な変更点

本リリースでの主な変更内容です。リンクをクリックすると詳細を確認できます。

Asakusa on MapReduceの非推奨化

Hadoop MapReduceを実行基盤として利用する Asakusa on MapReduce は本バージョンから非推奨機能となりました。

詳細については、以下をご確認ください。リンクをクリックすると詳細を確認できます。

互換性に関して

過去バージョンからのマイグレーション時に確認すべき変更点については、 下記をご確認ください。

その他、細かな機能改善およびバグフィックスが含まれます。すべての変更点は、Changelogsをご確認ください。

2017年08月08日
Asakusa Framework 0.9.2リリース
Asakusa Framework 0.9.2リリース

Asakusa Framework 0.9.2がリリースされました。

→Asakusa Framework 0.9.2 リリースノート

本リリースの概要は以下のとおりです。

DMDLプロパティ参照

DMDLプロパティ参照は、DMDLのレコードモデルおよび射影モデルに対して、複数のプロパティを単一のコレクションとして利用する機能をを提供します。

これらは固定長のリスト ( java.util.List ) またはマップ ( java.util.Map ) として利用でき、それぞれの要素はデータモデル内に存在するプロパティの参照を表します。 つまり、データモデル中のプロパティの値を変更するとリストやマップの値も変化し、リストやマップに対して変更を行うと、対応するプロパティの値が変化します。

このプロパティ参照を上手に利用すると、データモデル内に存在する「プロパティの繰り返し」を容易に処理できるようになります。

詳しくは、以下のドキュメントを参照してください。

DMDLユーザーガイド – プロパティ参照を定義する

WindGate JDBC ダイレクト・モード を正式機能としてリリース

バージョン 0.9.0 から試験的機能として公開していた WindGate JDBC ダイレクト・モード を正式機能として公開しました。

WindGate JDBC ダイレクト・モードとは、WindGateを利用したバッチアプリケーションの実行時にデータフロー処理を行うプロセスの内部で直接 WindGate JDBCによるデータベースへのインポート処理とエクスポート処理を行うように動作する、 Asakusa on M3BP 固有の最適化設定です。

WindGate JDBC ダイレクト・モードを利用することで、通常のWindGateよりもバッチアプリケーション全体の実行時間が大きく短縮できる可能性があります。

詳しくは、以下のドキュメントを参照してください。

Asakusa on M3BPの最適化設定 – WindGate JDBC ダイレクト・モード

WindGate – Oracleパーティションテーブルの並列読み出し

WindGateの最適化オプションに、Oracleパーティションテーブルに対する並列読み出しを行うオプションが追加されました。

この機能は、 WindGate JDBC ダイレクト・モード でのみ利用することができます。 この機能の設定方法などは、 WindGate JDBC ダイレクト・モード のドキュメントを参照してください。

その他の変更点

その他、細かな機能改善およびバグフィックスが含まれます。すべての変更点は、Changelogsをご確認ください。

2017年05月08日
Asakusa Framework 0.9.1リリース
Asakusa Framework 0.9.1リリース

本リリースの概要は以下のとおりです。

Direct I/O formatted text

Direct I/Oでレコードやフィールドを区切り文字によって分割するデータ形式を取り扱うための機能 Direct I/O formatted text を追加しました。

従来、Direct I/Oで提供していた Direct I/O CSV や Direct I/O TSV などのテキストフォーマットを扱う機能と比べて、以下のような特徴を持っています。

  • 多様なデータ形式を扱うきめ細かな設定が可能
    • データ形式に関する様々な設定をレコード全体、及びフィールド単位にそれぞれ設定することができます。
    • 従来、事前にデータ整形処理が必要であったようなデータ形式の多くは、この機能で直接処理可能となります。
  •  不整合データに対する柔軟な動作設定が可能
    • 不整合データの検出時にエラーとして異常終了、警告を出力して処理を継続、単にスキップするなど様々な動作設定が可能です。
    • 想定外のデータやアプリケーションの仕様変更などに対して柔軟な対応が可能となります。

詳しくは、以下のドキュメントを参照してください。

Direct I/O formatted text

Direct I/Oのデータフォーマットファイルをテストデータに指定

Direct I/Oを利用したアプリケーションのテストでは通常のテスト方法に加えて、Direct I/Oのデータフォーマットに対応するファイルをテストデータとして指定することが可能になりました。

例えば、CSVやTSVファイルを演算子やデータフローのテストに対する入力データや期待値データとして指定することができます。

詳しくは、以下のドキュメントを参照してください。

Direct I/O ユーザーガイド – データフォーマットに対応したファイルをテストデータに指定

その他の変更点

その他、細かな機能改善およびバグフィックスが含まれます。すべての変更点は、Changelogsをご確認ください。

リリース情報