詳しく見るAsakusa Frameworkとは?

Asakusa Frameworkとは、Hadoop上で大規模な基幹バッチ処理を行うためのフレームワークです。
大容量データを多数のサーバーに分散し、並列処理させることで高速なデータ処理を実現しています。
基幹バッチシステムに必要な開発環境・実行環境・運用環境を実装しているため、Asakusa Frameworkを使えば、
複雑な業務処理もHadoopを意識せずに開発可能です。

リリース情報

一覧
2017年05月08日
Asakusa Framework 0.9.1リリース
Asakusa Framework 0.9.1リリース

本リリースの概要は以下のとおりです。

Direct I/O formatted text

Direct I/Oでレコードやフィールドを区切り文字によって分割するデータ形式を取り扱うための機能 Direct I/O formatted text を追加しました。

従来、Direct I/Oで提供していた Direct I/O CSV や Direct I/O TSV などのテキストフォーマットを扱う機能と比べて、以下のような特徴を持っています。

  • 多様なデータ形式を扱うきめ細かな設定が可能
    • データ形式に関する様々な設定をレコード全体、及びフィールド単位にそれぞれ設定することができます。
    • 従来、事前にデータ整形処理が必要であったようなデータ形式の多くは、この機能で直接処理可能となります。
  •  不整合データに対する柔軟な動作設定が可能
    • 不整合データの検出時にエラーとして異常終了、警告を出力して処理を継続、単にスキップするなど様々な動作設定が可能です。
    • 想定外のデータやアプリケーションの仕様変更などに対して柔軟な対応が可能となります。

詳しくは、以下のドキュメントを参照してください。

Direct I/O formatted text

Direct I/Oのデータフォーマットファイルをテストデータに指定

Direct I/Oを利用したアプリケーションのテストでは通常のテスト方法に加えて、Direct I/Oのデータフォーマットに対応するファイルをテストデータとして指定することが可能になりました。

例えば、CSVやTSVファイルを演算子やデータフローのテストに対する入力データや期待値データとして指定することができます。

詳しくは、以下のドキュメントを参照してください。

Direct I/O ユーザーガイドデータフォーマットに対応したファイルをテストデータに指定

その他の変更点

その他、細かな機能改善およびバグフィックスが含まれます。すべての変更点は、Changelogsをご確認ください。