Python

値のないキーはレスポンスに含めないで返してクレメンス。
みたいな仕様を実装したくて調べました。

GitHub Gistにそのまま使えそうなコードを発見。

こちらを拝借。

空文

PythonでOracleのNVLみたいな、もといNull合体演算子が使いたくて調べたメモ。

Wikipediaにも書いてあるがorを使えばそれっぽいことができる。
書いてあるように0や空文字、False

Glueの並列読取りのためのプロパティのlowerBound、upperBound。

パーティションカラムの最大値と最小値をジョブ実行のたびに動的に求めて設定できるようにしてみました。

ChaliceはAWSサーバーレスアーキテクチャを使ったREST APIを簡単に開発できるPythonフレームワークです。
API以外にも単にAWSイベントをトリガにしたLambdaを作成することもでき

使ってると色々ハマることがあったのでメモ。

ETLジョブDataFrameとDynamicFrame

GlueのジョブをコーディングするのにPython ShellやPython Sparkが選

以前MicrosoftストアでPython環境を作る方法を紹介しました。

手軽にPythonを試せて便利なのですが、pipでコマンドタイプのライブラリをインストールするとパスが通ってないので実

バッチのテンポラリで使うS3バケットのデータを１日１回綺麗にクリアしたくてやり方を調べました。

最初はS3のライフサイクルポリシーでやろうと思ったのですが、削除タイミングが思い通りに設定できない、綺麗に１日で削除

サーバーに物理ログファイルを書くようなイメージでS3にログを出力したいとき、S3はAppend（追記）ができませんが、Kinesis Firehoseを使うことで複数クライアントからの書込データをバッファリングしてS3にファ

RAC構成のOracleに対しては、JDBCでフェイルオーバーを有効にしたAWS Glue接続定義を作ることができません。

ただし、Python Sparkで直接JDBC接続すればこれが可能になります。

pipでインストールできるライブラリを含める

例としてnumpyをインストールしてみます。

ec2-user:~/environment $ cd MyApp/ec2-user:~/environme