使ってみた

ChaliceはAWSサーバーレスアーキテクチャを使ったREST APIを簡単に開発できるPythonフレームワークです。
API以外にも単にAWSイベントをトリガにしたLambdaを作成することもでき

書いてみた

使ってると色々ハマることがあったのでメモ。

ETLジョブDataFrameとDynamicFrame

GlueのジョブをコーディングするのにPython ShellやPython Sparkが選

調べてみた

以前MicrosoftストアでPython環境を作る方法を紹介しました。

手軽にPythonを試せて便利なのですが、pipでコマンドタイプのライブラリをインストールするとパスが通ってないので実

やってみた

バッチのテンポラリで使うS3バケットのデータを1日1回綺麗にクリアしたくてやり方を調べました。

最初はS3のライフサイクルポリシーでやろうと思ったのですが、削除タイミングが思い通りに設定できない、綺麗に1日で削除

やってみた

サーバーに物理ログファイルを書くようなイメージでS3にログを出力したいとき、S3はAppend(追記)ができませんが、Kinesis Firehoseを使うことで複数クライアントからの書込データをバッファリングしてS3にファ

調べてみた

RAC構成のOracleに対しては、JDBCでフェイルオーバーを有効にしたAWS Glue接続定義を作ることができません。

ただし、Python Sparkで直接JDBC接続すればこれが可能になります。

調べてみた

pipでインストールできるライブラリを含める


例としてnumpyをインストールしてみます。

ec2-user:~/environment $ cd MyApp/ec2-user:~/environme

調べてみた

PythonのmysqlclientでIN句を使う方法を調べました。

import MySQLdbconnection = MySQLdb.connect( host='localhost',

やってみた

DynamoDBのTTL機能を使うと、項目に期限を設定して、自動削除することができます。
※削除は期限切れになってから48時間以内に実行されます。

import boto3import

調べてみた

こういう感じのShift_JISでエンコーディングされたXMLファイルを

<?xml version="1.0" encoding="Shift_JIS" ?&g