RDS（MySQL） から BigQuery へ1日1回データを同期して、データ分析やレポート系の処理で利用することになりました。 構成 以下の構成でデータを同期することにしました。 要件1: データの断面は合わせたい 元々はEmblukを使って直接同期しようと考えていたが、Embulkだとテーブル毎にデータを同期することになり、テーブルによってデータの断面が微妙にずれるため断念 CSV 形式でダンプして、Embulk で同期することもできそうだが、元々自動でスナップショットが取られているのでそれを利用することにした => スナップショットを parquet 形式で S3 にエクスポートすれば、BigQuery Data Transfer Service を使って BigQuery に取り込むことができるので、採用 要件2: コストを抑えたい 定額利用料がかかるサービスは使うことはで Continue Reading
この記事では、Amplify SDK（JavaScript）を使い、Cognitoの認証機能を試してみたいと思います。 ただ、Amplify でアプリを作成したいわけではないので、amplify initなどは使わず、Amplify SDKだけを利用する形で検証してみたいと思います。 これができれば、既存のアプリにCognitoを組み込みたい場合にも都合が良さそうです。 登場人物 今回はホストされたUIは利用せず、UIを自作した上でAPIを直接呼び出して、サインアップ、サインインなどの処理を行います。 Cognito ユーザプール サインアップ画面 コード確認画面 サインイン画面 現在のセッション確認画面 パスワード変更画面 パスワード忘れ画面 ユーザプールを作成 AWSコンソール画面からユーザプールを作成します。 APIの検証が主目的なので、最もシンプルな構成にしようと思います。 1.サ Continue Reading
AWSの色んなサービスを意図的に使って、サンプルWebアプリを構築してみているのですが、今回は part3 ということで、「CodeBuild・CodePipelineを使ってデリバリーパイプラインを導入」していきたいと思います。 part1: RDS 環境構築 part2: EKSでRDSにアクセスするWEB APIサーバを構築 part3: CodeBuild・CodePipelineを使ってデリバリーパイプラインを導入（今回） 今回実現すること ビルド CodeBuild でDocker イメージを作成して ECR にプッシュする デプロイ CodeBuild で ECR 上の Docker イメージを EKS クラスタに、デプロイする パイプライン v*.*.*形式のタグが GitHub リポジトリにプッシュされたら、ビルドを実行する CodePipeline で、GitHub の Continue Reading
AWSの色んなサービスを意図的に使って、サンプルWebアプリを構築してみているのですが、今回は part2 ということで、「EKSでRDSにアクセスするWEB APIサーバを構築」していきたいと思います。 part1: RDS 環境構築 part2: EKSでRDSにアクセスするWEB APIサーバを構築（今回） part3: CodeBuild・CodePipelineを使ってデリバリーパイプラインを導入 本記事で対応する内容 この記事では、以下をやってみました。 API サーバの Docker イメージを Amazon ECR にプッシュする Amazon EKS クラスタを作成する EKS クラスタに Docker コンテナをデプロイする Docker コンテナ（POD）から RDS にアクセスする 作業用 IAM ユーザを作成 IAM ユーザ（sample-admin）を作成します Continue Reading
こちらの記事 で AWS の基礎はある程度把握できた気がするので、以下のような構成のサンプルアプリを作ってみることにしました。アプリ自体は、「Web画面で入力したコメントをDBに登録する」だけの超シンプルなものです。 全てをまとめてやるのは大変なので、全三回に分けて順番にやってみます。 今回は part1 ということで、「RDS 環境構築」までをやってみたいと思います。具体的な作業としては、VPC を作成し、RDS で MariaDB のデータベースを作成して、テーブルを作成するところまでです。 part1: RDS 環境構築（今回） part2: EKSでRDSにアクセスするWEB APIサーバを構築 part3: CodeBuild・CodePipelineを使ってデリバリーパイプラインを導入 今回利用するサービス Amazon VPC 今回のシステムを構成するコンポーネント全体を所属 Continue Reading
仕事で AWS を利用することになり、これまで GCP ばかり利用してきたので、 AWS を一から勉強し直すことにしました。基本的には、以下の二つで紹介いただいている内容を中心に Web アプリケーションエンジニア に必要そうなものをやってみました。 AWSの開始方法（公式） 【AWS初心者向け】AWS学習方法まとめ【15時間で達成できる】 この記事は、参照した Web サイト／動画／チュートリアルの内容を後で振り返るための自分用の箇条書きメモになります。 読み物 クラウド (クラウドサービス) とは？（0.5h） https://aws.amazon.com/jp/cloud/ クラウドについての前提知識を説明してくれてます。 クラウドサービスとは IT リソースをオンデマンドで利用することができるサービスの総称 従量課金が一般的 6つのメリット 固定の償却コストが変動コストに 事前にサ Continue Reading
