St_Hakky’s blog

Data Science / Human Resources / Web Applicationについて書きます

GCP

【BigQuery】クエリの単体テストを書こうと思ったけど壁が厚くてどうしようか悩んでいる話

こんにちは。久しぶりのブログ投稿になってしまったのですが、今日は「クエリの単体テストを書こうと思ったけど、壁が厚くてどうしようかなと思った話」を書きたいと思います。はじめに言っておきますが、この記事は特に何か解決策があるわけでもなんでもな…

【Airflow】KubernetesPodOperatorにdag_run.confを渡したい

こんにちは。今日は、airflowと戯れていたら、なんかバグを踏んだか何かをしたので、それについて書きたいと思います。 やりたいこと KubernetesPodOperatorにdag_run.confをenv_varsのパラメーター経由で渡して、そのenv_varsに、実行日を渡して、どの日の…

【GCP】Serverless frameworkを使ってCloud Functionを作る

GCP

こんにちは。最近、Serverless Frameworkを使ってCloud functionを作る機会があったので、そちらについてまとめておきます。 Serverless Frameworkとは ServerlessアプリケーションであるLambdaやCloud Functionを構成管理したりデプロイしたり、ローカルで…

【Python】Apache Beamを使ってデータパイプラインを実装してみる

こんにちは。先日、Apache Beamに関する概要の記事を書きました。www.st-hakky-blog.com今回は、Apache Beam SDKのうち、Pythonを使って、実際にデータパイプラインを実装してみようと思います*1。 今回のお題 今回は、Apache Beamの公式のドキュメントをベ…

Apache Beamとは

こんにちは。最近、社内のデータパイプラインの再設計をしておりまして、その中でGCPのDataflowを使う話が出てきました。その中で、Apache Beamの内容について勉強する必要があったので、それについてまとめます*1 Apache Beamとは 公式サイト 本家のサイト…