St_Hakky’s blog

Data Science / Human Resources / Web Applicationについて書きます

【Pandas】週の曜日の始まりが違う場合の週ごとの日付を取得する方法があったのでまとめる

こんにちは。 モチベーション 今開発で、週の曜日の始まりが違うケースがあって、でも一年間の週の通し番号ごとに集計をしたい、みたいな感じのことがしたく、週の曜日始まりが違う曜日のスタートで、週ごとの日付を取得したいなという気持ちがありました。p…

【Python】Pandasでcross joinをする方法

こんにちは。今日は、pandasでcross joinをする方法について書きたいと思います*1。 やりたいこと df_a, df_bの二つのデータフレームがあったとして、その二つのデータフレームをcross joinしたいなという気持ちになったとします。ただ、Pandasにはこれをそ…

自然言語処理向けのデータ作成ツールの「doccano」を使ってみたので、まとめる

こんにちは。最近、仕事で自然言語処理関係のプロジェクトをやっているのですが、その関係でdoccanoというツールを触ってみることになったので、使い方とかをまとめておきます。 doccanoとは doccanoとは、オープンソースのテキストアノテーションツールです…

【kedro】gcsのファイルを読み込むときのcredentialsの設定方法

こんにちは。kedroのドキュメントにもし書いてあったらすみませんなのですが、地味にハマったので、備忘録的に書いておきます。 やりたいこと gcsにあるデータを読み込んで、それを処理のなかで使いたいです。 設定方法 credentials系の情報は、 conf/local/…

【 Kedro】Kedroに入門したのでまとめる

こんにちは。最近、Kedroと言う機械学習向けのパイプライン構築用のツールを使ってみたので、それについてまとめます。 Kedroとは? 概要 Kedro は QuantumBlack というデータ分析企業 が公開している、プロダクションレディなデータ分析用ワークフロー構築…

【AWS】AWS Data PipelineのstartDateTimeの指定で盛大にハマった話

こんにちは。今日は、AWS Data Pipelineを使っていてstartDateTimeの指定で盛大にハマったので、その話を書きます。 そもそもAWS Data Pipelineって何? って方は、以下の記事をどうぞ。まぁ、この記事読んでいる人はこれについては知っているだろうけど。ww…

【GCP】Serverless frameworkを使ってCloud Functionを作る

GCP

こんにちは。最近、Serverless Frameworkを使ってCloud functionを作る機会があったので、そちらについてまとめておきます。 Serverless Frameworkとは ServerlessアプリケーションであるLambdaやCloud Functionを構成管理したりデプロイしたり、ローカルで…

【AWS】AWS Data Pipelineでプライベートサブネット内にあるDB(RDS)を操作するのに盛大にハマったのでまとめる

こんにちは。今日は、Data Pipelineでプライベートサブネット内にあるDBを操作する場合の対処方法についてはまったので、書いてみたいと思います。 AWS Data Pipelineとは AWS Data Pipelineについては、以前記事にしているので、以下の記事をご覧ください*1…

【AWS】AWS Data Pipeline入門

こんにちは。最近仕事でAWS Data Pipelineを使う機会があったので、その機能についてまとめます。 AWS Data Pipelineとは AWS Data Pipelineとは、一言で言うとAWSが提供するAirflow、みたいな感じになると思います。aws.amazon.comAWSのS3やDynamoDB、Redsh…

【Git】macを新しくしたときにgitをインストールしてGithubの設定もする手順

こんにちは。久しぶりに新しいmacで作業し始めているのですが、これを機に初期セットアップのところをまとめておこうかなと思います。 brewのインストール brewをまずは入れます。途中でXcodeもインストールするアナウンスが出ると思いますが、普通にそれも…

【Golang】AtCoderの精選過去問10問やってみた

こんにちは。今日は、Goの練習がてら、AtCoderの問題を解いてみました。以下の記事を読んで、入門者向けの過去問精選10問があることを知ったので、それをときました。 qiita.com 過去問集 問題はこちら。atcoder.jp 解いたコード 第0問:WelcometoAtCoder pa…

Google Dmainsを使ってドメインを取得したのでまとめる

こんにちは。最近、プライベートでアプリ開発をしてみようと思って、ドメインを初めてGoogle Dmainsを使って取得したので、そのやり方をまとめます。今、Firebaseでアプリケーションはホスティングして、DNSは今後のことも考えてGCPでやっているのですが*1、…

Data Portal(旧Data Studio)を真面目に触ってみたので、参考になった記事とかまとめる

こんにちは。これまで、自社でRedashをメインで使っていたのですが、GCPの移行を部分的に進めているのもあって、Data Portal(Data Studio)を社内使ってみましたので、そのときに調べた内容とかハマったこととかを上げていきたいと思います。まだ、使って4日…

【Git】ローカルリポジトリをリモートリポジトリに反映する

Git

こんにちは。今日は、たまにしかやらないので、忘れてしまうローカルリポジトリをリモートリポジトリに反映する方法を書きます。 ローカルリポジトリの設定 何かしらの経緯で、ローカルリポジトリを設定されていたとします。以下は、自分で設定した場合のコ…

【Golang】godotenv を使ってenvファイルを扱う

こんにちは。今日は、envファイルをGoで扱うために、godotenvを使った方法を試してみたいと思います。 godotenvとは Goには環境変数を読み込んで処理する方法がありますが、godotenvは、envファイルから環境変数を読み込むことができるライブラリです。 Gith…