St_Hakky’s blog

Data Science / Human Resources / Web Applicationについて書きます

【AWS】AWS Data Pipelineでプライベートサブネット内にあるDB(RDS)を操作するのに盛大にハマったのでまとめる

こんにちは。今日は、Data Pipelineでプライベートサブネット内にあるDBを操作する場合の対処方法についてはまったので、書いてみたいと思います。 AWS Data Pipelineとは AWS Data Pipelineについては、以前記事にしているので、以下の記事をご覧ください*1…

【AWS】AWS Data Pipeline入門

こんにちは。最近仕事でAWS Data Pipelineを使う機会があったので、その機能についてまとめます。 AWS Data Pipelineとは AWS Data Pipelineとは、一言で言うとAWSが提供するAirflow、みたいな感じになると思います。aws.amazon.comAWSのS3やDynamoDB、Redsh…

【Git】macを新しくしたときにgitをインストールしてGithubの設定もする手順

こんにちは。久しぶりに新しいmacで作業し始めているのですが、これを機に初期セットアップのところをまとめておこうかなと思います。 brewのインストール brewをまずは入れます。途中でXcodeもインストールするアナウンスが出ると思いますが、普通にそれも…

【Golang】AtCoderの精選過去問10問やってみた

こんにちは。今日は、Goの練習がてら、AtCoderの問題を解いてみました。以下の記事を読んで、入門者向けの過去問精選10問があることを知ったので、それをときました。 qiita.com 過去問集 問題はこちら。atcoder.jp 解いたコード 第0問:WelcometoAtCoder pa…

Google Dmainsを使ってドメインを取得したのでまとめる

こんにちは。最近、プライベートでアプリ開発をしてみようと思って、ドメインを初めてGoogle Dmainsを使って取得したので、そのやり方をまとめます。今、Firebaseでアプリケーションはホスティングして、DNSは今後のことも考えてGCPでやっているのですが*1、…

Data Portal(旧Data Studio)を真面目に触ってみたので、参考になった記事とかまとめる

こんにちは。これまで、自社でRedashをメインで使っていたのですが、GCPの移行を部分的に進めているのもあって、Data Portal(Data Studio)を社内使ってみましたので、そのときに調べた内容とかハマったこととかを上げていきたいと思います。まだ、使って4日…

【Git】ローカルリポジトリをリモートリポジトリに反映する

Git

こんにちは。今日は、たまにしかやらないので、忘れてしまうローカルリポジトリをリモートリポジトリに反映する方法を書きます。 ローカルリポジトリの設定 何かしらの経緯で、ローカルリポジトリを設定されていたとします。以下は、自分で設定した場合のコ…

【Golang】godotenv を使ってenvファイルを扱う

こんにちは。今日は、envファイルをGoで扱うために、godotenvを使った方法を試してみたいと思います。 godotenvとは Goには環境変数を読み込んで処理する方法がありますが、godotenvは、envファイルから環境変数を読み込むことができるライブラリです。 Gith…

【Python】Pandasのメモリ使用量の削減方法のまとめ

こんにちは。今、とある事情でPandasのメモリ使用量の削減を仕事でしているのですが、その時に改めてPandasのメモリ使用量の削減方法を調べたので、まとめてみます。 メモリ使用量の確認 今回、タスクを実施するにあたってメモリ使用量がどのくらいかかって…

【Golang】Go Modulesについて調べたのでまとめる

こんにちは。最近、Goの勉強をせっせとしています。特に業務で使うわけでもなく、完全に趣味なのですが、楽しいのでやっています笑。今回は、Go Modulesについて調べたのでまとめてみます。 Go Modulesとは Go 1.11 から追加された外部パッケージの管理シス…

【Python】Pandasで大きなcsvファイルを読み込む

こんにちは。最近、少し重めのデータを扱うことがありまして、Pandasで読み込もうとしたところ、メモリエラーを食いました。良い機会なので大きめのcsvファイルを扱う時に行うことを自分用メモとしてまとめておこうと思います。 方法一覧 大きめのファイルを…

【Python】Pythonの高速化のためのNumbaのTips

こんにちは。最近、仕事でNumbaを使ったコードと対峙しまして、良い機会だと思って、NumbaのTipsをまとめてみました 本家 Numba: A High Performance Python Compiler Numbaとは PythonやNumpyのコードを高速な機械語に変換するためのJITコンパイラのことを…

【AWS】SAMを使ってLambdaでAuroraを自動で停止させる

こんにちは。先日、開発チームのコスト削減の一環で、開発環境のAuroraをDailyで確認し、起動されていたら、自動的に停止するスクリプトを書きました。そんなに大したことではないのですが、なんかまたありそうなネタなので、自分のブログでまとめておこうか…

【Docker】docker-composeのCPU/メモリ使用量の制限

こんにちは。今仕事でメモリ使用量を最適化するような感じのタスクをやっていて、docker-composeのメモリ使用量を制限するやり方みたいなのを調べたのでまとめておきます*1。docker-composeのversion3を使っているのですが、version2のやり方で行けるかなー…

【Python】テスト駆動開発(TDD)について

こんにちは。最近、「テスト駆動Python」という本を読んで、「弊社の開発チームでは取り入れていませんが、そういえばテスト駆動開発とかもあるなぁ」、と思って、ぼんやりとは知っていたものの、ちゃんと調べたことがなかったので、調べてみました*1。 テス…