こんにちは。先日、Apache Beamに関する概要の記事を書きました。www.st-hakky-blog.com今回は、Apache Beam SDKのうち、Pythonを使って、実際にデータパイプラインを実装してみようと思います*1。 今回のお題 今回は、Apache Beamの公式のドキュメントをベ…
こんにちは。最近、社内のデータパイプラインの再設計をしておりまして、その中でGCPのDataflowを使う話が出てきました。その中で、Apache Beamの内容について勉強する必要があったので、それについてまとめます*1 Apache Beamとは 公式サイト 本家のサイト…
こんにちは。 Redashが吐き出したエラー 会社でRedashを使っているのですが、こいつがクエリを叩くたびに以下のようなエラーを出すようになりました。 Error running query: failed communicating with server. Please check your Internet connection and t…
こんにちは。最近、社内でScalaを使っていくことになりまして、勉強し始めました。 sbtenv Githubのページはこちら。github.com インストール 基本的には、Githubから落としてきて、そのままPATHの指定をやるだけ(私は、zshを使っているので)。 $ git clone …
こんにちは。会社でGoを本格的に使う感じになりそうなので、色々手探りながら勉強しながらやっています。今回は、Go自体のバージョン管理を行うことができる、gvmを使ってみました。 gvmとは gvm は、Go Version Manager の略で、github.com インストール 今…
こんにちは。Golangを会社で使うことになりそうなので、年末年始を使って、 A Tour of Go をやっています。一通り読んだので、Atomで諸々書いてみるかーと思ったので、ついでに環境設定を書いておきます。N番煎じくらいの記事なので、目新しいことはなく、た…
こんにちは。最近、仕事が鬼のように忙しくて、あんまりブログ更新できていませんでしたが、また更新していこうと思います。 モチベーション 仕事で、文章を書いてそれを出すやつのお手伝いをしているのですが、その際に次のような話が上がりました。 文章の…
こんにちは。最近、チームでパッケージアップデートを盛んに行う、それはもうお盛んに行うというイベントがありました。その中で、「いやー、これはやばいっしょ」ってなって、そこからパッケージアップデートサービスを導入しようみたいな動きになりました…
こんにちは。随分前ですが、Facebookの時系列予測ライブラリのProphetについて記事を書きました。www.st-hakky-blog.comちょっぴり本格的に使う機運が高まってきて、「そういえばどうやってモデルを保存・呼び出しするんだろう」って思って、調べてみました…
こんにちは。いつも忘れるので、備忘録。 Jupyter Notebook上で使うときの方法 import plotly.graph_objs as go from plotly.offline import init_notebook_mode, plot, iplot init_notebook_mode(connected=True) 参考 Plotly Offline for IPython Notebooks…
こんにちは。いつも忘れてしまうので、書きます。 やりたいこと Pandasで、applyの処理を書くことはよくあると思うのですが、このときに複数の値を返して、一度で複数カラムを追加したいのです。通常、apply関数を使用して素直にやろうとすると、以下のよう…
こんにちは。今回は、Pythonのライブラリである「folium」を使って、位置情報を可視化してみたので、その方法についてまとめてみます。 概要 Pythonで簡単に使える、地理情報の可視化ライブラリです。以下が関連サイト Github:GitHub - python-visualizatio…
こんにちは。今作っているシステムで、CircleCIがこけるようになりまして、まじかよって感じで、とりまで直そうと思って git push してやったらなんかうまくいかなかったので、しっかりやろうと思ってやりました。デバッグの方法なども、sshでやるのはやって…
こんにちは。現在、盛大に古いコードのパッケージのアップデートをチームメンバーが行なっているのですが、触発されてちょっとパッケージのアップデート方法調べてまとめてみました。 指定したパッケージのアップデート 普通にパッケージをアップデートする…
こんにちは。自分でECSとか触って開発することになったので、そのやり方とかまとめておこうと思います。 ECSとは AWSのコンテナ管理のマネージドサービス。ぐだぐだ私が説明するよりも、ぶっちゃけ世の中に良き記事が出すぎて、改めて書く必要もなし。 AWS B…