St_Hakky’s blog

Data Science / Human Resources / Web Applicationについて書きます

2018-01-01から1年間の記事一覧

【AWS】Amazon Secrets Managerを使ってみた

AWS

こんにちは。Amazon SagemakerのGit統合機能を使おうとした時に、Secrets Managerで認証が必要なPrivate Git リポジトリ用の認証情報を安全に保存できるっぽいので、それに合わせてちょっとやってみました。 Amazon Secrets Managerとは 公式の情報を見るの…

【データ分析の民主化】データドリブンな組織になるには何をしたらいいのか考えてみた

こんにちは。今日は、データドリブンな組織になるために、何をしたらいいかを考えてみたので、それについて書きます。 データドリブンな組織の必要性 先日、以下の記事で「データドリブンな組織ってなんで必要なのか」と言う観点で記事を書きました。st-hakk…

tmux上でコピーをするときの方法

こんにちは。油断すると忘れるのでメモ。1. Prefix+[で選択モードになる 2. コピーしたい箇所の先頭 or 終端に移動 3. スペースで選択開始 4. コピーしたい文字列を選択 5. Enterでコピー完了 6. Prefix+]で貼り付け 以上。

データドリブンな組織に何故なるのかについて改めて考えてみる

こんにちは。データドリブンな組織ってそもそもなんの意味があるのかをしっかりとまとめておこうと思い経った機会があったので、まとめてみます*1。 思い立ったきっかけ このところこのテーマについてよく考えるようになり、また必要だなと感じた背景として…

GithubとWaffleをSlackに連携して通知する

Git

こんにちは。GithubとWaffleをSlackに連携して通知できるようにしたので、その備忘録です。 WaffleのSlackへの連携 WaffleのSlackへの連携は、以下のドキュメントにあるような感じでできます。help.waffle.io以下の画面から、「Add to Slack」を押して、進め…

【Python】AnacondaでPythonのVersionを切り替える方法とよく使うコマンド一覧

こんにちは。もう滅多にPythonの2系を使うことはなくなってしまっていたのですが、最近直面しまして、そういえばどうやってやるんだっけって思い出せなくなったので、メモします。 参考資料 ぶっちゃけ以下の資料を見たほうがいいです。 Managing Python — C…

【初めてのABEJA Platform】ABEJA Platformを使ってコード0行でresnet50のモデルをデプロイしてみる

こんにちは。この記事は、ABEJA Platform Adevent Calendarの2日目の記事です。今回は、現在会社で利用しているサービスであるABEJA Platformを使って、学習したモデルをデプロイしてみましたので、そのやり方をまとめます*1。qiita.com ABEJA Platformとは …

【matplotlib】x軸のラベルを回転させる

こんにちは。毎回調べてしまうものシリーズ。今日は、x軸のラベルを回転させる方法についてのメモ。 x軸のラベルを回転させる plt.xticks(rotation=70) 他にもやり方はあるけど、簡単にやるにはこれで十分。以上。 参考 python - Date ticks and rotation in…

【Redash】ユーザーの削除方法について(GUI/Redash CLI/postgres)

こんにちは。最近、社内のプロジェクトの一環として、Redashを導入したのですが、その際に「そういえば、ユーザーの削除ってどうやってやるんやろ」って思って調べて見ました。 結論 今のところGUI上ではバージョン5でないとできないので(びっくらこいた)、p…

【matplotlib】Jupyter Notebook上での画像のサイズを大きくする

こんにちは。いつも忘れるので、メモ。 Jupyter Notebook上で画像のサイズを大きくする 以下のコードで大きくできます。 from pylab import rcParams rcParams['figure.figsize'] = 20,10 以上。

【Go】MacへのInstall

こんにちは。goを使うことになったので、インストール方法をまとめます。 Homebrewでインストール 以下のコマンドでインストールすることができます。 $ brew install go パスの設定 私はzshを使っているので、.zshrcに以下を追記。 export GOROOT=/usr/loca…

決定木の可視化ライブラリ「dtreeviz」が凄かったのでまとめる

こんにちは。決定木の可視化といえば、正直scikit-learnとgraphvizを使うやつしかやったことがなかったのですが、先日以下の記事をみて衝撃を受けました。そこで今回は、以下の解説記事中で紹介されていたライブラリ「dtreeviz」についてまとめます。explain…

【Python】Jupyter notebookのWarningを消す

こんにちは。Jupyter NotebookでWarningを見たくない時のコードを毎回調べちゃうのでメモ。 Warningを消す import warnings warnings.filterwarnings('ignore') 以上

【Python】線分交差判定のプログラムを書いた

こんにちは。仕事で「2つの線分が交差しているかどうか」を判定するプログラムを書いたのでその備忘録として書いておきます。 2つの線分が交差しているとは 2つの線分が交差しているとは、こちらのサイトによれば、 点A,Bを通る直線が線分CDと交差し、かつ …

git tag の使い方まとめ

Git

こんにちは。gitでtagを使って、バージョンを作っていくことになったので、作成・確認・共有の手順をまとめました。 本家 正直、色々なところにマニュアルとしてまとまっていますので、今更まとめる必要もないのですが、まとめた方が頭に残るし、コピペしや…

pipでキャッシュを無効にしてインストール

こんにちは。pipでキャッシュを無効にしてインストールするコマンドを久しぶりに仕事で見かけて、調べちゃったので、簡単にメモします。 キャッシュの無効化 キャッシュを無効にするには --no-cache-dir というオプションをつけるとできます。 $ pip install…

今更感あるけど決定木について調べたのでまとめる

こんにちは。本当にクソいまさらなんですけど、アンサンブル手法とか勉強していたら復習したくなってきたので、ここで復習もかねてまとめておきます。 決定木とは 決定木の概観 決定木はおそらく機械学習とかをやったことがある人なら確実に一回は見たり使っ…

【Python】Jupyter Notebookをssh経由で利用する

こんにちは。いつも調べちゃうことをメモ化することに決めた私です。今日は、Jupyter Notebookをssh経由で利用する際の設定メモです。以下のコンテンツは、Anacondaがインストール済みという前提の元作業を行なっています。 リモートの設定 notebook_config.…

【Python】Pandasで行・列で表示する文字数を指定する

こんにちは。Jupyter Notebookなどで行や列を表示した際に、結構な行数を表示させようとした時などは、「・・・」のような形で省略されて表示されてしまうと思います。これは便利な一方で、省略せずに表示してほしい場合などもあると思います。その際に、行…

【Python】loggingを複数ファイル・モジュール間で使う方法

こんにちは。今日は、loggingを複数ファイル・モジュール間で使う方法について調べたので、そのメモを書きます。ログの設定については下記に書いたので、今回は複数ファイル・モジュール間で使う方法についてだけ描きます。st-hakky.hatenablog.com やり方 …

pandas-datareader でデータをダウンロードしてみた

こんにちは。今日は、pandas-datareader を使ってデータを株価とか人口データをダウンロードしてみたので、そのことについてまとめます。 pandas-datareader とは Web上の様々なソースにアクセスできるライブラリ。か元々はPandasのライブラリの一つであった…

【Python】 Pandas-Profilingを使ってみた

こんにちは。最近Kaggleとかやっていて、EDAやるのめんどくさいとか思ったりしちゃったりした時に、ざくっと簡単に分析することができないかなぁと思って調べていたら「Pandas-Profiling」というものがあったので、実際に使ってみました。 本家のサイトなど …

【Kaggle】 Kaggle APIを使ってみる

こんにちは。今日は、Kaggle APIを使って、データのダウンロードとかしてみたので、その作業内容をまとめる。 Kaggle APIとは Pythonで実装されたコマンドラインツールを使用してアクセス可能なKaggleの公式APIのことです。Pythonのライブラリの一つなので、…

【Kaggle】「Mercari Price Suggestion Challenge」に参加したあと、改めて色々調べてみたのでまとめる

こんにちは。Mercariが主催したKaggleのコンペティションである、「Mercari Price Suggestion Challenge」について、過去に参加して色々見ていたんですが、機会があって改めて調べてみることにしたので、調べた内容とかをまとめてみました。 今回のコンペの…

【Python】時系列解析:Prophetで時系列解析してみたのでまとめる

こんにちは。最近、時系列解析が熱いですね!(ただ、仕事で使っているだけという笑)Rの方がまだ時系列解析のライブラリなどは揃っている感じはあります。Pythonでやろうと思うと、選択肢に上がってくるのは、statsmodelsなどもあると思いますが、今回はFaceb…

【Python】時系列解析:日本の休日を判定するライブラリ「jpholiday」を使ってみた

こんにちは。日本の時系列データを今仕事で扱っている関係もあり、日本の休日を判定する必要がありまして、判定するPythonのライブラリを調べて使って見ました。結構いろんなライブラリがあって、どれを使おうかなと迷ってしまうのですが、「jpholiday」とい…

Centos7のGitを最新のバージョンのupdateしたのでまとめる

こんにちは。Centosでは、デフォルトのyumで入るものは古めのものが多いが、gitは1.8.xが入っていた。このバージョンに虚弱性があるらしく、また最新のコマンドなどを使いたい気持ちがあるので、最新のバージョンに更新したい。ちょうど、今インターン先で開…

Julia入門 - Functions(関数)

こんにちは。 Functions (関数) gist.github.com Pythonとの違いとか 関数の定義の仕方に微妙な違いはあれ、そんなに大きな違いはありませんでした。引数に値を渡すときにどのように値が渡るかとかも、Pythonと同じみたいですし。ただ、一点以下の部分が結構…

Julia入門 - Conditionals(if文/三項演算子)

こんにちは。今日は、Juliaの条件分岐としてif文を書いていこうと思います。 Conditionals(if文/三項演算子) gist.github.com Pythonとの違いとか ■「:」ではなくて、「end」でif文などのbodyを判定する これは結構Pythonに慣れているとムズムズします笑。 ■…

Julia入門 - Loops (while/for/内包表記)

こんにちは。今日は、Loop (while/for/内包表記)についてやっていきます。内包表記もついでにやります笑。 Loops (while/for/内包表記) gist.github.com Pythonとの違いとか ■コロンはいらない 結構書いていて気持ち悪かったですね、、、笑。コロンの代わり…