St_Hakky’s blog

Data Science / Human Resources / Web Applicationについて書きます

Data Science

【Progressive Growing of GANs for Improved Quality, Stability, and Variation】を読んだのでまとめる

こんにちは。GANの発音を、「ガン」 or 「ギャン」のどっちかと言われたら、「ガン」な私です(いやまぁ気持ちだけ…)。さて、先日某つぶやきサイトに流れてくるつぶやきを眺めていたら、衝撃的な動画を見つけました。ぐぉォォ。。。マジカ。==Progressive G…

【Deep Learning】 Batch sizeをどうやって決めるかについてまとめる

こんにちは。Deep Learningを自分でゼロから組んで(fine tuningとかではなく)、全部ゼロから学習させるのって大変ですよね。特に、ハイパーパラメーターの設定にすごく悩みます。トップカンファレンスに出されているような高精度の論文では、そういうハイパ…

「Xception: Deep Learning with Depthwise Separable Convolutions」を読んで勉強したので参考になった資料とかまとめておく

こんにちは。今Deep Learningの論文紹介をやっているのですが、私が紹介しようかなと思った論文がKerasの作者でもある@fcholletさんのCVPRの論文でした。It's official: my paper "Xception: Deep Learning with Depthwise Separable Convolutions" was acce…

GPUを使用する時によく使うコマンドとかまとめた

こんにちは。 ○GPUの種類の確認 lspci | grep -i nvidia ■参考 GPU関連でよく使うコマンドまとめ - Qiita ○nvidia driverのバージョン確認コマンド cat /proc/driver/nvidia/version ○nvidia-smiコマンド オプションはたくさんあります。よく使うコマンドと…

Neural Networkで使う活性化関数について調べたのでまとめてみた

こんにちは。ニューラルネットワークでは活性化関数を設定する必要があるわけなんですが、その活性化関数の種類は知っていてもどんなときにどんなものを使うといいか、なんかそのイメージがぱっとわくものがないかなぁと思って、調べてみました。 ○活性化関…

keras(tensorflow/theano/cntk)でGPUをnvidia-dockerから使ってみた (+αでLasagneも入れた&Dockerfileも作った)

こんにちは。今回は、主にDeep LearningをGPUで実行できる環境をDockerで作ってみました。主に入れたものは以下のものです。 keras=2.0.8 tensorflow_gpu=1.3.0 theano=0.10.0beta3 # 特定のチャンネル内に存在するパッケージ。理由は下記参照。 cntk=2.1 la…

データフロー図(Data Flow Diagram, DFD)をAtom上でMarkdownで書く方法を調べたのでまとめた(mermaid.js)

こんにちは。今やっているデータ分析のデータフローが結構ややこしいので、しっかりとDFDを作ることにしました。とはいえオブジェクトをGUIでグリグリ編集するのめんどくせぇので、Atomで書けるツールみたいなので、Markdownとかで気軽に編集できるものがな…

Ubuntu 16.04でDocker CEをインストールしてNVIDIA DriverとNVIDIA Dockerを入れるまでやった作業メモ

こんにちは。今日は研究でGPUを使うことになったので、Dockerでやるかと思い、この記事を作業メモとして残す意味を込めて書こうと思います。 ○なぜDockerでGPUを動かすのか ガチでやると設定が面倒な記憶しかない。 ミスって時間を潰している人生の余裕がな…

「DIET NETWORKS: THIN PARAMETERS FOR FAT GENOMICS」の論文を読んだ

こんにちは。今日は別の研究室とうちの研究室で合同でやっているDeepLearning勉強会があり、そこで「DIET NETWORKS: THIN PARAMETERS FOR FAT GENOMICS」の論文について発表したので、その際に作った発表資料とかメモとかを投稿しようと思います。概要とか途…

「日本の人事を科学する 因果推論に基づくデータ活用」を読んだ

こんにちは。お盆を利用して、前から気になっていた「日本の人事を科学する」という本を読んでみましたので、その感想とかを書いておきたいと思います。 ◯読んだ本 今回読んだのは以下の本です。この本は前から気になっていて、というか私自身も人事はもっと…

Gradient Boostingについて調べたのでまとめる

こんにちは。Gradient Boostingについて調べたのでまとめました。その他の手法やBoostingってそもそも何的な説明は以下の記事でしています。st-hakky.hatenablog.com ◯Gradient Boostingとは Gradient Boostingの誕生の経緯とかはこちらに書かれているので、…

AdaBoostについて調べたのでまとめる

こんにちは。今日はAdaBoostについて書きます。Boostingってそもそも何っていうのとか他のBoostingの手法については以下の記事をどうぞ。st-hakky.hatenablog.com AdaBoostとは AdaBoostは"Adaptive Boosting"の略でBoostingのアルゴリズムとしては最初に出…

Boosting(ブースティング)について調べたのでまとめる:AdaBoost / Gradient Boosting / XGBoostなど

こんにちは。最近、アンサンブル学習について勉強しているんですが、この記事ではBoostingについて調べたことを書きます。以下がその他のアンサンブル学習とか全般的な話とかについて書いた記事なので、バギングとか知りたい人は以下の記事をどうぞ。st-hakk…

Bagging(バギング)について調べたのでまとめた:Out-of-Bag(OOB) / Random Forest / Decision Jungles / Deep Forest(gcForest)

こんにちは。Kaggleをやるにあたって(というかふつうに勉強したかったのもある)、アンサンブル学習の方法は勉強しておく必要があるようなーと思って、勉強してみました。他のブースティングやスタッキング、アンサンブル学習全般については以下の記事をどう…

いちいち覚えていられないしもうよく使うMySQLのコマンドとかやることとかをまとめておく

こんにちは。最近SQLのコマンドとかよくつかうんですけど、たまーーーーーーにつかうものとか、びみょーーーーーに覚えにくいやつとか、いちいち調べていてまじで時間もったいないのでまとめておきます。まぁ覚えろよってことなんですけど、なんかこの手のコ…

Julia入門 - 概要と開発環境構築

こんばんは。最近、そろそろ違うプログラミング言語を勉強したいなぁと思っていて、この夏はC++とJuliaを触りたいなーと。Web開発はするので、Javascriptとかもガンガン触ることになりそう。2ヶ月でどこまで触れるかって感じですね。さて、データサイエンス…

アンサンブル学習について勉強したのでまとめました:Bagging / Boosting / Stacking

こんにちは。今、KaggleのRestaurant Revenue Predictionをやっていて、その中でアンサンブル学習について再度学習してみたので、まとめました。結構ながくなっちゃったかもですが、頑張って参考文献に飛ばしたりとかしてまとめました(笑) アンサンブル学習…

Windowsで形態素解析ツールMecab入れるのが面倒だったので、Janome使ってみた

こんにちは。私の愛するMacがぶち壊れて、ここ最近Windowsで開発をしているのですが、MeCab入れるときの手順がもうクソめんどくさくて、「あぁ、、、またやるのかこれ、、、」ってなってたところに、Janomeと出会いました。笑調べている過程で知ったんですが…

Pythonで使う可視化ライブラリまとめ

こんにちは。PyCon2017のビデオを全部ではないですが、気になったタイトルのものだけ見ているんですけど、その中で面白いものをみつけたので紹介します。 PyCon2017:Python's Visualization Landscape Pythonにはめちゃめちゃ沢山の可視化ライブラリがあり…

Kaggleを始める際に知っておくべきTipsをまとめてみた

こんにちは*1。Kaggle、熱いですね!Kaggleのコンペなんか参加しようと思ってKaggleサイトをぱらぱら眺めてるんだけど、これカーネルとか眺めてるだけで、下手なところよりも普通に勉強できちゃうな笑— Hakky@Julia勉強中(´・∀・) (@St_Hakky) 2017年11月14日…

時系列解析:自己相関係数, 定常性, White Noise, AR, MA, ARMA, ARIMA, ARIMAX, SARIMAについて【調べたら随時追加】

こんにちは。最近時系列解析をすることになり、AR, MA, ARMA, ARIMA, ARIMAX, SARIMAあたりについて勉強したので、それについてまとめておこうかと思います。ぶっちゃけいろんなところにもうすでに解説は出ているので、これは調べている過程で参考になったリ…

Effective python シリーズ7:Use List Comprehensions Instead of map and filter

こんにちは。 ○読んでいる本 以下の本を勉強がてら読んでいます。www.effectivepython.comここにある通り、Pythonプログラムを改良する59項目が掲載されています。詳細は本に書かれているので、それを読めば良しとして、大事そうなところと、これに関連して…

Effective python シリーズ6:Avoid Using start, end, and stride in a Single Slice

こんにちは。 ○読んでいる本 以下の本を勉強がてら読んでいます。www.effectivepython.comここにある通り、Pythonプログラムを改良する59項目が掲載されています。詳細は本に書かれているので、それを読めば良しとして、大事そうなところと、これに関連して…

Effective python シリーズ5:Know How to Slice Sequences

こんにちは。少し日が空いてしまいましたが、今日も頑張る。 ○読んでいる本 以下の本を勉強がてら読んでいます。www.effectivepython.comここにある通り、Pythonプログラムを改良する59項目が掲載されています。詳細は本に書かれているので、それを読めば良…

「採用学」を読んだ

こんにちは。「採用学」という本を読んだので、その本についてまとめておく。 ○読んだ本:「採用学」 今回読んだのはこの本。 ○本の内容と感想 この本は、採用を科学するという立場をとって研究をされている服部先生の本で、中身もできる限り事実を元に説明…

勾配降下法について調べてまとめてみた

こんにちは。今までなんとなくなーなーで勉強していたGradient Descentですが、ちゃんと調べて見ました。OverViewの論文があって(元はブログの投稿なので、これはそうというのかわからないけど)、今回それを読みつついろんな資料を漁る方式で勉強しました。 …

Effective python シリーズ4:Write Helper Functions Instead of Complex Expressions

こんにちは。 ○読んでいる本 以下の本を勉強がてら読んでいます。www.effectivepython.comここにある通り、Pythonプログラムを改良する59項目が掲載されています。詳細は本に書かれているので、それを読めば良しとして、大事そうなところと、これに関連して…

Effective python シリーズ3:Know the Differences Between "bytes", "str", and "unicode"

こんにちは。ちょっと期間が空いてしまいましたが、今日も頑張る。 ○読んでいる本 以下の本を勉強がてら読んでいます。www.effectivepython.comここにある通り、Pythonプログラムを改良する59項目が掲載されています。詳細は本に書かれているので、それを読…

Effective python シリーズ2:Follow the PEP 8 Style Guide

こんにちは。 ○読んでいる本 以下の本を勉強がてら読んでいます。www.effectivepython.comここにある通り、Pythonプログラムを改良する59項目が掲載されています。詳細は本に書かれているので、それを読めば良しとして、大事そうなところと、これに関連して…

Effective python シリーズ1:Know Which Version of Python You’re Using

こんにちは。 ○読んでいる本 以下の本を勉強がてら読んでいます。www.effectivepython.comここにある通り、Pythonプログラムを改良する59項目が掲載されています。詳細は本に書かれているので、それを読めば良しとして、大事そうなところと、これに関連して…