St_Hakky’s blog

Data Science / Human Resources / Web Applicationについて書きます

2017-01-01から1年間の記事一覧

Ubuntu 16.04でDocker CEをインストールしてNVIDIA DriverとNVIDIA Dockerを入れるまでやった作業メモ

こんにちは。今日は研究でGPUを使うことになったので、Dockerでやるかと思い、この記事を作業メモとして残す意味を込めて書こうと思います。 ○なぜDockerでGPUを動かすのか ガチでやると設定が面倒な記憶しかない。 ミスって時間を潰している人生の余裕がな…

「DIET NETWORKS: THIN PARAMETERS FOR FAT GENOMICS」の論文を読んだ

こんにちは。今日は別の研究室とうちの研究室で合同でやっているDeepLearning勉強会があり、そこで「DIET NETWORKS: THIN PARAMETERS FOR FAT GENOMICS」の論文について発表したので、その際に作った発表資料とかメモとかを投稿しようと思います。概要とか途…

Webpackを使う関係で勉強しましたのでまとめる[随時更新]

こんにちは。Webpackをガリガリ使うようなプロジェクトにかかわる事になったので、勉強しました。そのメモです。 〇環境 Centos7, 64bit 〇本家のサイト 正直、こういうの勉強するときに英語さえ読めれば本家のサイトをめんどくさいけど読んだ方が最終的には…

Centos7にNode.jsをインストール

こんにちは。Centos7にNode.jsをインストールしたので、その作業メモを残しておこうかと思います。 〇環境 Centos7, 64bit 〇参考資料 正直、この手のインストールネタは直に意味をなさなくなるのと、もう既に良いサイトがたくさんあるので、そちらをみまし…

Pythonにおけるコーディングスタイルまとめ

こんにちは。pythonのコーディングスタイルについて調べてみたのでまとめました。 ○コーディングスタイルでやりたいこと コーディングスタイル(なんていうめんどくさいのもの)を考えてやりたいことは幾つかありますが、以下のところかと思います。 複数人で…

Centos7にDockerをインストールしたのでメモ

こんにちは。私はいま諸事情があり、Windowsを使っているんですが、もう耐えられないのでCentos7に逃げてます(笑)今日はDockerをいれたので、そのメモを残しておきます。 〇環境と入れるもの DockerのCEを今回はいれます。Centos7, 64bit 〇Prerequisites Do…

pythonでファイルとかディレクトリ操作【随時更新】

こんにちは。個人的によくつかうものとかを気づいたらまとめていこうかと思います。 ファイルの操作 〇ファイル名の取得 import ntpath file_name = os.path.basename("hoge/hoge.txt") # hoge.txt ◯ファイルの存在確認 import os path = "hoge/hoge.txt" os…

SSHポートフォワーディングでMySQLに接続する方法

SSHポートフォワーディングでMySQLに接続する方法を調べたので、まとめておきます。 ○SSHポートフォワーディングでMySQLに接続する方法 まず、ポートフォワーディングを実行します。 ssh -f -N -C -L 10000:localhost:3306 user@nantoka.com -p 22以下、説明…

「日本の人事を科学する 因果推論に基づくデータ活用」を読んだ

こんにちは。お盆を利用して、前から気になっていた「日本の人事を科学する」という本を読んでみましたので、その感想とかを書いておきたいと思います。 ◯読んだ本 今回読んだのは以下の本です。この本は前から気になっていて、というか私自身も人事はもっと…

sqlalchemyのインストール

こんにちは。sqlalchemyをつかうことになったので、その環境のセットアップなどについてまとめました。 ◯環境 python3.5以上 Windows10 64bit / Centos7 ◯インストール ■pipからインストール pip install sqlalchemy ■condaからインストール conda install s…

SQLAlchemyを使っていて勉強したこととか便利なTipsとかをまとめた

こんにちは。SQLAlchemyを使っていてわかったこととか勉強になったことをまとめました。 ◯環境構築 以下の記事にまとめました。st-hakky.hatenablog.com ◯DatabaseのURLの指定方法 Databaseに接続するためにURLを指定する必要があるのですが、そのURLの指定…

MySQL:文字コードについて

こんにちは。MySQLで取り扱う文字コードについて色々調べたこととかについてまとめたので、以下備忘録として残しておきたいと思います。 ○文字コードの変更 以下の様な感じのエラーが出た時の対処方法 sqlalchemy.exc.InternalError: (pymysql.err.InternalE…

MySQL:Databaseのセットアップ

こんにちは。MySQLを最近頻繁に使うので、その際にセットアップでやったこととかのメモをまとめておきました。 ○環境 Windows 10(64bit)Windowsだけど、コマンドとかに関しては多分一緒な感じだと思う。ところどころCentos7でも同じようなことをやって、環境…

DockerをWindowsにインストールしようと思ったらハマったのでメモ

こんにちは。私の愛するMacがお亡くなりになられてからというものWindowsと過ごしているのですが、先日開発でDockerを使うためにインストールしようと思ったら色々ハマったのでそのメモをします。 ◯WindowsでDockerって無料だとアレなのね(泣) Docker for WI…

Gradient Boostingについて調べたのでまとめる

こんにちは。Gradient Boostingについて調べたのでまとめました。その他の手法やBoostingってそもそも何的な説明は以下の記事でしています。st-hakky.hatenablog.com ◯Gradient Boostingとは Gradient Boostingの誕生の経緯とかはこちらに書かれているので、…

AdaBoostについて調べたのでまとめる

こんにちは。今日はAdaBoostについて書きます。Boostingってそもそも何っていうのとか他のBoostingの手法については以下の記事をどうぞ。st-hakky.hatenablog.com AdaBoostとは AdaBoostは"Adaptive Boosting"の略でBoostingのアルゴリズムとしては最初に出…

Boosting(ブースティング)について調べたのでまとめる:AdaBoost / Gradient Boosting / XGBoostなど

こんにちは。最近、アンサンブル学習について勉強しているんですが、この記事ではBoostingについて調べたことを書きます。以下がその他のアンサンブル学習とか全般的な話とかについて書いた記事なので、バギングとか知りたい人は以下の記事をどうぞ。st-hakk…

Bagging(バギング)について調べたのでまとめた:Out-of-Bag(OOB) / Random Forest / Decision Jungles / Deep Forest(gcForest)

こんにちは。Kaggleをやるにあたって(というかふつうに勉強したかったのもある)、アンサンブル学習の方法は勉強しておく必要があるようなーと思って、勉強してみました。他のブースティングやスタッキング、アンサンブル学習全般については以下の記事をどう…

いちいち覚えていられないしもうよく使うMySQLのコマンドとかやることとかをまとめておく

こんにちは。最近SQLのコマンドとかよくつかうんですけど、たまーーーーーーにつかうものとか、びみょーーーーーに覚えにくいやつとか、いちいち調べていてまじで時間もったいないのでまとめておきます。まぁ覚えろよってことなんですけど、なんかこの手のコ…

「会う人すべてがあなたのファンになる 一流の魅せ方」という本を読んだ

こんにちは。最近はぼちぼちいろんな本を読んでいるわけなんですが、一つ一つ印象に残ったところをメモしておかないと全部忘れちゃいますね。ってことで書きます。 ◯読んだ本 以下の本を読みました。 ◯本の概要と感想 この本は、筆者が議員秘書の経験や選挙…

Julia入門 - 概要と開発環境構築

こんばんは。最近、そろそろ違うプログラミング言語を勉強したいなぁと思っていて、この夏はC++とJuliaを触りたいなーと。Web開発はするので、Javascriptとかもガンガン触ることになりそう。2ヶ月でどこまで触れるかって感じですね。さて、データサイエンス…

アンサンブル学習について勉強したのでまとめました:Bagging / Boosting / Stacking

こんにちは。今、KaggleのRestaurant Revenue Predictionをやっていて、その中でアンサンブル学習について再度学習してみたので、まとめました。結構ながくなっちゃったかもですが、頑張って参考文献に飛ばしたりとかしてまとめました(笑) アンサンブル学習…

Windowsで形態素解析ツールMecab入れるのが面倒だったので、Janome使ってみた

こんにちは。私の愛するMacがぶち壊れて、ここ最近Windowsで開発をしているのですが、MeCab入れるときの手順がもうクソめんどくさくて、「あぁ、、、またやるのかこれ、、、」ってなってたところに、Janomeと出会いました。笑調べている過程で知ったんですが…

Pythonで使う可視化ライブラリまとめ

こんにちは。PyCon2017のビデオを全部ではないですが、気になったタイトルのものだけ見ているんですけど、その中で面白いものをみつけたので紹介します。 PyCon2017:Python's Visualization Landscape Pythonにはめちゃめちゃ沢山の可視化ライブラリがあり…

Kaggleを始める際に知っておくべきTipsをまとめてみた

こんにちは*1。Kaggle、熱いですね!Kaggleのコンペなんか参加しようと思ってKaggleサイトをぱらぱら眺めてるんだけど、これカーネルとか眺めてるだけで、下手なところよりも普通に勉強できちゃうな笑— Hakky@Julia勉強中(´・∀・) (@St_Hakky) 2017年11月14日…

時系列解析:自己相関係数, 定常性, White Noise, AR, MA, ARMA, ARIMA, ARIMAX, SARIMAについて【調べたら随時追加】

こんにちは。最近時系列解析をすることになり、AR, MA, ARMA, ARIMA, ARIMAX, SARIMAあたりについて勉強したので、それについてまとめておこうかと思います。ぶっちゃけいろんなところにもうすでに解説は出ているので、これは調べている過程で参考になったリ…

Macでscreenを使うときのインストールからコマンドまでのまとめ

Mac

こんにちは。以下、自分用のメモです。 ○Screenとは 仮想的に複数の端末を起動させて、いろんな作業を同時にやっちゃおうっていうことをしたり、画面を分割したりできる便利なやつです。 ○Homebrewでインストール 普通にHomebrewでインストール可能です。た…

「職場の問題地図 ~「で、どこから変える?」残業だらけ・休めない働き方」を読んだ

こんばんは。最近はデータ解析系の本(これは論文の方が多いかも)から、プログラミング、ビジネス書までとにかく読んで読んで読みまくっているんですが、「職場の問題地図 ~「で、どこから変える?」残業だらけ・休めない働き方」をかいつまんで(全部は読んで…

Effective python シリーズ7:Use List Comprehensions Instead of map and filter

こんにちは。 ○読んでいる本 以下の本を勉強がてら読んでいます。www.effectivepython.comここにある通り、Pythonプログラムを改良する59項目が掲載されています。詳細は本に書かれているので、それを読めば良しとして、大事そうなところと、これに関連して…

Effective python シリーズ6:Avoid Using start, end, and stride in a Single Slice

こんにちは。 ○読んでいる本 以下の本を勉強がてら読んでいます。www.effectivepython.comここにある通り、Pythonプログラムを改良する59項目が掲載されています。詳細は本に書かれているので、それを読めば良しとして、大事そうなところと、これに関連して…