Python
PythonでDataFrameのある列を検索して特定の文字列を含む行のmaskはよくありふれていて、すべての列に対して検索したものがなかったので備忘録として残す。 データの準備 import pandas as pd df = pd.DataFrame([[11, 'red', 'a', 1], [22, 'black', 'e', 0…
競馬の血統表、例えば ドゥラメンテ (Duramente)の血統表 | 競走馬データ - netkeiba.com *1 においてどのようにデータを保持しておくのが便利かという話。 正直一旦読み込んでラベルさえ振ってしまえばもうどうでもいいんだが、それは言わない約束。 netkei…
レインフロー法 #1（準備編） - potass' blog レインフロー法 #2（デバッグ準備編） - potass' blog ←今回！ レインフロー法 #3（Excel VBA 実装編） - potass' blog レインフロー法 #1（準備編） - potass' blog の続きで Python に レインフローモジュール…
PRML（パターン認識と機械学習 上）の実装 その6。プログラミングの上でちょっとスマートに書くために以下の計算をしている。とおくと、 と書けるので行列inv_matSを求める際に使用した。また、とおくと、 と書けるのでこれのdiagonal()によって分散が算出さ…
PRML（パターン認識と機械学習 上）の実装 その5。正則化係数が RMS error に対しどういった効果を持っているかを可視化する。 題材 PRML 上巻 1章 図1.8 コード 出力結果
PRML（パターン認識と機械学習 上）の実装 その4。正則化項を入れた場合の（多項式に対する）最小自乗法によって overfitting が軽減することを確認。正則化していない場合も追加した。 ここでは§3.1.4と同じように行列形式にして最小二乗法を実行する。 num…
PRML（パターン認識と機械学習 上）の実装 その3。 しばらく同じような内容ばかりだが Python の練習と思って地道にやっていく。9次多項式を異なるデータ点にに対して最小二乗法で当てはめたものの比較。 overfitting が軽減することを確認。 特に言及するこ…
PRML（パターン認識と機械学習 上）の実装 その2。Fig1.4 での過程で得られた RMS error（root-mean-square error）が 多項式次数 M に対しどう依存するかをグラフにしたもの。 なお、今回の結果のみでは M = 3～8 のどれを選べばいいのか？*1までは議論でき…
PRML（パターン認識と機械学習 上）の実装 その1。お馴染み多項式フィッティングで training set に強く影響された overfitting を体感する。 行列演算に落として基底を変えた際に対応できるような形式にする（§3.1.1参照）のも アリだが今回は演習1.1の通り…
特に理由はないのだが Python の version を 3.3 にした。 今までの記事通りのことやったのだがかなりバラバラに書いてあるのでここでまとめとく。 もっとスマートな方法がありそうだが調べるのが面倒だった。 Python のインストール 元ある Python 3.2 とそ…
実行環境 OS : Windows 8.1 (64 bit) Python : Python 3.2 (Scipy 0.14) やりたいこと 陰関数（implicit function）を fitting したくなった。 陽関数（explicit function）なら最小二乗法（least square）を使えばいいんだがどうしたものか。 そもそも Igor…
csv モジュールで読み込んだ数値データの整形方法のメモ。 やりたいこと x, y, z\n 1, 2, 3\n ... みたいなデータを csv モジュールで読み込んで list x, y, z にそれぞれ数値データとして格納したい。 その時の手順として、 csv モジュールで文字列 list と…
間違いがありましたらコメントにてご指摘下さい。 pyalps.checkSteadyState() とは ALPS には pyalps.checkSteadyState() なる関数がある。 系が平衡状態にあるかを z 検定をしてチェックする*1もので、原理などは Monte_Carlo_Equilibration - ALPS project…
ALPS の XML ファイル群から binning level のグラフを作る - potass' blog の続編。 やりたいこと 今度は XML ファイル群から CSV ファイルを作ります。 これの利点は Igor や Ngraph、Excel などで簡単にグラフを描画できる形式にできることです。 全部の…
やりたいこと ALPS では binnig 解析ツールが標準装備されている。python での使用例が ALPS 2 Tutorials:MC-01 Autocorrelations の tutorial1a.py に転がっている。 tutorial1a.py はジョブ投げから binning level のプロットまで全部やっているが以下の仕…
2ヶ月ほど前に ALPS をラボの共有 PC (OS : Windows 7、32 bit) にインストールしたのでそれのメモ。 2ヶ月前なので今はどうかわからんし、思い出しながらなので抜けがあるかも。 ALPS 自体のインストール Download and install ALPS 2 より alps-2.2.b3-win…
地方の役所が出している人口統計を python で拾って簡単な分析をしてみよう！*1と思った。 …が一番の山場はすぐに来る。 Excel ファイルばっかじゃねーか！！*2 こりゃ Excel ファイルを Python で読めるようにしとかんとアカンと感じたのでそれのお勉強。*3…
はじめに ある Facebook アカウントを RSS リーダ*1で読みたいなと思ったのでその方法をググってみた。Facebook は捨て垢（というかそういった概念があるのかも不明）すら作ってないのでよくわからん。ただこの件に関しては該当アカウントの Facebook ID と…
先日購入した本を読むための準備。 PyVISA の方は少しお休みにしとこう。Pythonによるデータ分析入門 ―NumPy、pandasを使ったデータ処理作者: Wes McKinney,小林儀匡,鈴木宏尚,瀬戸山雅人,滝口開資,野上大介出版社/メーカー: オライリージャパン発売日: 2013…
まずはクエリを拾うことから。 使用環境 PC：Windows 8.1 (64 bit) 接続：NI GPIB-USB-HS（PC 側：USB、測定器側：GPIB） 測定器：Keithley 2000（デジボル）、ADCMT 6144（直流ソースメータ） pyVISA のインストール easy_install さえ入っていれば速攻で終…
Python 3.2 の整備。（Cygwin 側はとりあえず放置。） numpy などの version はインストールしたものを書いた。 numpy のインストール（ver. 1.8.1） scipy のインストール（ver. 0.14.0） dateutil（ver. 2.2）, pyparsing（ver. 2.0.2）, six（ver. 1.7.3…
