機械学習のExampleから覚えるPython(ランダム)

今までPythonを感覚的に使っていたので、改めて文法を知ろうかなと。
その際にいま流行りの機械学習(深層学習)のExampleを例にすると
わかりやすいのかなと思ったので書いてみる。

※基本的には Python3.x系のつもりで記載してます

今回は、重み(Weight)に使われているランダムについてです。
TensorFlowでは、Initilizerで指定しているものです。

Biasは初期値:0 のことが多いですが、Weightはランダムで初期化されることが多いです。

コードは Numpyで記載しますが、Python内にもramdomパッケージはあります。

正規分布

Normal(Gaussian)と呼ばれるやつです。

import numpy as np
import matplotlib.pyplot as plt

mu, sigma = 0, 1.0 # mean and standard deviation
r = np.random.normal(mu, sigma, 2000)

count, bins, ignored = plt.hist(r, 30, density=True)
plt.plot(bins, 1/(sigma * np.sqrt(2 * np.pi)) * np.exp( - (bins - mu)**2 / (2 * sigma**2) ), linewidth=2, color='r')
plt.show()

生成されたデータはこんな感じになります。 f:id:kocha2012:20190213073244p:plain

一様分布

今回は uniformで記載します。

import numpy as np
import matplotlib.pyplot as plt

count, bins, ignored = plt.hist(s, 15, density=True)
plt.plot(bins, (np.ones_like(bins)*0.5), linewidth=2, color='r')
plt.show()

生成されたデータはこんな感じになります。 f:id:kocha2012:20190213073304p:plain

参考

情報収集と整理方法で活用しているサービス

今日はちょっと毛色を変えたやつです。

私が行っている情報収集とその整理方法について紹介です。

情報収集

主に使っているサービスは以下になります。

Twitter

まぁ雑談も含めて、暇な時に眺めるくらいの気持ちで見てます。
始めた1-2年くらいはタイムラインをすべて見るみたいなことをやってましたが、最近はその時みたらって感じです。

気になったやつは「Pocket」に入れてます。

Feedly

RSSリーダーです。
情報収集といったら、主にこちらになります。
色んなブログやサイトを購読してます。
朝の日課みたいな感じで、朝みてます。

気になったやつは「Pocket」に入れてます。

Slack

会社内での使用が決まって始めたので、仕事と一部で使っている感じで情報収集という目的は薄いかもしれませんが、Kaggleなどの情報はこちらから見てたりします。

整理方法

主に使っているサービスはこちらになります。

はてなブログ

本サイトになります。
あと FC2ブログも持っています。
最近更新してないですが、用途に合わせて更新するようにします。

Revue

Revue は2018年6月ぐらいに知ってはじめてます。
Webページに対してコメント書くみたいな感じらしいです。
AI/機械学習のニュースが多く、まとめとして書いてます。
最近は 金曜日に投稿するように頑張ってます。

メールアドレス登録するとメールに配信されるぽいのですが、あまりよくわかってない

Pocket

Pocketは一番使っているといっても過言ではないでしょうか。

TwitterFeedlyで気になったやつを片っ端から Pocketに入れてます。
更に「タグ付け」ができるので、自分でタグ作って管理してます。
ざっくりは見たけど、後からちゃんと読みたい時のタグ「後で見る」
「後で読む」用の Pocketについてる「後で見る」タグ...

画面としてはこんな感じです。 f:id:kocha2012:20190206073144p:plain

今でも Pocket イチオシです!

以上です。
他にも何かあったら教えていただけるとありがたいです。

機械学習のExampleから覚えるPython(class:__call__)

今までPythonを感覚的に使っていたので、改めて文法を知ろうかなと。
その際にいま流行りの機械学習(深層学習)のExampleを例にすると
わかりやすいのかなと思ったので書いてみる。

※基本的には Python3.x系のつもりで記載してます

などで、class について記載したのですが、
今回はその中でも独自モデル(Custom Model)を作る場合の記述について見てみます。

参考:https://www.tensorflow.org/guide/keras

Example

class MyModel(tf.keras.Model):

  def __init__(self, num_classes=10):
    super(MyModel, self).__init__(name='my_model')
    self.num_classes = num_classes
    # Define your layers here.
    self.dense_1 = layers.Dense(32, activation='relu')
    self.dense_2 = layers.Dense(num_classes, activation='sigmoid')

  def call(self, inputs):
    # Define your forward pass here,
    # using layers you previously defined (in `__init__`).
    x = self.dense_1(inputs)
    return self.dense_2(x)

  def compute_output_shape(self, input_shape):
    # You need to override this function if you want to use the subclassed model
    # as part of a functional-style model.
    # Otherwise, this method is optional.
    shape = tf.TensorShape(input_shape).as_list()
    shape[-1] = self.num_classes
    return tf.TensorShape(shape)

解説

class MyModel(tf.keras.Model):

tf.keras.Modelを継承

  def __init__(self, num_classes=10):
    super(MyModel, self).__init__(name='my_model')
    self.num_classes = num_classes
    # Define your layers here.
    self.dense_1 = layers.Dense(32, activation='relu')
    self.dense_2 = layers.Dense(num_classes, activation='sigmoid')

コンストラクタ(初期化:__init__)にて、レイヤをインスタンス

  def call(self, inputs):
    # Define your forward pass here,
    # using layers you previously defined (in `__init__`).
    x = self.dense_1(inputs)
    return self.dense_2(x)

call関数で、forwardの動作を記載します。
さて、なぜcall関数で?という疑問になりますよね?

tf.keras.Modelをおっていくとbase_layer.pyまでいきつきます。

base_layerにある __call__関数で、上記の callがよばれることになります。

__call__ は組込み関数でクラスをインスタンスして、関数のように呼ばれたときに動きます。

例でいうと、以下のようになります。

model = MyModel

model() # この時に __call__ →...→ call

今回、TensorFlow/Keras を例にしてますが、PyTorchやChainerでも__call__にて
Model or Layerを構築しています。

forwardbackward関数で実装というのもあるので、
フレームワークにしたがって書きましょう。

  def compute_output_shape(self, input_shape):
    # You need to override this function if you want to use the subclassed model
    # as part of a functional-style model.
    # Otherwise, this method is optional.
    shape = tf.TensorShape(input_shape).as_list()
    shape[-1] = self.num_classes
    return tf.TensorShape(shape)

コメントにあるとおり、書いてもいいし。というやつです。

まとめ

今回、callからの__call__についてでした。

機械学習のExampleから覚えるPython(@デコレータ)

今までPythonを感覚的に使っていたので、改めて文法を知ろうかなと。
その際にいま流行りの機械学習(深層学習)のExampleを例にすると
わかりやすいのかなと思ったので書いてみる。

※基本的には Python3.x系のつもりで記載してます

の時に書いてた

@keras_export('keras.datasets.mnist.load_data')
def load_data(path='mnist.npz'):

の「@」デコレータについてです。

簡単にいうと

既存関数の処理の前後に自分自身で、処理を付け加える。
今回でいうと、load_data 関数の前後で何か処理やっているようです。

細かく見ていく

@keras_export('keras.datasets.mnist.load_data')

keras_export は 先頭で以下で宣言されています。

from tensorflow.python.util.tf_export import keras_export

では、tf_exportはというと、

tf_export にて定義されてます。
その api_export はなんでしょうか。

class api_export(object):  # pylint: disable=invalid-name
  """Provides ways to export symbols to the TensorFlow API."""

__init__ 関数に書いてあるのをみる。

  def __init__(self, *args, **kwargs):  # pylint: disable=g-doc-args
    """Export under the names *args (first one is considered canonical).

    Args:
      *args: API names in dot delimited format.
      **kwargs: Optional keyed arguments.
        v1: Names for the TensorFlow V1 API. If not set, we will use V2 API
          names both for TensorFlow V1 and V2 APIs.
        overrides: List of symbols that this is overriding
          (those overrided api exports will be removed). Note: passing overrides
          has no effect on exporting a constant.
        api_name: Name of the API you want to generate (e.g. `tensorflow` or
          `estimator`). Default is `tensorflow`.
        allow_multiple_exports: Allow symbol to be exported multiple time under
          different names.
    """

ってことらしい。
今回でいうと、特に引数はなく単純に load_dataを呼んでいるみたい。

参考

機械学習のExampleから覚えるPython(型:データタイプ)

今までPythonを感覚的に使っていたので、改めて文法を知ろうかなと。
その際にいま流行りの機械学習(深層学習)のExampleを例にすると
わかりやすいのかなと思ったので書いてみる。

※基本的には Python3.x系のつもりで記載してます

Example

https://www.tensorflow.org/tutorials/ に記載されている

import tensorflow as tf
mnist = tf.keras.datasets.mnist

(x_train, y_train),(x_test, y_test) = mnist.load_data()
x_train, x_test = x_train / 255.0, x_test / 255.0

model = tf.keras.models.Sequential([
  tf.keras.layers.Flatten(),
  tf.keras.layers.Dense(512, activation=tf.nn.relu),
  tf.keras.layers.Dropout(0.2),
  tf.keras.layers.Dense(10, activation=tf.nn.softmax)
])
model.compile(optimizer='adam',
              loss='sparse_categorical_crossentropy',
              metrics=['accuracy'])

model.fit(x_train, y_train, epochs=5)
model.evaluate(x_test, y_test)

※本記事記載の時点のコードです。

上記Exampleでも、代入記述先(関数の返り値)には型:データタイプがあります。

それぞれ見ていきたいと思います。

mnist = tf.keras.datasets.mnist
>>> type(mnist)
module

tf.keras.datasets.mnist は tensorflow/tensorflow/python/keras/datasets/mnist.pyのとおり importできるモジュール(パッケージ)になります。

(x_train, y_train),(x_test, y_test) = mnist.load_data()
>>> type(x_train)
numpy.ndarray
>>> x_train.dtype
dtype('uint8')

numpyモジュールの多次元配列型になります。
更にデータタイプを dtypeで確認することができます。
データロード時は uint8ですね。

x_train, x_test = x_train / 255.0, x_test / 255.0
>>> type(x_train)
numpy.ndarray
>>> x_train.dtype
dtype('float64')

先ほどと同じくnumpyモジュールの多次元配列型になります。
ただし、255.0という float型で除算しているためデータタイプは float64になってます。

model = tf.keras.models.Sequential([
  tf.keras.layers.Flatten(),
  tf.keras.layers.Dense(512, activation=tf.nn.relu),
  tf.keras.layers.Dropout(0.2),
  tf.keras.layers.Dense(10, activation=tf.nn.softmax)
])
>>> type(model)
tensorflow.python.keras.engine.sequential.Sequential

こちらも、importできる Sequentialパッケージですね。

データタイプ

intfloatになります。

必要そうなものを列挙してみます。

項目 データタイプ
真理値判定 bool
数値型 int, float, complex
文字列 str
シーケンス型(配列) list, tuple, range
マッピング dict

データ型については、Pythonの公式ドキュメントも参考にしてください。