CIFAR-10 Tutorial (tensorflow)

はじめる前に

このチュートリアルを始める前に、以下のKAMONOHASHIのインストールが終わり、KAMONOHASHIにログインできることを確認してください。

はじめに

本チュートリアルでは、KAMONOHASHIを使用する方法について簡単に説明します。具体的にはKAMONOHASHIを使用して、機械学習手法を試す際によく用いられるcifar-10の画像分類モデルを学習させる方法を以下の手順に沿って説明します。

データをアップロードする
データセットを作成する
学習を実行する
TensorBoardで学習の状況を表示する
学習のログを確認する

データをアップロードする

KAMONOHASHIにデータをアップロードする流れを説明します。

cifar-10データセットをダウンロードする

このチュートリアルでは、cifar-10データセットを使用します。cifar10は、カラー画像のデータセットです。

画像サイズは32 x 32px
10クラスの画像がそれぞれ6000枚、計60000枚の画像がある
そのうち50000枚が学習データ、10000枚がテストデータ
クラスはairplane, automobile, bird, cat, deer, dog, frog, horse, ship, truck

KAMONOHASHIにアクセスできる端末に CIFAR-10 binary version (cifar-10-binary.tar.gz) をダウンロードしてください。 cifar-10のデータをダウンロードする

データを解凍する

このデータセットは解凍すると、

data_batch_1.bin
data_batch_2.bin
data_batch_3.bin
data_batch_4.bin
data_batch_5.bin
test_batch.bin

というファイルに分割されます。それぞれのbinファイルは、32x32x3の画像データが1万枚ずつ含まれています。画像1枚あたり、先頭1バイトがラベル + 32x32x3バイトが画素情報という構成になっており、これが先頭から1万個結合されているのがbinファイルです。

データをKAMONOHASHIにアップロードする

データが用意できたらKAMONOHASHIにアップロードしましょう。 [データ管理]を選択し、右上の新規登録ボタンから行います。

種類	説明
データ名	(例)data_batch_1.bin
メモ	画像の説明など補足情報。
タグ	データの種類や受領日などグルーピングしたい単位に付与し、検索等で利用する。
ファイル	複数のデータを登録できる。jpg/png/csv/zipなど、ファイルのデータ形式は任意。

上記の情報を入力し、右下の登録ボタンを押すとデータをアップロードすることができます。コマンドラインインターフェイス（CLI）を使用してデータをアップロードすることも可能です。

KAMONOHASHIでは、複数のファイルを一つのデータとして管理可能ですが、今回は個別に、一ファイル一データとして登録します。

データアップロード

登録したデータは、データの一覧画面で確認できます。

データ一覧

データセットを作成する

[データセット管理]を選択し、右上の新規登録ボタンから行います。アップロードしたデータをtraining用、test用にまとめます。下図では、data_batchをtraining、test_batchをtestingに移動させています。

データセットアップロード

学習を実行する

学習は KAMONOHASHI が管理するクラスタで計算を実行するための最小単位を表します。学習を開始すると KAMONOHASHI はクラスタから指定されたCPU、メモリ、GPUリソースを確保し、Dockerコンテナを起動し計算環境を用意します。ユーザはこの環境を利用し、任意の計算を行うことができます。学習はCLI、GUIの両方から起動できます。 GUIで学習を開始するには[学習管理]を選択し、新規登録ボタンから行います。詳細はUser Guideを参照してください。

step1

学習名を記入し、先ほど登録したデータセットを選択します。半角英数小文字、または記号(“-”（ハイフン）) 30 文字以下で指定可能です。ジョブ1

step2

フレームワークとモデルをテキストエリアに記述し、実行コマンドを記述します。本チュートリアルではフレームワークはDocker Hubの公式イメージ(tensorflow/tensorflow)を使用しています。

ジョブ2

コンテナイメージ

コンテナイメージ	記述例
レジストリ	officail-docker-hub(選択)
イメージ	tensorflow/tensorflow
タグ	1.13.1-gpu-py3

※Docker Hubを指定した後イメージ、タグをテキストエリアに入力してください。

モデルのサンプルコード

モデル	記述例
Gitサーバ	GitHub(選択)
リポジトリ	KAMONOHASHI/tutorial
ブランチ	master

※Git Hubを指定した後リポジトリ、ブランチをテキストエリアに入力してください。

実行コマンド例

python -u tensorflow/train.py \
--images /kqi/input/training \
--anns /kqi/input/training \
--train_log_dir /kqi/output/demo \
--parameter_dir /kqi/output/demo \
--max_steps=5000