で、Windows10環境にTensorflow+Kerasをインストールする。
Ubuntu16とデュアルブートするやり方もあったのだけれど、漫画自炊などはWindows環境でやっているので切り替えがめんどくさいと思った。
それから、仮想環境だとDeepLearningでGPUを叩けなくなり、それはそれで困るから。
しょぼいけどGeForce GTX970が付いているので、CPU計算だけよりはマシだろう。
で、まずやったこと。
1)Windows版のPython3.6をインストール
→これはネット上に参考資料があるから割愛。
https://www.python.org/downloads/windows/
から64ビット版をダウンロードしてインストール。
コツは、
・インストール時にCustomize Installationを選択すること。
・Add Python 3.6 to Pathにチェックを入れること。
くらい。インストール先を変えたいときなんかは適宜変更するといいね。
2)PowerShellでVimを使えるようにする
→まずはVimをダウンロードして圧縮ファイルを展開。
https://www.kaoriya.net/software/vim/
僕はディレクトリをProgram Filesの下に移動させた。
エイリアスの設定に手間取り、今もちょっと動きが微妙……。
・Pathを通す。
・PowerShellを立ち上げて$PROFILEの有無を確認。
PS > $PROFILE
C:\Users\MyUserName\Documents\WindowsPowerShell\Microsoft.PowerShell_profile.ps1
環境によっては設定ファイルどころかディレクトリすらない。
僕の場合もWindowsPowerShellのディレクトリがなかった。
で、Microsoft.PowerShell_profile.ps1に下記の行を追加した。
New-Alias vi "C:\Program Files\vim\vim.exe"
New-Alias vim "C:\Program Files\vim\vim.exe"
function view() {"C:\Program Files\vim\vim.exe" -R $args}
ディレクトリの部分は、Vimを置いた場所によって変わる。
・スクリプトの実行権限を変更する。
PS > Get-ExecutionPolicy
Restricted
と表示されたら制限がかかっている。
PowerShellを管理者モードで立ち上げて、次のコマンドを実行。
PS > Set-ExecutionPolicy RemoteSigned
PowerShellを立ち上げなおして、Vimが起動するならばとりあえずは成功かな。
3)個人的な理由でPowerShell上で動くSSHクライアントをインストール
Windows10の「設定」から「更新とセキュリティ」を選択。
「開発者向け」で「開発者モード」のボタンを選択。
「設定」に戻って「アプリと機能」の中の「オプション機能の管理」を選択。
「OpenSSH Client(Beta)」を選択してインストール。
これでPowerShell上でSSH機能が利用可能になる。
それにしても、いつBetaが取れるんだろうか……。
4)個人的な理由で公開鍵暗号を作成
Mac、Linux勢と同じく、まずは.sshディレクトリを作るところから。
作ったディレクトリはユーザディレクトリの直下にできて、かつ丸見えなのに軽い違和感。
PS > ssh-keygen
としたらEd25519方式の鍵が生成された。
RSA鍵にしようとすると弾かれたので、Ed25519の公開鍵をサーバ側に送って設定。
Windows10環境だとEd25519方式がデフォルトになっているんだなっと。
5)SSHサーバに楽に接続できるようにconfigファイルを作って設置
→これをやりたいためにVimをインストールしたんだが、別にnotepadで作っても良かったのな。
6)TnsorFlowをインストールする
GPUを使いたいので、CUDAとcuDNNのインストールは絶対必要。
どういうわけだか自分のPCにはCUDA9.0がインストール済みだった。
cuDNNをNvidiaからダウンロード。展開したファイルをCUDAのディレクトリに移動。
で、TensorFlowをインストールする。
Windows PowerShell
Copyright (C) Microsoft Corporation. All rights reserved.
PS > pip3 install --upgrade tensorflow-gpu
Collecting tensorflow-gpu
Downloading tensorflow_gpu-1.5.0-cp36-cp36m-win_amd64.whl (82.1MB)
100% |████████████████████████████████| 82.1MB 17kB/s
Collecting tensorflow-tensorboard<1.6.0,>=1.5.0 (from tensorflow-gpu)
Downloading tensorflow_tensorboard-1.5.1-py3-none-any.whl (3.0MB)
100% |████████████████████████████████| 3.0MB 467kB/s
Collecting absl-py>=0.1.6 (from tensorflow-gpu)
Downloading absl-py-0.1.10.tar.gz (79kB)
100% |████████████████████████████████| 81kB 7.1MB/s
Collecting protobuf>=3.4.0 (from tensorflow-gpu)
Downloading protobuf-3.5.1-py2.py3-none-any.whl (388kB)
100% |████████████████████████████████| 389kB 3.2MB/s
Collecting numpy>=1.12.1 (from tensorflow-gpu)
Downloading numpy-1.14.1-cp36-none-win_amd64.whl (13.4MB)
100% |████████████████████████████████| 13.4MB 108kB/s
Collecting wheel>=0.26 (from tensorflow-gpu)
Downloading wheel-0.30.0-py2.py3-none-any.whl (49kB)
100% |████████████████████████████████| 51kB 6.4MB/s
Collecting six>=1.10.0 (from tensorflow-gpu)
Downloading six-1.11.0-py2.py3-none-any.whl
Collecting html5lib==0.9999999 (from tensorflow-tensorboard<1.6.0,>=1.5.0->tensorflow-gpu)
Downloading html5lib-0.9999999.tar.gz (889kB)
100% |████████████████████████████████| 890kB 1.4MB/s
Collecting markdown>=2.6.8 (from tensorflow-tensorboard<1.6.0,>=1.5.0->tensorflow-gpu)
Downloading Markdown-2.6.11-py2.py3-none-any.whl (78kB)
100% |████████████████████████████████| 81kB 6.6MB/s
Collecting werkzeug>=0.11.10 (from tensorflow-tensorboard<1.6.0,>=1.5.0->tensorflow-gpu)
Downloading Werkzeug-0.14.1-py2.py3-none-any.whl (322kB)
100% |████████████████████████████████| 327kB 3.8MB/s
Collecting bleach==1.5.0 (from tensorflow-tensorboard<1.6.0,>=1.5.0->tensorflow-gpu)
Downloading bleach-1.5.0-py2.py3-none-any.whl
Collecting setuptools (from protobuf>=3.4.0->tensorflow-gpu)
Downloading setuptools-38.5.1-py2.py3-none-any.whl (489kB)
100% |████████████████████████████████| 491kB 2.7MB/s
Installing collected packages: six, html5lib, wheel, numpy, markdown, setuptools, protobuf, werkzeug, bleach, tensorflow-tensorboard, absl-py, tensorflow-gpu
Running setup.py install for html5lib ... done
Found existing installation: setuptools 28.8.0
Uninstalling setuptools-28.8.0:
Successfully uninstalled setuptools-28.8.0
Running setup.py install for absl-py ... done
Successfully installed absl-py-0.1.10 bleach-1.5.0 html5lib-0.9999999 markdown-2.6.11 numpy-1.14.1 protobuf-3.5.1 setuptools-38.5.1 six-1.11.0 tensorflow-gpu-1.5.0 tensorflow-tensorboard-1.5.1 werkzeug-0.14.1 wh
eel-0.30.0
PS >
まあ誰にでもできる簡単インストールだった。
では、TensorFlowが動作するのか、GPUを認識しているのかテストしてみよう。
まずはPowerShell上でPythonを起動する。
PS > Python
>>> import tensorflow as tf
>>> hello = tf.constant('Hello, TensorFlow')
>>> sess = tf.Session()
2018-02-28 11:07:39.474339: I C:\tf_jenkins\workspace\rel-win\M\windows-gpu\PY\36\tensorflow\core\platform\cpu_feature_guard.cc:137] Your CPU supports instructions that this TensorFlow binary was not compiled to
use: AVX AVX2
2018-02-28 11:07:39.829653: I C:\tf_jenkins\workspace\rel-win\M\windows-gpu\PY\36\tensorflow\core\common_runtime\gpu\gpu_device.cc:1105] Found device 0 with properties:
name: GeForce GTX 970 major: 5 minor: 2 memoryClockRate(GHz): 1.2155
pciBusID: 0000:01:00.0
totalMemory: 4.00GiB freeMemory: 3.31GiB
2018-02-28 11:07:39.835622: I C:\tf_jenkins\workspace\rel-win\M\windows-gpu\PY\36\tensorflow\core\common_runtime\gpu\gpu_device.cc:1195] Creating TensorFlow device (/device:GPU:0) -> (device: 0, name: GeForce GT
X 970, pci bus id: 0000:01:00.0, compute capability: 5.2)
>>> print(sess.run(hello))
b'Hello, TensorFlow'
>>>
動作している模様。
GeForce GTX970を認識していることもわかる。
7)Kerasをインストールする
Windows PowerShell
Copyright (C) Microsoft Corporation. All rights reserved.
PS > pip install keras
Collecting keras
Downloading Keras-2.1.4-py2.py3-none-any.whl (322kB)
100% |████████████████████████████████| 327kB 1.8MB/s
Requirement already satisfied: numpy>=1.9.1 in c:\users\hogehoge\appdata\local\programs\python\python36\lib\site-packages (from keras)
Collecting scipy>=0.14 (from keras)
Downloading scipy-1.0.0-cp36-none-win_amd64.whl (30.8MB)
100% |████████████████████████████████| 30.8MB 46kB/s
Requirement already satisfied: six>=1.9.0 in c:\users\hogehoge\appdata\local\programs\python\python36\lib\site-packages (from keras)
Collecting pyyaml (from keras)
Downloading PyYAML-3.12.tar.gz (253kB)
100% |████████████████████████████████| 256kB 4.6MB/s
Building wheels for collected packages: pyyaml
Running setup.py bdist_wheel for pyyaml ... done
Stored in directory: C:\Users\hogehoge\AppData\Local\pip\Cache\wheels\2c\f7\79\13f3a12cd723892437c0cfbde1230ab4d82947ff7b3839a4fc
Successfully built pyyaml
Installing collected packages: scipy, pyyaml, keras
Successfully installed keras-2.1.4 pyyaml-3.12 scipy-1.0.0
PS >
なんかしれっとインストールは終わったみたいだ。
僕の使っているWindows10が、あらかじめPythonのモジュール等が入っていて、インストーラーが吐くかもしれないエラーが回避されていた可能性はある。
それにしても、Bash on Ubuntu on Windowsやら、PowerShellやら、コマンドプロンプトやら、WindowsとUnixの操作体系の混じったようなシェルを使っていると、インストールから含めてわけわかんなくなってくる。
2018年2月28日水曜日
2016年6月26日日曜日
で、結局pycudaはちゃんと動いているのか??
こちらのサイト様のコードを使わせていただいて、動作確認をしてみる。
https://hnakamur.github.io/blog/2015/07/25/setup_pycuda_on_macbook_pro_with_geforce/
下記コードをpycuda-test.pyと名付けて保存。
import pycuda.gpuarray as gpuarray
import pycuda.driver as cuda
import pycuda.autoinit
import numpy
a_gpu = gpuarray.to_gpu(numpy.random.randn(4,4).astype(numpy.float32))
a_doubled = (2*a_gpu).get()
print(a_doubled)
print(a_gpu)
では、動かしてみる。
$ python3 pycuda-test.py
[[-0.88340336 -0.48412755 -2.73136067 -0.04277773]
[ 1.15315139 -2.88467717 -0.6212647 0.35913253]
[ 1.04733992 -3.00954723 1.72663045 -0.17476171]
[-1.08756733 0.0739169 -1.34298694 -0.24150042]]
[[-0.44170168 -0.24206378 -1.36568034 -0.02138886]
[ 0.5765757 -1.44233859 -0.31063235 0.17956626]
[ 0.52366996 -1.50477362 0.86331522 -0.08738086]
[-0.54378366 0.03695845 -0.67149347 -0.12075021]]
やっぱりpycudaは動作しているようだ。
その他のサンプルコードだと、Python2とPython3の差異があったりと、今日の時点ではpycudaがちゃんと動いているのかわからなかった。次はもうちょっとビジュアル的に面白いコードで試してみたい。
https://hnakamur.github.io/blog/2015/07/25/setup_pycuda_on_macbook_pro_with_geforce/
下記コードをpycuda-test.pyと名付けて保存。
import pycuda.gpuarray as gpuarray
import pycuda.driver as cuda
import pycuda.autoinit
import numpy
a_gpu = gpuarray.to_gpu(numpy.random.randn(4,4).astype(numpy.float32))
a_doubled = (2*a_gpu).get()
print(a_doubled)
print(a_gpu)
では、動かしてみる。
$ python3 pycuda-test.py
[[-0.88340336 -0.48412755 -2.73136067 -0.04277773]
[ 1.15315139 -2.88467717 -0.6212647 0.35913253]
[ 1.04733992 -3.00954723 1.72663045 -0.17476171]
[-1.08756733 0.0739169 -1.34298694 -0.24150042]]
[[-0.44170168 -0.24206378 -1.36568034 -0.02138886]
[ 0.5765757 -1.44233859 -0.31063235 0.17956626]
[ 0.52366996 -1.50477362 0.86331522 -0.08738086]
[-0.54378366 0.03695845 -0.67149347 -0.12075021]]
やっぱりpycudaは動作しているようだ。
その他のサンプルコードだと、Python2とPython3の差異があったりと、今日の時点ではpycudaがちゃんと動いているのかわからなかった。次はもうちょっとビジュアル的に面白いコードで試してみたい。
numpy、python-six、そしてpycudaをインストールしてゆく。
まずnumpyからインストールしてゆく。
numpyは科学技術計算で利用されるPythonの拡張モジュールなんだとか。
$ pip install numpy
Requirement already satisfied (use --upgrade to upgrade): numpy in /Users/ほげほげ/.pyenv/versions/anaconda3-4.0.0/lib/python3.5/site-packages
おお。
Python3をインストールする時にanacondaを選択したので、インストール済みであったか。
じゃ、python-sixへ続く。
sixとは、Python 2 と Python 3 の間の違いを吸収するためのシンプルなユーティリティなんだとか。
$ pip install six
Requirement already satisfied (use --upgrade to upgrade): six in /Users/ほげほげ/.pyenv/versions/anaconda3-4.0.0/lib/python3.5/site-packages
インストール済みとな。
anacondaは優秀なパッケージなんだな。
じゃ、Pycudaをインストールする。
$ pip install pycuda
盛大なエラーを吐いて終了。。。。。
じゃ、世の中のWebサイトで成功事例に書かれている方法で再挑戦する。
フォルダはホームフォルダに置く事にする。
$ git clone http://git.tiker.net/trees/pycuda.git
で、ダウンロードが済んだら、pycudaのフォルダに降りてみる。
$cd pycuda
$ ls
MANIFEST.in bpl-subset setup.cfg
Makefile.in configure.py setup.py
README.rst doc src
README_SETUP.txt examples test
aksetup_helper.py pycuda
こんな感じの内容。
$ python3 configure.py
$ ls
MANIFEST.in aksetup_helper.py setup.cfg
Makefile bpl-subset setup.py
Makefile.in configure.py siteconf.py
README.rst doc src
README_SETUP.txt examples test
__pycache__ pycuda
14ファイル → 17ファイルに増えてる。
$ vi siteconf.py
BOOST_INC_DIR = []
BOOST_LIB_DIR = []
BOOST_COMPILER = 'gcc43'
USE_SHIPPED_BOOST = True
BOOST_PYTHON_LIBNAME = ['boost_python-35']
BOOST_THREAD_LIBNAME = ['boost_thread']
CUDA_TRACE = False
CUDA_ROOT = '/Developer/NVIDIA/CUDA-7.5'
CUDA_ENABLE_GL = False
CUDA_ENABLE_CURAND = True
CUDADRV_LIB_DIR = ['${CUDA_ROOT}/lib', '${CUDA_ROOT}/lib64', '${CUDA_ROOT}/lib/stubs', '${CUDA_ROOT}/lib64/stubs']
CUDADRV_LIBNAME = ['cuda']
CUDART_LIB_DIR = ['${CUDA_ROOT}/lib', '${CUDA_ROOT}/lib64', '${CUDA_ROOT}/lib/stubs', '${CUDA_ROOT}/lib64/stubs']
CUDART_LIBNAME = ['cudart']
CURAND_LIB_DIR = ['${CUDA_ROOT}/lib', '${CUDA_ROOT}/lib64', '${CUDA_ROOT}/lib/stubs', '${CUDA_ROOT}/lib64/stubs']
CURAND_LIBNAME = ['curand']
CXXFLAGS = []
LDFLAGS = []
上記を次の内容に書き換える。
BOOST_INC_DIR = ['/opt/local/include']
BOOST_LIB_DIR = ['/opt/local/lib']
BOOST_COMPILER = 'gcc43'
USE_SHIPPED_BOOST = True
BOOST_PYTHON_LIBNAME = ['boost_python-py35']
BOOST_THREAD_LIBNAME = ['boost_thread']
CUDA_TRACE = False
CUDA_ROOT = '/usr/local/cuda'
CUDA_ENABLE_GL = False
CUDA_ENABLE_CURAND = True
CUDADRV_LIB_DIR = ['${CUDA_ROOT}/lib', '${CUDA_ROOT}/lib64', '${CUDA_ROOT}/lib/stubs', '${CUDA_ROOT}/lib64/stubs']
CUDADRV_LIBNAME = ['cuda']
CUDART_LIB_DIR = ['${CUDA_ROOT}/lib', '${CUDA_ROOT}/lib64', '${CUDA_ROOT}/lib/stubs', '${CUDA_ROOT}/lib64/stubs']
CUDART_LIBNAME = ['cudart']
CURAND_LIB_DIR = ['${CUDA_ROOT}/lib', '${CUDA_ROOT}/lib64', '${CUDA_ROOT}/lib/stubs', '${CUDA_ROOT}/lib64/stubs']
CURAND_LIBNAME = ['curand']
CXXFLAGS = ["-arch", "x86_64", "-arch", "i386",'-mmacosx-version-min=10.11', '-isysroot', '/Applications/Xcode.app/Contents/Developer/Platforms/MacOSX.platform/Developer/SDKs/MacOSX10.11.sdk']
LDFLAGS = ["-F/Library/Frameworks", "-arch", "x86_64", "-arch", "i386",'-mmacosx-version-min=10.11', '-isysroot', '/Applications/Xcode.app/Contents/Developer/Platforms/MacOSX.platform/Developer/SDKs/MacOSX10.11.sdk']
pycudaのインストールにcompyteが必要らしいので、こちらもインストールする。
pycudaのフォルダ内で、次のコマンドを実行。
$ git clone git://github.com/inducer/compyte.git
いよいよpycudaをインストールする。
$ cd ~/pycuda
念のためのおまじない。
$ git submodule update --init
Submodule 'bpl-subset' (https://github.com/inducer/bpl-subset) registered for path 'bpl-subset'
Submodule 'pycuda/compyte' (https://github.com/inducer/compyte) registered for path 'pycuda/compyte'
Cloning into 'bpl-subset'...
remote: Counting objects: 5374, done.
remote: Total 5374 (delta 0), reused 0 (delta 0), pack-reused 5374
Receiving objects: 100% (5374/5374), 5.03 MiB | 1.00 MiB/s, done.
Resolving deltas: 100% (1282/1282), done.
Checking connectivity... done.
Submodule path 'bpl-subset': checked out 'e7c5f5131daca6298b5e8aa48d06e7ecffec2ffa'
Cloning into 'pycuda/compyte'...
remote: Counting objects: 1889, done.
remote: Total 1889 (delta 0), reused 0 (delta 0), pack-reused 1889
Receiving objects: 100% (1889/1889), 739.73 KiB | 427.00 KiB/s, done.
Resolving deltas: 100% (1085/1085), done.
Checking connectivity... done.
Submodule path 'pycuda/compyte': checked out 'ac1c71d46428c14aa1bd1c09d7da19cd0298d5cc'
じゃあ、makeしてみますか。。。。
$ sudo make
でるわでるわ、警告の嵐!!
気が遠くなるほど警告を吐いたあとで、作業は終了。
じゃ、make installしますか。。。
$ sudo make install
Finished processing dependencies for pycuda==2016.1.1
なんか、終わったくさいぞ!!
いったんターミナルを終了して、立ち上げ直す。
pycudaの動作確認をしてみる。
$ python3
Python 3.5.1 |Anaconda 4.0.0 (x86_64)| (default, Dec 7 2015, 11:24:55)
[GCC 4.2.1 (Apple Inc. build 5577)] on darwin
Type "help", "copyright", "credits" or "license" for more information.
>>> import pycuda.autoinit
>>>
やったっ!!
成功しましたっ!!!!
numpyは科学技術計算で利用されるPythonの拡張モジュールなんだとか。
$ pip install numpy
Requirement already satisfied (use --upgrade to upgrade): numpy in /Users/ほげほげ/.pyenv/versions/anaconda3-4.0.0/lib/python3.5/site-packages
おお。
Python3をインストールする時にanacondaを選択したので、インストール済みであったか。
じゃ、python-sixへ続く。
sixとは、Python 2 と Python 3 の間の違いを吸収するためのシンプルなユーティリティなんだとか。
$ pip install six
Requirement already satisfied (use --upgrade to upgrade): six in /Users/ほげほげ/.pyenv/versions/anaconda3-4.0.0/lib/python3.5/site-packages
インストール済みとな。
anacondaは優秀なパッケージなんだな。
じゃ、Pycudaをインストールする。
$ pip install pycuda
盛大なエラーを吐いて終了。。。。。
じゃ、世の中のWebサイトで成功事例に書かれている方法で再挑戦する。
フォルダはホームフォルダに置く事にする。
$ git clone http://git.tiker.net/trees/pycuda.git
で、ダウンロードが済んだら、pycudaのフォルダに降りてみる。
$cd pycuda
$ ls
MANIFEST.in bpl-subset setup.cfg
Makefile.in configure.py setup.py
README.rst doc src
README_SETUP.txt examples test
aksetup_helper.py pycuda
こんな感じの内容。
$ python3 configure.py
$ ls
MANIFEST.in aksetup_helper.py setup.cfg
Makefile bpl-subset setup.py
Makefile.in configure.py siteconf.py
README.rst doc src
README_SETUP.txt examples test
__pycache__ pycuda
14ファイル → 17ファイルに増えてる。
$ vi siteconf.py
BOOST_INC_DIR = []
BOOST_LIB_DIR = []
BOOST_COMPILER = 'gcc43'
USE_SHIPPED_BOOST = True
BOOST_PYTHON_LIBNAME = ['boost_python-35']
BOOST_THREAD_LIBNAME = ['boost_thread']
CUDA_TRACE = False
CUDA_ROOT = '/Developer/NVIDIA/CUDA-7.5'
CUDA_ENABLE_GL = False
CUDA_ENABLE_CURAND = True
CUDADRV_LIB_DIR = ['${CUDA_ROOT}/lib', '${CUDA_ROOT}/lib64', '${CUDA_ROOT}/lib/stubs', '${CUDA_ROOT}/lib64/stubs']
CUDADRV_LIBNAME = ['cuda']
CUDART_LIB_DIR = ['${CUDA_ROOT}/lib', '${CUDA_ROOT}/lib64', '${CUDA_ROOT}/lib/stubs', '${CUDA_ROOT}/lib64/stubs']
CUDART_LIBNAME = ['cudart']
CURAND_LIB_DIR = ['${CUDA_ROOT}/lib', '${CUDA_ROOT}/lib64', '${CUDA_ROOT}/lib/stubs', '${CUDA_ROOT}/lib64/stubs']
CURAND_LIBNAME = ['curand']
CXXFLAGS = []
LDFLAGS = []
上記を次の内容に書き換える。
BOOST_INC_DIR = ['/opt/local/include']
BOOST_LIB_DIR = ['/opt/local/lib']
BOOST_COMPILER = 'gcc43'
USE_SHIPPED_BOOST = True
BOOST_PYTHON_LIBNAME = ['boost_python-py35']
BOOST_THREAD_LIBNAME = ['boost_thread']
CUDA_TRACE = False
CUDA_ROOT = '/usr/local/cuda'
CUDA_ENABLE_GL = False
CUDA_ENABLE_CURAND = True
CUDADRV_LIB_DIR = ['${CUDA_ROOT}/lib', '${CUDA_ROOT}/lib64', '${CUDA_ROOT}/lib/stubs', '${CUDA_ROOT}/lib64/stubs']
CUDADRV_LIBNAME = ['cuda']
CUDART_LIB_DIR = ['${CUDA_ROOT}/lib', '${CUDA_ROOT}/lib64', '${CUDA_ROOT}/lib/stubs', '${CUDA_ROOT}/lib64/stubs']
CUDART_LIBNAME = ['cudart']
CURAND_LIB_DIR = ['${CUDA_ROOT}/lib', '${CUDA_ROOT}/lib64', '${CUDA_ROOT}/lib/stubs', '${CUDA_ROOT}/lib64/stubs']
CURAND_LIBNAME = ['curand']
CXXFLAGS = ["-arch", "x86_64", "-arch", "i386",'-mmacosx-version-min=10.11', '-isysroot', '/Applications/Xcode.app/Contents/Developer/Platforms/MacOSX.platform/Developer/SDKs/MacOSX10.11.sdk']
LDFLAGS = ["-F/Library/Frameworks", "-arch", "x86_64", "-arch", "i386",'-mmacosx-version-min=10.11', '-isysroot', '/Applications/Xcode.app/Contents/Developer/Platforms/MacOSX.platform/Developer/SDKs/MacOSX10.11.sdk']
pycudaのインストールにcompyteが必要らしいので、こちらもインストールする。
pycudaのフォルダ内で、次のコマンドを実行。
$ git clone git://github.com/inducer/compyte.git
いよいよpycudaをインストールする。
$ cd ~/pycuda
念のためのおまじない。
$ git submodule update --init
Submodule 'bpl-subset' (https://github.com/inducer/bpl-subset) registered for path 'bpl-subset'
Submodule 'pycuda/compyte' (https://github.com/inducer/compyte) registered for path 'pycuda/compyte'
Cloning into 'bpl-subset'...
remote: Counting objects: 5374, done.
remote: Total 5374 (delta 0), reused 0 (delta 0), pack-reused 5374
Receiving objects: 100% (5374/5374), 5.03 MiB | 1.00 MiB/s, done.
Resolving deltas: 100% (1282/1282), done.
Checking connectivity... done.
Submodule path 'bpl-subset': checked out 'e7c5f5131daca6298b5e8aa48d06e7ecffec2ffa'
Cloning into 'pycuda/compyte'...
remote: Counting objects: 1889, done.
remote: Total 1889 (delta 0), reused 0 (delta 0), pack-reused 1889
Receiving objects: 100% (1889/1889), 739.73 KiB | 427.00 KiB/s, done.
Resolving deltas: 100% (1085/1085), done.
Checking connectivity... done.
Submodule path 'pycuda/compyte': checked out 'ac1c71d46428c14aa1bd1c09d7da19cd0298d5cc'
じゃあ、makeしてみますか。。。。
$ sudo make
でるわでるわ、警告の嵐!!
気が遠くなるほど警告を吐いたあとで、作業は終了。
じゃ、make installしますか。。。
$ sudo make install
Finished processing dependencies for pycuda==2016.1.1
なんか、終わったくさいぞ!!
いったんターミナルを終了して、立ち上げ直す。
pycudaの動作確認をしてみる。
$ python3
Python 3.5.1 |Anaconda 4.0.0 (x86_64)| (default, Dec 7 2015, 11:24:55)
[GCC 4.2.1 (Apple Inc. build 5577)] on darwin
Type "help", "copyright", "credits" or "license" for more information.
>>> import pycuda.autoinit
>>>
やったっ!!
成功しましたっ!!!!
2016年6月25日土曜日
CUDAドライバーをインストールし、サンプルプログラムで動作確認するまで。
前回のChainerのサンプルプログラムは、CPUで動作させました。
次に挑戦すべきは、GPUで動作させる事ですね。
まず、chainer-1.9.1/examples/mnist/train_mnist.py のGPUスイッチを入れてみた。
parser.add_argument('--gpu', '-g', default=0, type=int,
help='GPU ID (negative value indicates CPU)')
で、どうなるか?
$ python3 chainer-1.9.1/examples/mnist/train_mnist.py
GPU: 0
# unit: 1000
# Minibatch-size: 100
# epoch: 20
Network type: simple
load MNIST dataset
Downloading train-images-idx3-ubyte.gz...
Done
Downloading train-labels-idx1-ubyte.gz...
Done
Downloading t10k-images-idx3-ubyte.gz...
Done
Downloading t10k-labels-idx1-ubyte.gz...
Done
Converting training data...
Done
Converting test data...
Done
Save output...
Done
Convert completed
Traceback (most recent call last):
File "chainer-1.9.1/examples/mnist/train_mnist.py", line 68, in <module>
cuda.get_device(args.gpu).use()
File "/Users/ほげほげ/.pyenv/versions/anaconda3-4.0.0/lib/python3.5/site-packages/chainer/cuda.py", line 161, in get_device
check_cuda_available()
File "/Users/ほげほげ/.pyenv/versions/anaconda3-4.0.0/lib/python3.5/site-packages/chainer/cuda.py", line 82, in check_cuda_available
raise RuntimeError(msg)
RuntimeError: CUDA environment is not correctly set up
(see https://github.com/pfnet/chainer#installation).'str' object has no attribute '__traceback__'
でエラーで止まった。
んー、とりあえずCUDAとか、cuda.pyとか不備があるようだ。
まずは、NVIDIAからCUDAドライバーと、Toolkitをダウンロードし、インストールした。
$ vi ./.bash_profile で 次の通りパス設定を書き込みます。
# CUDA
export PATH=/Developer/NVIDIA/CUDA-7.5/bin:$PATH
export DYLD_LIBRARY_PATH=/Developer/NVIDIA/CUDA-7.5/lib:$DYLD_LIBRARY_PATH
CUDAのバージョンの数字は、導入時期に合わせて適宜変更が必要。
軽く動作確認してみます。
$ nvcc -V
nvcc: NVIDIA (R) Cuda compiler driver
Copyright (c) 2005-2015 NVIDIA Corporation
Built on Mon_Apr_11_13:23:40_CDT_2016
Cuda compilation tools, release 7.5, V7.5.26
一応、パスは通っているみたいだ。
次にCUDAのサンプルプログラムを動かしてみます。
・Xcodeをインストールする。
・Boostをインストールする。Homebrewを使うと楽にインストールできる。
$ brew install boost
では、CUDAのサンプルファイルを実行する準備を行います。
$ cd /Developer/NVIDIA/CUDA-7.5/samples
$ sudo make
結構長い間コンパイル作業が続きます。
お茶でも飲んで待っているといいかもしれません。
コンパイル作業が終わったら、このコマンドを叩いてみます。
$ 1_Utilities/deviceQuery/deviceQuery
もしCUDAがうまく動作している場合は、こんな表示が出ます。
1_utilities/deviceQuery/deviceQuery Starting...
CUDA Device Query (Runtime API) version (CUDART static linking)
Detected 1 CUDA Capable device(s)
Device 0: "GeForce GTX 970"
CUDA Driver Version / Runtime Version 7.5 / 7.5
CUDA Capability Major/Minor version number: 5.2
Total amount of global memory: 4096 MBytes (4294770688 bytes)
(13) Multiprocessors, (128) CUDA Cores/MP: 1664 CUDA Cores
GPU Max Clock rate: 1216 MHz (1.22 GHz)
Memory Clock rate: 3505 Mhz
Memory Bus Width: 256-bit
L2 Cache Size: 1835008 bytes
Maximum Texture Dimension Size (x,y,z) 1D=(65536), 2D=(65536, 65536), 3D=(4096, 4096, 4096)
Maximum Layered 1D Texture Size, (num) layers 1D=(16384), 2048 layers
Maximum Layered 2D Texture Size, (num) layers 2D=(16384, 16384), 2048 layers
Total amount of constant memory: 65536 bytes
Total amount of shared memory per block: 49152 bytes
Total number of registers available per block: 65536
Warp size: 32
Maximum number of threads per multiprocessor: 2048
Maximum number of threads per block: 1024
Max dimension size of a thread block (x,y,z): (1024, 1024, 64)
Max dimension size of a grid size (x,y,z): (2147483647, 65535, 65535)
Maximum memory pitch: 2147483647 bytes
Texture alignment: 512 bytes
Concurrent copy and kernel execution: Yes with 2 copy engine(s)
Run time limit on kernels: Yes
Integrated GPU sharing Host Memory: No
Support host page-locked memory mapping: Yes
Alignment requirement for Surfaces: Yes
Device has ECC support: Disabled
Device supports Unified Addressing (UVA): Yes
Device PCI Domain ID / Bus ID / location ID: 0 / 1 / 0
Compute Mode:
< Default (multiple host threads can use ::cudaSetDevice() with device simultaneously) >
deviceQuery, CUDA Driver = CUDART, CUDA Driver Version = 7.5, CUDA Runtime Version = 7.5, NumDevs = 1, Device0 = GeForce GTX 970
Result = PASS
やったー!動いているみたいだ。
もう一つテストしてみる。
$ 1_utilities/bandwidthTest/bandwidthTest
[CUDA Bandwidth Test] - Starting...
Running on...
Device 0: GeForce GTX 970
Quick Mode
Host to Device Bandwidth, 1 Device(s)
PINNED Memory Transfers
Transfer Size (Bytes) Bandwidth(MB/s)
33554432 12785.7
Device to Host Bandwidth, 1 Device(s)
PINNED Memory Transfers
Transfer Size (Bytes) Bandwidth(MB/s)
33554432 12846.7
Device to Device Bandwidth, 1 Device(s)
PINNED Memory Transfers
Transfer Size (Bytes) Bandwidth(MB/s)
33554432 142505.2
Result = PASS
NOTE: The CUDA Samples are not meant for performance measurements. Results may vary when GPU Boost is enabled.
へいへい、わっかりやした。
enableなことが分かれば、それで十分です。
次に挑戦すべきは、GPUで動作させる事ですね。
まず、chainer-1.9.1/examples/mnist/train_mnist.py のGPUスイッチを入れてみた。
parser.add_argument('--gpu', '-g', default=0, type=int,
help='GPU ID (negative value indicates CPU)')
で、どうなるか?
$ python3 chainer-1.9.1/examples/mnist/train_mnist.py
GPU: 0
# unit: 1000
# Minibatch-size: 100
# epoch: 20
Network type: simple
load MNIST dataset
Downloading train-images-idx3-ubyte.gz...
Done
Downloading train-labels-idx1-ubyte.gz...
Done
Downloading t10k-images-idx3-ubyte.gz...
Done
Downloading t10k-labels-idx1-ubyte.gz...
Done
Converting training data...
Done
Converting test data...
Done
Save output...
Done
Convert completed
Traceback (most recent call last):
File "chainer-1.9.1/examples/mnist/train_mnist.py", line 68, in <module>
cuda.get_device(args.gpu).use()
File "/Users/ほげほげ/.pyenv/versions/anaconda3-4.0.0/lib/python3.5/site-packages/chainer/cuda.py", line 161, in get_device
check_cuda_available()
File "/Users/ほげほげ/.pyenv/versions/anaconda3-4.0.0/lib/python3.5/site-packages/chainer/cuda.py", line 82, in check_cuda_available
raise RuntimeError(msg)
RuntimeError: CUDA environment is not correctly set up
(see https://github.com/pfnet/chainer#installation).'str' object has no attribute '__traceback__'
でエラーで止まった。
んー、とりあえずCUDAとか、cuda.pyとか不備があるようだ。
まずは、NVIDIAからCUDAドライバーと、Toolkitをダウンロードし、インストールした。
$ vi ./.bash_profile で 次の通りパス設定を書き込みます。
# CUDA
export PATH=/Developer/NVIDIA/CUDA-7.5/bin:$PATH
export DYLD_LIBRARY_PATH=/Developer/NVIDIA/CUDA-7.5/lib:$DYLD_LIBRARY_PATH
CUDAのバージョンの数字は、導入時期に合わせて適宜変更が必要。
軽く動作確認してみます。
$ nvcc -V
nvcc: NVIDIA (R) Cuda compiler driver
Copyright (c) 2005-2015 NVIDIA Corporation
Built on Mon_Apr_11_13:23:40_CDT_2016
Cuda compilation tools, release 7.5, V7.5.26
一応、パスは通っているみたいだ。
次にCUDAのサンプルプログラムを動かしてみます。
・Xcodeをインストールする。
・Boostをインストールする。Homebrewを使うと楽にインストールできる。
$ brew install boost
では、CUDAのサンプルファイルを実行する準備を行います。
$ cd /Developer/NVIDIA/CUDA-7.5/samples
$ sudo make
結構長い間コンパイル作業が続きます。
お茶でも飲んで待っているといいかもしれません。
コンパイル作業が終わったら、このコマンドを叩いてみます。
$ 1_Utilities/deviceQuery/deviceQuery
もしCUDAがうまく動作している場合は、こんな表示が出ます。
1_utilities/deviceQuery/deviceQuery Starting...
CUDA Device Query (Runtime API) version (CUDART static linking)
Detected 1 CUDA Capable device(s)
Device 0: "GeForce GTX 970"
CUDA Driver Version / Runtime Version 7.5 / 7.5
CUDA Capability Major/Minor version number: 5.2
Total amount of global memory: 4096 MBytes (4294770688 bytes)
(13) Multiprocessors, (128) CUDA Cores/MP: 1664 CUDA Cores
GPU Max Clock rate: 1216 MHz (1.22 GHz)
Memory Clock rate: 3505 Mhz
Memory Bus Width: 256-bit
L2 Cache Size: 1835008 bytes
Maximum Texture Dimension Size (x,y,z) 1D=(65536), 2D=(65536, 65536), 3D=(4096, 4096, 4096)
Maximum Layered 1D Texture Size, (num) layers 1D=(16384), 2048 layers
Maximum Layered 2D Texture Size, (num) layers 2D=(16384, 16384), 2048 layers
Total amount of constant memory: 65536 bytes
Total amount of shared memory per block: 49152 bytes
Total number of registers available per block: 65536
Warp size: 32
Maximum number of threads per multiprocessor: 2048
Maximum number of threads per block: 1024
Max dimension size of a thread block (x,y,z): (1024, 1024, 64)
Max dimension size of a grid size (x,y,z): (2147483647, 65535, 65535)
Maximum memory pitch: 2147483647 bytes
Texture alignment: 512 bytes
Concurrent copy and kernel execution: Yes with 2 copy engine(s)
Run time limit on kernels: Yes
Integrated GPU sharing Host Memory: No
Support host page-locked memory mapping: Yes
Alignment requirement for Surfaces: Yes
Device has ECC support: Disabled
Device supports Unified Addressing (UVA): Yes
Device PCI Domain ID / Bus ID / location ID: 0 / 1 / 0
Compute Mode:
< Default (multiple host threads can use ::cudaSetDevice() with device simultaneously) >
deviceQuery, CUDA Driver = CUDART, CUDA Driver Version = 7.5, CUDA Runtime Version = 7.5, NumDevs = 1, Device0 = GeForce GTX 970
Result = PASS
やったー!動いているみたいだ。
もう一つテストしてみる。
$ 1_utilities/bandwidthTest/bandwidthTest
[CUDA Bandwidth Test] - Starting...
Running on...
Device 0: GeForce GTX 970
Quick Mode
Host to Device Bandwidth, 1 Device(s)
PINNED Memory Transfers
Transfer Size (Bytes) Bandwidth(MB/s)
33554432 12785.7
Device to Host Bandwidth, 1 Device(s)
PINNED Memory Transfers
Transfer Size (Bytes) Bandwidth(MB/s)
33554432 12846.7
Device to Device Bandwidth, 1 Device(s)
PINNED Memory Transfers
Transfer Size (Bytes) Bandwidth(MB/s)
33554432 142505.2
Result = PASS
NOTE: The CUDA Samples are not meant for performance measurements. Results may vary when GPU Boost is enabled.
へいへい、わっかりやした。
enableなことが分かれば、それで十分です。
登録:
投稿 (Atom)