アレコレ・ティプス

これ便利だな〜と思ったことなど

mac で 長く安全に使える python 環境を作る

とりあえず 手っ取り早く、ロングスパンで 安全に使える環境作りをしたい方向けに記事です。
 
根拠、詳細・準備は こちらが 参考になると思います。
 
上記 参照元のURL と python のバージョンが違うので、ここでは、2019/8/4 現在 最新の python 環境の構築 を行なっていきます。
 

 
環境:
10.13.6
 
事前準備
以下コマンドが使える状態にしておいてください。
 
 
 

 
pyenv コマンド をインストールします。
 
$ brew install pyenv
 
bash_profile の存在を確認。
$ ls -l ~/.bash_profile
 
$ vim ~/.bash_profile
 

( 追記内容 )
 
# pyenv コマンドは ~/.pyenvではなく、/usr/loca/var/pyenvを使うように設定
export PYENV_ROOT=/usr/local/var/pyenv
 
# pyenv に自動補完機能 を有効化
if which pyenv > /dev/null; then eval "$(pyenv init -)"; fi

 
 
 ~/.bash_profileに書いた内容を有効にする
$ source ~/.bash_profile
 
インストールできたか確認
$ brew list | grep pyenv
pyenv    <-  いることを確認
$ pyenv --version
pyenv 1.2.13
 
 
インストールできる python のバージョン確認
$ pyenv install -l
・・・
  3.6.9
  3.7.0
  3.7-dev
  3.7.1
  3.7.2
  3.7.3
  3.7.4
  3.8-dev
  3.9-dev
・・・
今回は、3.7.4をインストールする。
 
$ pyenv install 3.7.4
 
python-build: use openssl from homebrew
python-build: use readline from homebrew
Downloading Python-3.7.4.tar.xz...
Installing Python-3.7.4...
python-build: use readline from homebrew
 
 
( ここらで 5分くらい待ちました。 )
 
Installed Python-3.7.4 to /usr/local/var/pyenv/versions/3.7.4
 
インストール 完了!
 
現在 使用中の Python バージョン確認
$ pyenv versions
* system (set by /usr/local/var/pyenv/version)
  3.7.4
 
システム全体に反映
$ pyenv global 3.7.4
 
確認
$ pyenv versions
  system
* 3.7.4 (set by /usr/local/var/pyenv/version)
 
このような環境になりました。
 
~$ pyenv versions
  system
* 3.7.4 (set by /usr/local/var/pyenv/version)
Python 3.7.4 (default, Aug  4 2019, 14:15:00) 
[Clang 10.0.0 (clang-1000.10.44.4)] on darwin
Type "help", "copyright", "credits" or "license" for more information.
>>>  ここで ctrl+d  すると 安全にコマンドを終えます。
 

venv 仮想環境の作成
 
自分のユーザー名を確認
$ whoami
 
例えば 
/Users/ ユーザー名  /dev/python_dev に作成
 
$ mkdir -p 上記パス
 
$ cd /Users/ ユーザー名  /dev/python_dev
 
仮想環境を作るためのディレクトリ内 でコマンド
$ python -m venv py3env
 
以上で Python を使い始める準備が整いました。
 

 
今後  python コマンドを使うとき は、py3envを有効化してから使います。
 
$ cd /Users/ ユーザー名  /dev/python_dev
$ source py3env/bin/activate
 
python を使う。
 
仮想環境py3envを無効化するには、
(py3env) $ deactivate
 

 
以上です。
 
そのほか 実践的な python 系 ツールの紹介もしたの方にありますので、
とても 参考になります。
 

H2O.ai の java インストール

はじめに
 
 H2O.ai   ( H2O社 )      とは?
 
機械学習自動化プラットフォーム の OSSです。
GPU で 走らせることもできる とのことです。
 
 

 
 
Bigデータから AI で解析! など、役に立つところは多そうです。
 
より詳しく紹介している ところは多いと思いますので、、
 
自分は、インストール方法だけ ご紹介します。
 
ーーーーー
 
手元の環境 CentOS Linux release 7.4.1708 (Core)  VMです。
 
java から インストールしていきます。
 
こちらを参考に
 
version は 1.8 にしてみました。
 
 
# yum search java-1.8.0-openjdk
 
ランタイムのみ インストール
# yum install java-1.8.0-openjdk -y
 
 
java 8 (JDK) 開発環境のインストール
 
# yum install java-1.8.0-openjdk-devel
 
バージョン確認
 
# java -version
openjdk version "1.8.0_222"
 
ーーーーー
 

 
まずここから h2o の zipファイル を ダウンロード
 
 
任意のディレクトリにおきます。
自分は h2oAI  というディレクトリ を作成してそこにおきました。
 
zipは、500MBくらい ありました。
 
# pwd
/dev/h2oAI
 
# ls
h2o-3.19.0.4275.zip
 
# unzip ./h2o-3.19.0.4275.zip 
Archive:  ./h2o-3.19.0.4275.zip
・・・・・
 
# cd h2o-3.19.0.4275
 
 
# java -jar 
・・・・・
INFO: Open H2O Flow in your web browser: http://ホストのIPアドレス :54321
 
となれば 立ち上がり完了!
 
ここへ ブラウザでアクセスしにいきます。
 
 

 
完了!
 
とりあえず CPU GPU 関係なしに、はじめるには、VMjava で 始めるほうが コンテナ より簡単な気がしました。
 
 ( 2019.08.07 一部 H2O 関連固有名詞を修正 )
 

docker コンテナ内の 設定ミス で 停止してしまったら、、、

 もし docker コンテナ 内の 設定 ファイルの編集ミスなどをしてしまって、
コンテナが起動しなくてしまったら、 何も知らないと結構困る。
 
起動しなくなったコンテナを、無理やり起動させて、修正作業ができるようにしたい。 
 
「docker logo」の画像検索結果

 
 
 
ここの通り対処すればOK かと思うが、、
 
 
自分は、上記とは、多少 環境が 異なるため、一応 ここに 記録。
 

< できた環境 > 
 
ホストOS macos 10.13.6 ターミナル
仮想 ( VM ) CentOS
CentOS Linux release 7.4.1708 (Core)
 

 
まず Docker ホストの OS に ログイン状態
# docker -v
Docker version 1.13.1, build 07f3374/1.13.1
 
停止した コンテナの ID を確認 (前方の数桁がわかればOK)
# docker ps -a
・・・

 
 
該当 コンテナのディレクトリ へ移動
cd /var/lib/docker/containers/ae98d...4f6/

( * 編集前に この ファイル のバックアップを忘れずに! )
cp -p 上記config.v2.json /バックアップ退避しておきたいディレクトリ/config.v2.json
 
一時的にコンテナ起動時コマンドを編集する
vi ./config.v2.json
 
> 編集 内容
コンテナ起動時のコマンド と そのコマンドの引数を 操作する。
 
コマンド  “ Path “ 要素にかかれたものを適当なコマンドに変更する。
“ PATH “ ではないので注意。
 
たとえば  tail 。 node-red コンテナの場合は  以下のように指定した。
 

“Path" : “ /usr/bin/tail "
 
 
/usr/bin/tail 
 
続いて そのコマンドの引数の指定は “ Args “ で。
確実に有効な オプションや、ファイルパス を指定する。
 

"Args":["-f","/usr/src/node-red/package.json"]
 
 
上記で 指定 うまくいくと コンテナ起動時
tail -f /usr/src/node-red/package.json 
というコマンドがうまくいけば  コンテナが立ち上がりっぱなしになる。
 
編集した config.v2.json を 有効化する。
 
# systemctl restart docker
 
# docker start -ai  問題のコンテナ名
 
ここで、上記 で 設定した指定がうまくいけば、 立ち上がる。
立ち上がらなければ、 エラー内容を よく読み config.v2.json で 対処できそうな 問題なら、それで 立ち上げる。
 
もしうまく立ち上がったらなら、 上記の例では tail -f コマンド を実行したままになるはず。
 
この状態で、通常起動時の問題箇所を修正しておく。
( 自分の場合は、 node-red コンテナの /data/setting.js の内容を修正した。)
 
この時、 ctrl + p つづけて q と押す  と コンテナ は デーモン化して バックグラウンドへ。
 
docker ホスト側 の ターミナル操作に復帰できる。
 
また、修正したければ docker exec -it コマンドで 中に入って修正作業できる と思う。
 
 
 修正が完了したら、さきほどバックアップした、config.v2.json を使って通常コンテナ起動の設定に戻す。
( cp -p バックアップ退避しておいたパス/config.v2.json 起動方法を弄ったconfig.v2.json )
 
⬇︎その config.v2.json を 有効化する。
# systemctl restart docker
 

 
あとは通常通り、起動 できればOK。
問題があれば、docker logs コマンドを使ったりして 解析を進めよう。
 
 
 
 
 

ログイン シェル を変える

debian 9 にて。
 
< 目的 >
 
自分で作ったユーザーは、 sh でログインしてしまうので、bashにしたい。
 

 
< やり方 >
 
$ su root
 
# chsh 対象ユーザー名
 
->ここで 指定をおこなう。
 
/bin/bash 
 
あとは、ログインシェルが変わったか 確認すればOK

Centos7.6 バグ ipv6 で dadlyfailed

対策1
ipv6 を 使わない。
 
対策2 パッチを当てる
やり方までは終えてないけど。 
 
関連技術 OpenvSwitch
( Open Virtual Switch、通称「OVS」)は、ソフトウェア定義型ネットワーク(SDN)を実現する仮想スイッチです。
 
 

debian 9 stretch 固定IPアドレスの設定 ( debian公式参照 + エラー対処 )

RTNETLINK answers: Cannot assign requested address がでた。
 
 
すると 自分の場合は、ひとつのNICIPアドレスが2つ になってしまったり、しっちゃか めっちゃか。。
 
対策:flush  の実行を挟む!
 
# ifdown NIC名 ; ip addr flush dev NIC名 ; ifup NIC
 
 

 
 debian 9 stretch において、あんまり 固定IPアドレス を設定する まとまった情報がなかったので 以下にまとめます。
 

 
 
debian 9 stretch において 固定IPアドレス設定 をする方法をまとめます。
 
例1
NIC名 : ens3  とします。
 
通常通り  /etc/network/interfaces を編集して固定IPアドレスの設定をします。
 

 
# The primary network interface
auto ens3
allow-hotplug ens3
iface ens3 inet static
address  自分の設定したい固定IPアドレス
netmask 255.255.255.0  (などサブネットマスクの設定)
gateway ルータのアドレスなど
 
# network とか broadcast とか dns-servers の設定なくてもいけるのね。。

 
 
上記 ファイルの 編集が完了したら、、
# ifdown ens3 ; ip addr flush dev ens3 ; ifup ens3
 
最後確認して 問題なければOK!
# ip a
 

 
 
参考:
公式マニュアル
 
エラー対処

HAproxy ( docker コンテナ版 ) 設定のリロード

 

 
HAproxy コンテナ起動中でもサクッと設定をリロード。config  reload 。グレイスフル リロード
 

 
起動中のコンテナのコンフィグを上書き更新する。
docker ホスト側からコマンド。
 
# docker cp ./dockerホスト側のディレクトリ/haproxy.cfg コンテナID:/usr/local/etc/haproxy/haproxy.cfg
 
上書きしたコンフィグファイルのリロード
グレイスフル・リロード方法 )
 
# docker kill -s HUP 動作中のコンテナ名
 
コマンド例
# docker kill -s HUP my-running-haproxy
 
参考:
 

 
動作確認環境 ( 2019年 2月初旬 )
 
Docker version 1.13.1, build 07f3374/1.13.1
docker-compose version 1.23.2, build 1110ad01
CentOS Linux release 7.4.1708 (Core)
HAproxy 1.9