[ カテゴリー » PC関連 ]

Jupyter Notebookをリバースプロキシで使う

[2017/5/17 追記] Pythonが動かない模様。ブラウザからはWebSocket接続に問題があるように見えますが…要調査。

Dockerなどで動かしているJupyter Notebookをリバースプロキシで/以外にマウントする方法。

まずはJupyterの設定変更。Docker運用でない方は直接jupyter_notebook_config.pyを編集してJupyterを再起動してください。

  1. docker ps -aでJupyterコンテナIDもしくはNAMEを調べる
  2. シェルに入る
  3. docker exec -it コンテナIDまたはNAME /bin/bash
  4. jupyter_notebook_config.py(/home/jovyan/.jupyter/jupyter_notebook_config.py)の設定に以下を追加。'jupyter'はリバースプロキシでマウントしたいパスと一致するように適当に変更。
  5. c.NotebookApp.base_url = '/jupyter/'
    
  6. シェルを抜ける
  7. Jupyterの再起動
  8. docker restart コンテナIDまたはNAME
    
これでJupyter Notebookがhttp://localhost:8888Link ではなくhttp://localhost:8888/jupyterLink でアクセスできるようになります。あとはURL書き換えなどを使ってWebサーバアドレスをlocalhost:8888に書き換える。IISのURL Rewriteの例だと
<?xml version="1.0" encoding="UTF-8"?>
<configuration>
    <system.webServer>
        <rewrite>
          <rules>
            <rule name="ReverseProxyInboundRule1" stopProcessing="true">
              <match url="jupyter/(.*)" />
              <conditions>
                <add input="{CACHE_URL}" pattern="^(https?)://" />
              </conditions>
              <action type="Rewrite" url="{C:1}://localhost:8888/{R:1}" />
            </rule>
          </rules>
          <outboundRules>
            <preConditions>
              <preCondition name="ResponseIsHtml1">
                <add input="{RESPONSE_CONTENT_TYPE}" pattern="^text/html" />
              </preCondition>
            </preConditions>
            <rule name="ReverseProxyOutboundRule1" preCondition="ResponseIsHtml1">
              <match filterByTags="A, Area, Base, Form, Frame, Head, IFrame, Img, Input, Link, Script" pattern="^http(s)?://localhost:8888/(.*)" />
              <action type="Rewrite" value="http{R:1}://Webサーバアドレス/{R:2}" />
            </rule>
          </outboundRules>
        </rewrite>
    </system.webServer>
    <system.web>
        <identity impersonate="false" />
    </system.web>
</configuration>

Jupyter・リバースプロキシで検索するとWebサーバの/にマウントする例がよくありました。私は/以外にマウントしたかったのですが、jupyter_notebook_config.py書き換え無しにIISのURL Rewriteだけで行おうとすると以下の点でハマりました。

  • '/foo/bar'のようにサーバ名を含まないURL表記も'/jupyter/foo/bar'と書き換えないといけないのですが、JavaScript内も変更するためfilterByTags="None"、つまりHTML全文を置換対象する必要があり、余計な部分にマッチしない正規表現にしないといけない。ルールが複雑になると、後のJupyter側の変更で不具合起こす可能性あり。
  • CSS内の'/foo/bar'も'/jupyter/foo/bar'に書き換えないといけない。
  • JupyterのログインフォームでNext=%2F(Next=/)という部分がありログイン成功後に進むページが指定されるのですが、ここを
    • 書き換えないとWebサーバー側の/に飛んでしまう
    • Next=%2Fjupyterなどと書き換えるとJupyterにとっては知らないパス/jupyterに飛べと指定されるのでエラーになる

私は3つ目の理由でURL Rewrite単独での解決は断念しました。

[参考]

— posted by mu at 01:51 pm   commentComment [0]  pingTrackBack [0]

Docker pullが失敗する

仕事で機械学習を覚えるように言われ、手探りで始めることに。とりあえずdocker+tensorflow+jupyter notebook環境を構築すべく仮想マシンにubuntuを入れ、dockerをインストール。次にtensorflow-notebookを入れようとすると、
$ sudo docker pull jupyter/tensorflow-notebook
Using default tag: latest
latest: Pulling from jupyter/tensorflow-notebook

693502eb7dfb: Pull complete
a3782c2efb41: Pull complete
9cb32b776a40: Pull complete
e539f5722cd5: Pull complete
b4690d4047c6: Pull complete
121dc465f5c6: Pull complete
c352772bbcfd: Pull complete
0057b9e76c8a: Extracting    568 B/568 B                                                                 
e63bd87d75dd: Download complete
055904fbc069: Download complete
d336770b8a83: Download complete
d61dbef85c7d: Download complete
6c4990ff8475: Download complete
e5968c6a2a7f: Download complete
bedf924ebae8: Download complete
b52514c7f277: Download complete
335ed19f8aeb: Download complete
0d61bb7891a3: Download complete
17c31ceff0f0: Download complete
de094493e821: Download complete
4d60ed225ef8: Download complete
4e17fd01128d: Download complete
c6a0f58de8b1: Download complete
7fea7b1d8bb9: Download complete
failed to register layer: open /var/lib/docker/aufs/layers/3dd85cabcd0d7bc18c5ccee0e071e2a7f8956765e84498c580d9b180f1433bce: no such file or directory

となり失敗。何回繰り返しても同じ。

この出力だけ見ると最後の'failed to register layer'に目が行きますが、途中を見ていると'0057b9e76c8a: Extracting 568 B/568 B'の行がずっと止まったままなので、以降がダウンロード完了しても展開が始まらないように見える。だいたい568バイトって何よ、あり得ないとは言えないけど小さすぎ。

とりあえず以下の方法で回復しましたが、何分初心者なので正しい対処か分かりませんので、参考程度に。

  1. 裏でdocker pullが動いているなら止める。
  2. Extractingで止まっている0057b9e76c8aで検索。今回は1個だけ出てきましたが(sha256:の後にヒットしています)、複数出てきた場合は内容で判断(まぁレアケースでしょうけど)。
  3. $ sudo grep -r 0057b9e76c8a /var/lib/docker
    /var/lib/docker/image/aufs/distribution/v2metadata-by-diffid/sha256/cda29d030c7debb657eaf6a780dc926d7d1ea900f5e87e79b205bdff35f95ec7:[{"Digest":"sha256:0057b9e76c8a523a63a6418fdfc9580811083be2a505468a24eaf06348151f9b","SourceRepository":"docker.io/jupyter/tensorflow-notebook"}] 
    
  4. 出てきたディレクトリを削除 or どこかに退避
  5. $ sudo rm -rf /var/lib/docker/image/aufs/distribution/v2metadata-by-diffid/sha256/cda29d030c7debb657eaf6a780dc926d7d1ea900f5e87e79b205bdff35f95ec7
    
  6. dockerデーモンを再起動
  7. $ sudo service docker restart
    
  8. 再度pull
  9. $ sudo docker pull jupyter/tensorflow-notebook
    

ちなみに/var/lib/docker/aufs/layers/3dd85cabcd0d7bc18c5ccee0e071e2a7f8956765e84498c580d9b180f1433bceはno such file or directoryとある通り本当に無いので、探すだけ無駄です。

[参考]

— posted by mu at 12:04 am   commentComment [0]  pingTrackBack [0]

ADO.NET Parameterized SQLにDateTime.Maxを渡すとデータが来ない

備忘録。

ADO.NETで以下のようなParameterized SQLを設定、@EndにDateTime.Maxを設定すると検索件数が0になってしまう。
SELECT DISTINCT(name) FROM persons WHERE @Start<=releasedate AND releasedate<@End

@Endを'9999/12/31 23:59:59.9999999'Link としてMySQLのコマンドラインからこの文を打ち込むとデータが来る一方、'10000/1/1 0:00:00'とすると件数0。5桁の西暦で不具合起こすのはまぁあり得る話かなとは思いますが、DateTime.Maxもこの辺の際どい扱いを受けているのかも。

環境としてはサーバーはDebianのMySql 5.7.16、クライアントはMySql.Data 6.9.9、.NET Framework 4.5なのですが、この現象は私の開発マシン(Windows 8.1)や仮想マシン上のWindows 7では問題なかった実行ファイル一式が、別人のPC(Windows 8.1)だと不具合になったことで発覚。サーバーもクライアントも同じプログラム使っているのになぜ発生の有無があるのだろう。

@End=DateTime.Maxということは事実上releasedate上限無しということなので、WHERE句から外してやると正常に。面倒くさいけど@EndがDateTime.Maxの時はWHERE句に入れないようにクエリー文を切り替えたほうが無難そう。

— posted by mu at 10:14 am   commentComment [0]  pingTrackBack [0]

CIFS共有先MercurialレポジトリにAddするとAccess is denied

blog20170207-FreeNAS_ShowHiddenFiles

備忘録ではあるのですが、再現実験したらエラーが出なくなったのであくまで参考に。

FreeNAS (9.10.1-U2)に作成したMercurialレポジトリにWindows側からファイルをaddしようとすると、
abort: ¥¥server¥folder¥.hg¥.dirstate-lk0nhu: Access is denied
みたいなメッセージが出て失敗する場合、FreeNAS側の共有フォルダ詳細設定で隠しファイルを表示する設定にすると解決しました。

— posted by mu at 11:40 am   commentComment [0]  pingTrackBack [0]

フォルダ内のファイルが消えた!?

私しか使ってないFreeNASを9.10.2-U1にアップデートしたところ、あるフォルダ内のファイルが全部消え失せて目を疑う。

フォルダ構成は
pool1 (ZFSプール)
 +- Dataset1 (ZFSデータセット)
 |    +- Share1 (ディレクトリ/CIFS共有)
 |    |   +- Share1-1
 |    |   +- Share1-2
 |    |   ...
 |    |   +- Share1-n
 |    +- NoShare1 (ディレクトリ/Jail用)
 |        + NoShare1-1 (Share1-1をNullFSでマウント)
 ...
 +- DatasetN (ZFSデータセット)

これがアップデート後にShare1-1の中身が空っぽに。Share1-1にはサイズの大きいファイルがたくさんあったので本当に消えたのならpool1の空き容量が増えているはずだけど、その様子もなく。各種状態もエラーなし、scrubかけても正常。

ダメ元でfindコマンドでpool0内をファイル検索かけたところ…Share1-2の下にShare1-1フォルダが入っていたよ Σ(゚Д゚)

もちろんした覚えはないけど、間違いでWindowsからのファイル共有操作でフォルダを移動させてしまった可能性はある。ただ…元の場所に空のShare1-1フォルダは確かに存在したんだよなぁ。間違いでもご丁寧にフォルダ移動させたうえで、Share1-1作り直すなんてことはやらない。

今回FreeNASのアップデートは無罪でしょうけど、前回Link とか過去に何回かトラブル経験しているので、アップデートはヒヤヒヤものです。やっぱり不具合無い限り更新しない方が良いかなぁ…

— posted by mu at 03:54 pm   commentComment [0]  pingTrackBack [0]

T: Y: ALL: Online:
ThemeSwitch
  • Basic
Created in 0.0608 sec.
prev
2017.5
next
  1 2 3 4 5 6
7 8 9 10 11 12 13
14 15 16 17 18 19 20
21 22 23 24 25 26 27
28 29 30 31