Jupyter Notebookをリバースプロキシで使う

[2017/5/17 追記] Pythonが動かない模様。ブラウザからはWebSocket接続に問題があるように見えますが…要調査。

Dockerなどで動かしているJupyter Notebookをリバースプロキシで/以外にマウントする方法。

まずはJupyterの設定変更。Docker運用でない方は直接jupyter_notebook_config.pyを編集してJupyterを再起動してください。

  1. docker ps -aでJupyterコンテナIDもしくはNAMEを調べる
  2. シェルに入る
  3. docker exec -it コンテナIDまたはNAME /bin/bash
  4. jupyter_notebook_config.py(/home/jovyan/.jupyter/jupyter_notebook_config.py)の設定に以下を追加。'jupyter'はリバースプロキシでマウントしたいパスと一致するように適当に変更。
  5. c.NotebookApp.base_url = '/jupyter/'
    
  6. シェルを抜ける
  7. Jupyterの再起動
  8. docker restart コンテナIDまたはNAME
    
これでJupyter Notebookがhttp://localhost:8888Link ではなくhttp://localhost:8888/jupyterLink でアクセスできるようになります。あとはURL書き換えなどを使ってWebサーバアドレスをlocalhost:8888に書き換える。IISのURL Rewriteの例だと
<?xml version="1.0" encoding="UTF-8"?>
<configuration>
    <system.webServer>
        <rewrite>
          <rules>
            <rule name="ReverseProxyInboundRule1" stopProcessing="true">
              <match url="jupyter/(.*)" />
              <conditions>
                <add input="{CACHE_URL}" pattern="^(https?)://" />
              </conditions>
              <action type="Rewrite" url="{C:1}://localhost:8888/{R:1}" />
            </rule>
          </rules>
          <outboundRules>
            <preConditions>
              <preCondition name="ResponseIsHtml1">
                <add input="{RESPONSE_CONTENT_TYPE}" pattern="^text/html" />
              </preCondition>
            </preConditions>
            <rule name="ReverseProxyOutboundRule1" preCondition="ResponseIsHtml1">
              <match filterByTags="A, Area, Base, Form, Frame, Head, IFrame, Img, Input, Link, Script" pattern="^http(s)?://localhost:8888/(.*)" />
              <action type="Rewrite" value="http{R:1}://Webサーバアドレス/{R:2}" />
            </rule>
          </outboundRules>
        </rewrite>
    </system.webServer>
    <system.web>
        <identity impersonate="false" />
    </system.web>
</configuration>

Jupyter・リバースプロキシで検索するとWebサーバの/にマウントする例がよくありました。私は/以外にマウントしたかったのですが、jupyter_notebook_config.py書き換え無しにIISのURL Rewriteだけで行おうとすると以下の点でハマりました。

  • '/foo/bar'のようにサーバ名を含まないURL表記も'/jupyter/foo/bar'と書き換えないといけないのですが、JavaScript内も変更するためfilterByTags="None"、つまりHTML全文を置換対象する必要があり、余計な部分にマッチしない正規表現にしないといけない。ルールが複雑になると、後のJupyter側の変更で不具合起こす可能性あり。
  • CSS内の'/foo/bar'も'/jupyter/foo/bar'に書き換えないといけない。
  • JupyterのログインフォームでNext=%2F(Next=/)という部分がありログイン成功後に進むページが指定されるのですが、ここを
    • 書き換えないとWebサーバー側の/に飛んでしまう
    • Next=%2Fjupyterなどと書き換えるとJupyterにとっては知らないパス/jupyterに飛べと指定されるのでエラーになる

私は3つ目の理由でURL Rewrite単独での解決は断念しました。

[参考]

— posted by mu at 01:51 pm   commentComment [0]  pingTrackBack [0]

Docker pullが失敗する

仕事で機械学習を覚えるように言われ、手探りで始めることに。とりあえずdocker+tensorflow+jupyter notebook環境を構築すべく仮想マシンにubuntuを入れ、dockerをインストール。次にtensorflow-notebookを入れようとすると、
$ sudo docker pull jupyter/tensorflow-notebook
Using default tag: latest
latest: Pulling from jupyter/tensorflow-notebook

693502eb7dfb: Pull complete
a3782c2efb41: Pull complete
9cb32b776a40: Pull complete
e539f5722cd5: Pull complete
b4690d4047c6: Pull complete
121dc465f5c6: Pull complete
c352772bbcfd: Pull complete
0057b9e76c8a: Extracting    568 B/568 B                                                                 
e63bd87d75dd: Download complete
055904fbc069: Download complete
d336770b8a83: Download complete
d61dbef85c7d: Download complete
6c4990ff8475: Download complete
e5968c6a2a7f: Download complete
bedf924ebae8: Download complete
b52514c7f277: Download complete
335ed19f8aeb: Download complete
0d61bb7891a3: Download complete
17c31ceff0f0: Download complete
de094493e821: Download complete
4d60ed225ef8: Download complete
4e17fd01128d: Download complete
c6a0f58de8b1: Download complete
7fea7b1d8bb9: Download complete
failed to register layer: open /var/lib/docker/aufs/layers/3dd85cabcd0d7bc18c5ccee0e071e2a7f8956765e84498c580d9b180f1433bce: no such file or directory

となり失敗。何回繰り返しても同じ。

この出力だけ見ると最後の'failed to register layer'に目が行きますが、途中を見ていると'0057b9e76c8a: Extracting 568 B/568 B'の行がずっと止まったままなので、以降がダウンロード完了しても展開が始まらないように見える。だいたい568バイトって何よ、あり得ないとは言えないけど小さすぎ。

とりあえず以下の方法で回復しましたが、何分初心者なので正しい対処か分かりませんので、参考程度に。

  1. 裏でdocker pullが動いているなら止める。
  2. Extractingで止まっている0057b9e76c8aで検索。今回は1個だけ出てきましたが(sha256:の後にヒットしています)、複数出てきた場合は内容で判断(まぁレアケースでしょうけど)。
  3. $ sudo grep -r 0057b9e76c8a /var/lib/docker
    /var/lib/docker/image/aufs/distribution/v2metadata-by-diffid/sha256/cda29d030c7debb657eaf6a780dc926d7d1ea900f5e87e79b205bdff35f95ec7:[{"Digest":"sha256:0057b9e76c8a523a63a6418fdfc9580811083be2a505468a24eaf06348151f9b","SourceRepository":"docker.io/jupyter/tensorflow-notebook"}] 
    
  4. 出てきたディレクトリを削除 or どこかに退避
  5. $ sudo rm -rf /var/lib/docker/image/aufs/distribution/v2metadata-by-diffid/sha256/cda29d030c7debb657eaf6a780dc926d7d1ea900f5e87e79b205bdff35f95ec7
    
  6. dockerデーモンを再起動
  7. $ sudo service docker restart
    
  8. 再度pull
  9. $ sudo docker pull jupyter/tensorflow-notebook
    

ちなみに/var/lib/docker/aufs/layers/3dd85cabcd0d7bc18c5ccee0e071e2a7f8956765e84498c580d9b180f1433bceはno such file or directoryとある通り本当に無いので、探すだけ無駄です。

[参考]

— posted by mu at 12:04 am   commentComment [0]  pingTrackBack [0]

T: Y: ALL: Online:
ThemeSwitch
  • Basic
Created in 0.0227 sec.
prev
2017.5
next
  1 2 3 4 5 6
7 8 9 10 11 12 13
14 15 16 17 18 19 20
21 22 23 24 25 26 27
28 29 30 31