nobody
571f294560
fix: 调整dag数据
|
%!s(int64=2) %!d(string=hai) anos | |
|---|---|---|
| builder | %!s(int64=2) %!d(string=hai) anos | |
| buildutils | %!s(int64=2) %!d(string=hai) anos | |
| confs | %!s(int64=2) %!d(string=hai) anos | |
| dag @ ea8995b3b8 | %!s(int64=2) %!d(string=hai) anos | |
| design | %!s(int64=4) %!d(string=hai) anos | |
| dev_mode | %!s(int64=2) %!d(string=hai) anos | |
| docker | %!s(int64=2) %!d(string=hai) anos | |
| docker_build | %!s(int64=2) %!d(string=hai) anos | |
| docker_jupyterhub | %!s(int64=2) %!d(string=hai) anos | |
| docs | %!s(int64=2) %!d(string=hai) anos | |
| galata | %!s(int64=2) %!d(string=hai) anos | |
| images | %!s(int64=2) %!d(string=hai) anos | |
| jupyter-config | %!s(int64=4) %!d(string=hai) anos | |
| jupyterlab | %!s(int64=2) %!d(string=hai) anos | |
| packages | %!s(int64=2) %!d(string=hai) anos | |
| scripts | %!s(int64=2) %!d(string=hai) anos | |
| sparkmagic @ b52dfe740e | %!s(int64=2) %!d(string=hai) anos | |
| testutils | %!s(int64=2) %!d(string=hai) anos | |
| typedoc-theme | %!s(int64=3) %!d(string=hai) anos | |
| .bumpversion.cfg | %!s(int64=2) %!d(string=hai) anos | |
| .cleanignore | %!s(int64=4) %!d(string=hai) anos | |
| .dockerignore | %!s(int64=2) %!d(string=hai) anos | |
| .eslintignore | %!s(int64=3) %!d(string=hai) anos | |
| .eslintrc.js | %!s(int64=2) %!d(string=hai) anos | |
| .git-blame-ignore-revs | %!s(int64=2) %!d(string=hai) anos | |
| .gitattributes | %!s(int64=6) %!d(string=hai) anos | |
| .gitignore | %!s(int64=2) %!d(string=hai) anos | |
| .gitmodules | %!s(int64=2) %!d(string=hai) anos | |
| .gitpod.yml | %!s(int64=3) %!d(string=hai) anos | |
| .meeseeksdev.yml | %!s(int64=6) %!d(string=hai) anos | |
| .pre-commit-config.yaml | %!s(int64=2) %!d(string=hai) anos | |
| .prettierignore | %!s(int64=3) %!d(string=hai) anos | |
| .prettierrc | %!s(int64=4) %!d(string=hai) anos | |
| .yarnrc | %!s(int64=6) %!d(string=hai) anos | |
| Dockerfile | %!s(int64=2) %!d(string=hai) anos | |
| Dockerfile.combined | %!s(int64=2) %!d(string=hai) anos | |
| Dockerfile.dev | %!s(int64=2) %!d(string=hai) anos | |
| LICENSE | %!s(int64=2) %!d(string=hai) anos | |
| MANIFEST.in | %!s(int64=2) %!d(string=hai) anos | |
| Makefile | %!s(int64=2) %!d(string=hai) anos | |
| README.md | %!s(int64=2) %!d(string=hai) anos | |
| Untitled.ipynb | %!s(int64=2) %!d(string=hai) anos | |
| about_dev.md | %!s(int64=2) %!d(string=hai) anos | |
| about_diff.md | %!s(int64=2) %!d(string=hai) anos | |
| bdist_wheel.sh | %!s(int64=2) %!d(string=hai) anos | |
| clean.py | %!s(int64=2) %!d(string=hai) anos | |
| conftest.py | %!s(int64=2) %!d(string=hai) anos | |
| docker-compose.yml | %!s(int64=2) %!d(string=hai) anos | |
| lerna.json | %!s(int64=6) %!d(string=hai) anos | |
| package.json | %!s(int64=2) %!d(string=hai) anos | |
| postcss.config.js | %!s(int64=2) %!d(string=hai) anos | |
| pyproject.toml | %!s(int64=2) %!d(string=hai) anos | |
| setup.cfg | %!s(int64=2) %!d(string=hai) anos | |
| setup.py | %!s(int64=2) %!d(string=hai) anos | |
| tsconfig.eslint.json | %!s(int64=3) %!d(string=hai) anos | |
| tsconfigbase.json | %!s(int64=4) %!d(string=hai) anos | |
| tsconfigbase.test.json | %!s(int64=4) %!d(string=hai) anos | |
| tsconfigdoc.json | %!s(int64=2) %!d(string=hai) anos | |
| typedoc.js | %!s(int64=3) %!d(string=hai) anos | |
| untitled.dag | %!s(int64=2) %!d(string=hai) anos | |
| yarn.lock | %!s(int64=2) %!d(string=hai) anos |
README.md
JupyterLab
JupyterLab 是 Jupyter 项目提供的强大的 Notebook 编程界面, 可以通过其插件系统进行扩展. 本项目 fork 自 https://github.com/jupyterlab/jupyterlab, 在官方代码的基础上进行二次开发, 通过 Sparkmagic 连接 Livy 提供 Spark 编程及 HDFS 访问, 并提供数据资产管理, 可视化编程, 定时任务等功能.
构建及运行方法
项目提供了构建 Docker 镜像的 Dockerfile
# 使用 recursive 克隆 sparkmagic
git clone --recursive http://gogsb.soaringnova.com/ylproj/jupyterlab.git
# 构建镜像
docker build -f Dockerfile.combined -t ylproj-jupyter .
使用如下命令运行构建好的镜像:
docker run -d \
--name ylproj-jupyter \
--network ylproj \
-p 8000:8000 \
-v <kerberos配置>:/etc/krb5.conf:ro \
-v <hadoop配置>:/opt/cluster/conf:ro \
-e LIVY_SERVER_URL=http://livy:8998/ \
-e BACKEND_BASE_URL=http://backend:5000/ \
ylproj-jupyter
运行参数说明:
- 用户访问端口 8000 的 web 服务 (http://localhost:8000/jupyterhub)
- 环境变量
LIVY_SERVER_URL指向 Livy 服务的地址 - 环境变量
BACKEND_BASE_URL指向 Backend 服务的地址 - /etc/krb5.conf 是 Kerberos 的配置文件
- /opt/cluster/conf 是 Hadoop 相关的配置文件以及 Kerberos 的 keytab
各组件端口说明
| service | port |
|---|---|
| JupyterHub Web | 8000 |
| Backend REST | 5000 |
| Livy REST | 8998 |
| Livy RPC | 31100-31103 |
| Livy RPC (Yarn) | 31100-31103 |
| HDFS | 4007, 4008 |
| ResourceManager | 5000, 5004 |
| NodeManager | 5006, 5008 |
| KDC | 88 |
| Hive Metastore (thrift) | 7004 |
| Hive Server2 | 7001 |