nobody
571f294560
fix: 调整dag数据
|
vor 1 Jahr | |
|---|---|---|
| builder | vor 2 Jahren | |
| buildutils | vor 2 Jahren | |
| confs | vor 1 Jahr | |
| dag @ ea8995b3b8 | vor 2 Jahren | |
| design | vor 4 Jahren | |
| dev_mode | vor 2 Jahren | |
| docker | vor 2 Jahren | |
| docker_build | vor 2 Jahren | |
| docker_jupyterhub | vor 2 Jahren | |
| docs | vor 2 Jahren | |
| galata | vor 2 Jahren | |
| images | vor 2 Jahren | |
| jupyter-config | vor 4 Jahren | |
| jupyterlab | vor 2 Jahren | |
| packages | vor 1 Jahr | |
| scripts | vor 2 Jahren | |
| sparkmagic @ b52dfe740e | vor 2 Jahren | |
| testutils | vor 2 Jahren | |
| typedoc-theme | vor 3 Jahren | |
| .bumpversion.cfg | vor 2 Jahren | |
| .cleanignore | vor 4 Jahren | |
| .dockerignore | vor 1 Jahr | |
| .eslintignore | vor 3 Jahren | |
| .eslintrc.js | vor 2 Jahren | |
| .git-blame-ignore-revs | vor 2 Jahren | |
| .gitattributes | vor 6 Jahren | |
| .gitignore | vor 2 Jahren | |
| .gitmodules | vor 2 Jahren | |
| .gitpod.yml | vor 3 Jahren | |
| .meeseeksdev.yml | vor 6 Jahren | |
| .pre-commit-config.yaml | vor 2 Jahren | |
| .prettierignore | vor 3 Jahren | |
| .prettierrc | vor 4 Jahren | |
| .yarnrc | vor 6 Jahren | |
| Dockerfile | vor 2 Jahren | |
| Dockerfile.combined | vor 2 Jahren | |
| Dockerfile.dev | vor 1 Jahr | |
| LICENSE | vor 2 Jahren | |
| MANIFEST.in | vor 2 Jahren | |
| Makefile | vor 1 Jahr | |
| README.md | vor 2 Jahren | |
| Untitled.ipynb | vor 2 Jahren | |
| about_dev.md | vor 2 Jahren | |
| about_diff.md | vor 2 Jahren | |
| bdist_wheel.sh | vor 2 Jahren | |
| clean.py | vor 2 Jahren | |
| conftest.py | vor 2 Jahren | |
| docker-compose.yml | vor 2 Jahren | |
| lerna.json | vor 6 Jahren | |
| package.json | vor 2 Jahren | |
| postcss.config.js | vor 2 Jahren | |
| pyproject.toml | vor 2 Jahren | |
| setup.cfg | vor 2 Jahren | |
| setup.py | vor 2 Jahren | |
| tsconfig.eslint.json | vor 3 Jahren | |
| tsconfigbase.json | vor 4 Jahren | |
| tsconfigbase.test.json | vor 4 Jahren | |
| tsconfigdoc.json | vor 2 Jahren | |
| typedoc.js | vor 3 Jahren | |
| untitled.dag | vor 1 Jahr | |
| yarn.lock | vor 2 Jahren |
README.md
JupyterLab
JupyterLab 是 Jupyter 项目提供的强大的 Notebook 编程界面, 可以通过其插件系统进行扩展. 本项目 fork 自 https://github.com/jupyterlab/jupyterlab, 在官方代码的基础上进行二次开发, 通过 Sparkmagic 连接 Livy 提供 Spark 编程及 HDFS 访问, 并提供数据资产管理, 可视化编程, 定时任务等功能.
构建及运行方法
项目提供了构建 Docker 镜像的 Dockerfile
# 使用 recursive 克隆 sparkmagic
git clone --recursive http://gogsb.soaringnova.com/ylproj/jupyterlab.git
# 构建镜像
docker build -f Dockerfile.combined -t ylproj-jupyter .
使用如下命令运行构建好的镜像:
docker run -d \
--name ylproj-jupyter \
--network ylproj \
-p 8000:8000 \
-v <kerberos配置>:/etc/krb5.conf:ro \
-v <hadoop配置>:/opt/cluster/conf:ro \
-e LIVY_SERVER_URL=http://livy:8998/ \
-e BACKEND_BASE_URL=http://backend:5000/ \
ylproj-jupyter
运行参数说明:
- 用户访问端口 8000 的 web 服务 (http://localhost:8000/jupyterhub)
- 环境变量
LIVY_SERVER_URL指向 Livy 服务的地址 - 环境变量
BACKEND_BASE_URL指向 Backend 服务的地址 - /etc/krb5.conf 是 Kerberos 的配置文件
- /opt/cluster/conf 是 Hadoop 相关的配置文件以及 Kerberos 的 keytab
各组件端口说明
| service | port |
|---|---|
| JupyterHub Web | 8000 |
| Backend REST | 5000 |
| Livy REST | 8998 |
| Livy RPC | 31100-31103 |
| Livy RPC (Yarn) | 31100-31103 |
| HDFS | 4007, 4008 |
| ResourceManager | 5000, 5004 |
| NodeManager | 5006, 5008 |
| KDC | 88 |
| Hive Metastore (thrift) | 7004 |
| Hive Server2 | 7001 |