Нема описа

leo 9a388fa9cd Merge branch 'yili' of http://gogsb.soaringnova.com/ylproj/jupyterlab into yili		пре 2 година
builder	2be6f2eb9f [ci skip] New version	пре 2 година
buildutils	a272515aee 添加Docker镜像构建	пре 2 година
dag @ ea8995b3b8	defcf70435 添加DAG仓库	пре 2 година
design	d7a9358062 Fix a few more typos	пре 4 година
dev_mode	9d18741fad dagEditor插件开发	пре 2 година
docker	6783f3c49f update	пре 2 година
docker_build	195a298012 完善jupyterhub镜像构建	пре 2 година
docker_jupyterhub	35a1e989ce 调整JupyterHub依赖	пре 2 година
docs	f0a6c4f6a7 Backport PR #12635: Add more explanation for internationalization (translation python package) (#12648)	пре 2 година
galata	2be6f2eb9f [ci skip] New version	пре 2 година
images	e8d230f5fc 更新README	пре 2 година
jupyter-config	678646cec1 enable jupyterlab to work as a classic notebook extension and fix handling of binder	пре 4 година
jupyterlab	d325463926 集成Dag图组件	пре 2 година
packages	9a388fa9cd Merge branch 'yili' of http://gogsb.soaringnova.com/ylproj/jupyterlab into yili	пре 2 година
scripts	cde0521528 [3.3.x] Run black (#12282)	пре 2 година
sparkmagic @ b52dfe740e	6b3c823509 更新submodule	пре 2 година
testutils	2be6f2eb9f [ci skip] New version	пре 2 година
typedoc-theme	c3048d1dd1 Replaced ... with ellipses unicode character in .ts files (#10208)	пре 3 година
.bumpversion.cfg	af732d8125 [ci skip] Publish 3.4.3	пре 2 година
.cleanignore	2de04f2c37 implemented fallback arg for LabIcon.resolveX methods	пре 4 година
.dockerignore	18f953fe43 Backport PR #10796 to 3.2.x: Add Galata in JupyterLab (#11179)	пре 3 година
.eslintignore	18f953fe43 Backport PR #10796 to 3.2.x: Add Galata in JupyterLab (#11179)	пре 3 година
.eslintrc.js	e6fbbe2e6f 添加yili的新UI	пре 2 година
.git-blame-ignore-revs	1d76e3c443 [3.3.x] Add git-blame-ignore-revs file (#12289)	пре 2 година
.gitattributes	2a3bc70c04 Upgrade to yarn 1.5.1	пре 6 година
.gitignore	8630063321 Backport PR #10299: Add debugger variable renderer based on mime type (#11871)	пре 2 година
.gitmodules	defcf70435 添加DAG仓库	пре 2 година
.gitpod.yml	757a1c3a38 dont open in browser	пре 3 година
.meeseeksdev.yml	f2afcc5aad Add meessekdev bot config file	пре 6 година
.pre-commit-config.yaml	6b4a77a893 去除pre-commit	пре 2 година
.prettierignore	18f953fe43 Backport PR #10796 to 3.2.x: Add Galata in JupyterLab (#11179)	пре 3 година
.prettierrc	4ee83bd2b2 Lint - updates from the new version of prettier.	пре 4 година
.yarnrc	b513457b01 Update lerna (#5262)	пре 6 година
Dockerfile	195a298012 完善jupyterhub镜像构建	пре 2 година
Dockerfile.combined	7148294ea6 添加dag构建命令到Dockerfile中	пре 2 година
LICENSE	a272515aee 添加Docker镜像构建	пре 2 година
MANIFEST.in	c12bea95c1 Backport PR #11388: Set default ui font to `system-ui` (#11927)	пре 2 година
README.md	e8d230f5fc 更新README	пре 2 година
Untitled.ipynb	5f42320b9f fix: 更新yili-dag依赖	пре 2 година
about_dev.md	bc4b9ae7ce 更新文档	пре 2 година
about_diff.md	bc4b9ae7ce 更新文档	пре 2 година
bdist_wheel.sh	81774cbab2 完善构建脚本	пре 2 година
clean.py	cde0521528 [3.3.x] Run black (#12282)	пре 2 година
conftest.py	cde0521528 [3.3.x] Run black (#12282)	пре 2 година
lerna.json	b513457b01 Update lerna (#5262)	пре 6 година
package.json	a272515aee 添加Docker镜像构建	пре 2 година
postcss.config.js	c617b40ce5 Backport PR #11552: postcss 8.4.0 breaks integrity 2 CI test (#11560)	пре 3 година
pyproject.toml	7746b1f158 完善构建流程	пре 2 година
setup.cfg	eaa0de0a68 Backport PR #12250: Open terminal in cwd from launcher (#12430)	пре 2 година
setup.py	7746b1f158 完善构建流程	пре 2 година
tsconfig.eslint.json	18f953fe43 Backport PR #10796 to 3.2.x: Add Galata in JupyterLab (#11179)	пре 3 година
tsconfigbase.json	df0b0f7438 Turn on strict null checks (except for services)	пре 4 година
tsconfigbase.test.json	cdb5b99a88 Convert jest imports to typescript type references.	пре 4 година
tsconfigdoc.json	5f42320b9f fix: 更新yili-dag依赖	пре 2 година
typedoc.js	18f953fe43 Backport PR #10796 to 3.2.x: Add Galata in JupyterLab (#11179)	пре 3 година
untitled.dag	5be394cfed feat: 更新脚本编辑codemirror版本为4	пре 2 година
yarn.lock	5f42320b9f fix: 更新yili-dag依赖	пре 2 година

JupyterLab

JupyterLab 是 Jupyter 项目提供的强大的 Notebook 编程界面, 可以通过其插件系统进行扩展. 本项目 fork 自 https://github.com/jupyterlab/jupyterlab, 在官方代码的基础上进行二次开发, 通过 Sparkmagic 连接 Livy 提供 Spark 编程及 HDFS 访问, 并提供数据资产管理, 可视化编程, 定时任务等功能.

构建及运行方法

项目提供了构建 Docker 镜像的 Dockerfile

# 使用 recursive 克隆 sparkmagic
git clone --recursive http://gogsb.soaringnova.com/ylproj/jupyterlab.git

# 构建镜像
docker build -f Dockerfile.combined -t ylproj-jupyter .

使用如下命令运行构建好的镜像:

docker run -d \
       --name ylproj-jupyter \
       --network ylproj \
       -p 8000:8000 \
       -v <kerberos配置>:/etc/krb5.conf:ro \
       -v <hadoop配置>:/opt/cluster/conf:ro \
       -e LIVY_SERVER_URL=http://livy:8998/ \
       -e BACKEND_BASE_URL=http://backend:5000/ \
       ylproj-jupyter

运行参数说明:

用户访问端口 8000 的 web 服务 (http://localhost:8000/jupyterhub)
环境变量 LIVY_SERVER_URL 指向 Livy 服务的地址
环境变量 BACKEND_BASE_URL 指向 Backend 服务的地址
/etc/krb5.conf 是 Kerberos 的配置文件
/opt/cluster/conf 是 Hadoop 相关的配置文件以及 Kerberos 的 keytab

各组件端口说明

service	port
JupyterHub Web	8000
Backend REST	5000
Livy REST	8998
Livy RPC	31100-31103
Livy RPC (Yarn)	31100-31103
HDFS	4007, 4008
ResourceManager	5000, 5004
NodeManager	5006, 5008
KDC	88
Hive Metastore (thrift)	7004
Hive Server2	7001

README.md

JupyterLab

构建及运行方法

各组件端口说明

其他