暫無描述

nobody 571f294560 fix: 调整dag数据		2 年之前
builder	2be6f2eb9f [ci skip] New version	2 年之前
buildutils	9e7f9768d3 merge: 合并	2 年之前
confs	3b149d8c6b update config.json	2 年之前
dag @ ea8995b3b8	defcf70435 添加DAG仓库	2 年之前
design	d7a9358062 Fix a few more typos	4 年之前
dev_mode	47dd84bb9a feat: 修改jupyter全局window对象场景	2 年之前
docker	6783f3c49f update	2 年之前
docker_build	195a298012 完善jupyterhub镜像构建	2 年之前
docker_jupyterhub	35a1e989ce 调整JupyterHub依赖	2 年之前
docs	f0a6c4f6a7 Backport PR #12635: Add more explanation for internationalization (translation python package) (#12648)	2 年之前
galata	9e7f9768d3 merge: 合并	2 年之前
images	e8d230f5fc 更新README	2 年之前
jupyter-config	678646cec1 enable jupyterlab to work as a classic notebook extension and fix handling of binder	4 年之前
jupyterlab	47dd84bb9a feat: 修改jupyter全局window对象场景	2 年之前
packages	571f294560 fix: 调整dag数据	2 年之前
scripts	9e7f9768d3 merge: 合并	2 年之前
sparkmagic @ b52dfe740e	6b3c823509 更新submodule	2 年之前
testutils	2be6f2eb9f [ci skip] New version	2 年之前
typedoc-theme	c3048d1dd1 Replaced ... with ellipses unicode character in .ts files (#10208)	3 年之前
.bumpversion.cfg	af732d8125 [ci skip] Publish 3.4.3	2 年之前
.cleanignore	2de04f2c37 implemented fallback arg for LabIcon.resolveX methods	4 年之前
.dockerignore	cf6f285cfa add prod confs	2 年之前
.eslintignore	18f953fe43 Backport PR #10796 to 3.2.x: Add Galata in JupyterLab (#11179)	3 年之前
.eslintrc.js	e6fbbe2e6f 添加yili的新UI	2 年之前
.git-blame-ignore-revs	1d76e3c443 [3.3.x] Add git-blame-ignore-revs file (#12289)	2 年之前
.gitattributes	2a3bc70c04 Upgrade to yarn 1.5.1	6 年之前
.gitignore	8630063321 Backport PR #10299: Add debugger variable renderer based on mime type (#11871)	2 年之前
.gitmodules	defcf70435 添加DAG仓库	2 年之前
.gitpod.yml	757a1c3a38 dont open in browser	3 年之前
.meeseeksdev.yml	f2afcc5aad Add meessekdev bot config file	6 年之前
.pre-commit-config.yaml	6b4a77a893 去除pre-commit	2 年之前
.prettierignore	18f953fe43 Backport PR #10796 to 3.2.x: Add Galata in JupyterLab (#11179)	3 年之前
.prettierrc	4ee83bd2b2 Lint - updates from the new version of prettier.	4 年之前
.yarnrc	b513457b01 Update lerna (#5262)	6 年之前
Dockerfile	195a298012 完善jupyterhub镜像构建	2 年之前
Dockerfile.combined	928a974a0a add dockerfile.dev	2 年之前
Dockerfile.dev	88d11819dc update Dockerfile	2 年之前
LICENSE	a272515aee 添加Docker镜像构建	2 年之前
MANIFEST.in	c12bea95c1 Backport PR #11388: Set default ui font to `system-ui` (#11927)	2 年之前
Makefile	cf6f285cfa add prod confs	2 年之前
README.md	e8d230f5fc 更新README	2 年之前
Untitled.ipynb	5f42320b9f fix: 更新yili-dag依赖	2 年之前
about_dev.md	bc4b9ae7ce 更新文档	2 年之前
about_diff.md	bc4b9ae7ce 更新文档	2 年之前
bdist_wheel.sh	bd87afc2ea add conf & sparkmagic	2 年之前
clean.py	cde0521528 [3.3.x] Run black (#12282)	2 年之前
conftest.py	cde0521528 [3.3.x] Run black (#12282)	2 年之前
docker-compose.yml	bd87afc2ea add conf & sparkmagic	2 年之前
lerna.json	b513457b01 Update lerna (#5262)	6 年之前
package.json	a272515aee 添加Docker镜像构建	2 年之前
postcss.config.js	c617b40ce5 Backport PR #11552: postcss 8.4.0 breaks integrity 2 CI test (#11560)	2 年之前
pyproject.toml	7746b1f158 完善构建流程	2 年之前
setup.cfg	eaa0de0a68 Backport PR #12250: Open terminal in cwd from launcher (#12430)	2 年之前
setup.py	7746b1f158 完善构建流程	2 年之前
tsconfig.eslint.json	18f953fe43 Backport PR #10796 to 3.2.x: Add Galata in JupyterLab (#11179)	3 年之前
tsconfigbase.json	df0b0f7438 Turn on strict null checks (except for services)	4 年之前
tsconfigbase.test.json	cdb5b99a88 Convert jest imports to typescript type references.	4 年之前
tsconfigdoc.json	2a0eff36b3 feat: 调整dag组件结构和数据	2 年之前
typedoc.js	18f953fe43 Backport PR #10796 to 3.2.x: Add Galata in JupyterLab (#11179)	3 年之前
untitled.dag	571f294560 fix: 调整dag数据	2 年之前
yarn.lock	5f42320b9f fix: 更新yili-dag依赖	2 年之前

JupyterLab

JupyterLab 是 Jupyter 项目提供的强大的 Notebook 编程界面, 可以通过其插件系统进行扩展. 本项目 fork 自 https://github.com/jupyterlab/jupyterlab, 在官方代码的基础上进行二次开发, 通过 Sparkmagic 连接 Livy 提供 Spark 编程及 HDFS 访问, 并提供数据资产管理, 可视化编程, 定时任务等功能.

构建及运行方法

项目提供了构建 Docker 镜像的 Dockerfile

# 使用 recursive 克隆 sparkmagic
git clone --recursive http://gogsb.soaringnova.com/ylproj/jupyterlab.git

# 构建镜像
docker build -f Dockerfile.combined -t ylproj-jupyter .

使用如下命令运行构建好的镜像:

docker run -d \
       --name ylproj-jupyter \
       --network ylproj \
       -p 8000:8000 \
       -v <kerberos配置>:/etc/krb5.conf:ro \
       -v <hadoop配置>:/opt/cluster/conf:ro \
       -e LIVY_SERVER_URL=http://livy:8998/ \
       -e BACKEND_BASE_URL=http://backend:5000/ \
       ylproj-jupyter

运行参数说明:

用户访问端口 8000 的 web 服务 (http://localhost:8000/jupyterhub)
环境变量 LIVY_SERVER_URL 指向 Livy 服务的地址
环境变量 BACKEND_BASE_URL 指向 Backend 服务的地址
/etc/krb5.conf 是 Kerberos 的配置文件
/opt/cluster/conf 是 Hadoop 相关的配置文件以及 Kerberos 的 keytab

各组件端口说明

service	port
JupyterHub Web	8000
Backend REST	5000
Livy REST	8998
Livy RPC	31100-31103
Livy RPC (Yarn)	31100-31103
HDFS	4007, 4008
ResourceManager	5000, 5004
NodeManager	5006, 5008
KDC	88
Hive Metastore (thrift)	7004
Hive Server2	7001

README.md

JupyterLab

构建及运行方法

各组件端口说明

其他