Sem descrição

nobody 380b40955d Merge branch 'yili' of http://gogsb.soaringnova.com/ylproj/jupyterlab into yili há 2 anos atrás
builder 2be6f2eb9f [ci skip] New version há 2 anos atrás
buildutils 9e7f9768d3 merge: 合并 há 2 anos atrás
confs d3e8afd0cf update config.json há 2 anos atrás
dag @ ea8995b3b8 defcf70435 添加DAG仓库 há 2 anos atrás
design d7a9358062 Fix a few more typos há 4 anos atrás
dev_mode 47dd84bb9a feat: 修改jupyter全局window对象场景 há 2 anos atrás
docker 6783f3c49f update há 2 anos atrás
docker_build 195a298012 完善jupyterhub镜像构建 há 2 anos atrás
docker_jupyterhub 35a1e989ce 调整JupyterHub依赖 há 2 anos atrás
docs f0a6c4f6a7 Backport PR #12635: Add more explanation for internationalization (translation python package) (#12648) há 2 anos atrás
galata 9e7f9768d3 merge: 合并 há 2 anos atrás
images e8d230f5fc 更新README há 2 anos atrás
jupyter-config 678646cec1 enable jupyterlab to work as a classic notebook extension and fix handling of binder há 4 anos atrás
jupyterlab 47dd84bb9a feat: 修改jupyter全局window对象场景 há 2 anos atrás
packages 27613cb1a4 feat: 统一缩进 há 2 anos atrás
scripts 9e7f9768d3 merge: 合并 há 2 anos atrás
sparkmagic @ b52dfe740e 6b3c823509 更新submodule há 2 anos atrás
testutils 2be6f2eb9f [ci skip] New version há 2 anos atrás
typedoc-theme c3048d1dd1 Replaced ... with ellipses unicode character in .ts files (#10208) há 3 anos atrás
.bumpversion.cfg af732d8125 [ci skip] Publish 3.4.3 há 2 anos atrás
.cleanignore 2de04f2c37 implemented fallback arg for LabIcon.resolveX methods há 4 anos atrás
.dockerignore d239925015 update dockerfile há 2 anos atrás
.eslintignore 18f953fe43 Backport PR #10796 to 3.2.x: Add Galata in JupyterLab (#11179) há 3 anos atrás
.eslintrc.js e6fbbe2e6f 添加yili的新UI há 2 anos atrás
.git-blame-ignore-revs 1d76e3c443 [3.3.x] Add git-blame-ignore-revs file (#12289) há 2 anos atrás
.gitattributes 2a3bc70c04 Upgrade to yarn 1.5.1 há 6 anos atrás
.gitignore 8630063321 Backport PR #10299: Add debugger variable renderer based on mime type (#11871) há 2 anos atrás
.gitmodules defcf70435 添加DAG仓库 há 2 anos atrás
.gitpod.yml 757a1c3a38 dont open in browser há 3 anos atrás
.meeseeksdev.yml f2afcc5aad Add meessekdev bot config file há 6 anos atrás
.pre-commit-config.yaml 6b4a77a893 去除pre-commit há 2 anos atrás
.prettierignore 18f953fe43 Backport PR #10796 to 3.2.x: Add Galata in JupyterLab (#11179) há 3 anos atrás
.prettierrc 4ee83bd2b2 Lint - updates from the new version of prettier. há 4 anos atrás
.yarnrc b513457b01 Update lerna (#5262) há 6 anos atrás
Dockerfile 195a298012 完善jupyterhub镜像构建 há 2 anos atrás
Dockerfile.combined 928a974a0a add dockerfile.dev há 2 anos atrás
Dockerfile.dev 03d68bf3dc update dockerfile há 2 anos atrás
LICENSE a272515aee 添加Docker镜像构建 há 2 anos atrás
MANIFEST.in c12bea95c1 Backport PR #11388: Set default ui font to `system-ui` (#11927) há 2 anos atrás
README.md e8d230f5fc 更新README há 2 anos atrás
Untitled.ipynb 5f42320b9f fix: 更新yili-dag依赖 há 2 anos atrás
about_dev.md bc4b9ae7ce 更新文档 há 2 anos atrás
about_diff.md bc4b9ae7ce 更新文档 há 2 anos atrás
bdist_wheel.sh bd87afc2ea add conf & sparkmagic há 2 anos atrás
clean.py cde0521528 [3.3.x] Run black (#12282) há 2 anos atrás
conftest.py cde0521528 [3.3.x] Run black (#12282) há 2 anos atrás
docker-compose.yml bd87afc2ea add conf & sparkmagic há 2 anos atrás
emr-5xjsy31f_ailab.keytab d1d5cf66d4 add keytab há 2 anos atrás
lerna.json b513457b01 Update lerna (#5262) há 6 anos atrás
package.json a272515aee 添加Docker镜像构建 há 2 anos atrás
postcss.config.js c617b40ce5 Backport PR #11552: postcss 8.4.0 breaks integrity 2 CI test (#11560) há 2 anos atrás
pyproject.toml 7746b1f158 完善构建流程 há 2 anos atrás
setup.cfg eaa0de0a68 Backport PR #12250: Open terminal in cwd from launcher (#12430) há 2 anos atrás
setup.py 7746b1f158 完善构建流程 há 2 anos atrás
tsconfig.eslint.json 18f953fe43 Backport PR #10796 to 3.2.x: Add Galata in JupyterLab (#11179) há 3 anos atrás
tsconfigbase.json df0b0f7438 Turn on strict null checks (except for services) há 4 anos atrás
tsconfigbase.test.json cdb5b99a88 Convert jest imports to typescript type references. há 4 anos atrás
tsconfigdoc.json 2a0eff36b3 feat: 调整dag组件结构和数据 há 2 anos atrás
typedoc.js 18f953fe43 Backport PR #10796 to 3.2.x: Add Galata in JupyterLab (#11179) há 3 anos atrás
untitled.dag 27613cb1a4 feat: 统一缩进 há 2 anos atrás
yarn.lock 5f42320b9f fix: 更新yili-dag依赖 há 2 anos atrás

README.md

JupyterLab

JupyterLab 是 Jupyter 项目提供的强大的 Notebook 编程界面, 可以通过其插件系统进行扩展. 本项目 fork 自 https://github.com/jupyterlab/jupyterlab, 在官方代码的基础上进行二次开发, 通过 Sparkmagic 连接 Livy 提供 Spark 编程及 HDFS 访问, 并提供数据资产管理, 可视化编程, 定时任务等功能.

构建及运行方法

项目提供了构建 Docker 镜像的 Dockerfile

# 使用 recursive 克隆 sparkmagic
git clone --recursive http://gogsb.soaringnova.com/ylproj/jupyterlab.git

# 构建镜像
docker build -f Dockerfile.combined -t ylproj-jupyter .

使用如下命令运行构建好的镜像:

docker run -d \
       --name ylproj-jupyter \
       --network ylproj \
       -p 8000:8000 \
       -v <kerberos配置>:/etc/krb5.conf:ro \
       -v <hadoop配置>:/opt/cluster/conf:ro \
       -e LIVY_SERVER_URL=http://livy:8998/ \
       -e BACKEND_BASE_URL=http://backend:5000/ \
       ylproj-jupyter

运行参数说明:

  • 用户访问端口 8000 的 web 服务 (http://localhost:8000/jupyterhub)
  • 环境变量 LIVY_SERVER_URL 指向 Livy 服务的地址
  • 环境变量 BACKEND_BASE_URL 指向 Backend 服务的地址
  • /etc/krb5.conf 是 Kerberos 的配置文件
  • /opt/cluster/conf 是 Hadoop 相关的配置文件以及 Kerberos 的 keytab

各组件端口说明

arch.png

service port
JupyterHub Web 8000
Backend REST 5000
Livy REST 8998
Livy RPC 31100-31103
Livy RPC (Yarn) 31100-31103
HDFS 4007, 4008
ResourceManager 5000, 5004
NodeManager 5006, 5008
KDC 88
Hive Metastore (thrift) 7004
Hive Server2 7001

其他

  1. 开发相关的说明
  2. 二次开发代码改动说明