Aucune description

Zhang Li 653af8bf38 update spark requirement_package_path il y a 2 ans
app 653af8bf38 update spark requirement_package_path il y a 2 ans
assets fa43434e52 assets/txprod il y a 2 ans
auo_tests 1a8e802786 add hostalias il y a 2 ans
configs 45acd2b194 add Dockerfile Makefile txprod il y a 2 ans
constants 58ebbeebf5 用户、项目、权限体系构建 il y a 2 ans
dag 38bd314365 新增dag文件 il y a 2 ans
data f6d31c342c 复制表名 il y a 2 ans
docker 58342ff31a docker/txprod il y a 2 ans
utils 25d8058a67 mysql获取表数据时,表头获取方法修改 il y a 2 ans
.gitignore d93c092df7 fix: bug principal il y a 2 ans
Dockerfile 45acd2b194 add Dockerfile Makefile txprod il y a 2 ans
Makefile b574ff844e update Makefile il y a 2 ans
README.md 049a1dff52 update deploy il y a 2 ans
debug.ipynb 7da7f95ada 1. 设置python 作业 默认执行脚本为main.py il y a 2 ans
delete.py cd02cc7b6f 定时删除日志 il y a 2 ans
development.ini d88c671166 重名验证区分大小写 il y a 2 ans
docker-compose.yml 56d68ae0af 合并分支 il y a 2 ans
environment.yml e5241b5f8a update dockerfile il y a 2 ans
idctest.ini e38469a72f update idctest.ini il y a 2 ans
production.ini f6d31c342c 复制表名 il y a 2 ans
rdbms-example.json 6f0793d275 datax json mysql il y a 2 ans
rdbms-template.json 6f0793d275 datax json mysql il y a 2 ans
render_script_to_dag_manual.ipynb 3bb8fa5643 1. 添加了任务触发函数接口 il y a 2 ans
requirements.txt 2694cd54a3 1. 完成基础run的构建 il y a 2 ans
run.py d12923e2bf 1. 完成日志的格式化输出 il y a 2 ans
run_delete.py cd02cc7b6f 定时删除日志 il y a 2 ans
server.py bbc5ba4465 集成jupyter il y a 2 ans
sxkj.ini 9a4569df5d 复制表名 il y a 2 ans
txprod.ini 99bdc102a0 txprod 算法组项目id修改 il y a 2 ans
txtest.ini 6012a77555 权限配置 il y a 2 ans

README.md

Datax Admin

用于 dag 平台:

  • 数据源管理
  • 任务管理
  • 用户管理
  • 权限管理

启动

conda env create environment.yml
conda activate py38
python run.py

部署

在 k8s 生产环境设置 pod 的环境变量 APP_ENV=production

# 打包镜像
make image

# 打包镜像 + 用docker-compose启动容器
make deploy

# 在远程服务器的 REMOTE_WORKSPACE 下部署
make remote