Sen descrición

Zhang Li 5e456fd117 update spark requirement_package_path %!s(int64=2) %!d(string=hai) anos
app 5e456fd117 update spark requirement_package_path %!s(int64=2) %!d(string=hai) anos
assets 55358fcb3c add txprod %!s(int64=2) %!d(string=hai) anos
auo_tests 1a8e802786 add hostalias %!s(int64=2) %!d(string=hai) anos
configs 55358fcb3c add txprod %!s(int64=2) %!d(string=hai) anos
constants 58ebbeebf5 用户、项目、权限体系构建 %!s(int64=2) %!d(string=hai) anos
dag 38bd314365 新增dag文件 %!s(int64=2) %!d(string=hai) anos
data b1b3e60add 复制表名 %!s(int64=2) %!d(string=hai) anos
docker 55358fcb3c add txprod %!s(int64=2) %!d(string=hai) anos
utils 25d8058a67 mysql获取表数据时,表头获取方法修改 %!s(int64=2) %!d(string=hai) anos
.gitignore a259d54b24 fix: bug principal %!s(int64=2) %!d(string=hai) anos
Dockerfile 55358fcb3c add txprod %!s(int64=2) %!d(string=hai) anos
Makefile b5d1e0c74d update makefile %!s(int64=2) %!d(string=hai) anos
README.md 049a1dff52 update deploy %!s(int64=2) %!d(string=hai) anos
debug.ipynb 7da7f95ada 1. 设置python 作业 默认执行脚本为main.py %!s(int64=2) %!d(string=hai) anos
delete.py cd02cc7b6f 定时删除日志 %!s(int64=2) %!d(string=hai) anos
development.ini b1b3e60add 复制表名 %!s(int64=2) %!d(string=hai) anos
docker-compose.yml 56d68ae0af 合并分支 %!s(int64=2) %!d(string=hai) anos
environment.yml e5241b5f8a update dockerfile %!s(int64=2) %!d(string=hai) anos
idctest.ini c50cfadd9a update idctest.ini %!s(int64=2) %!d(string=hai) anos
production.ini b1b3e60add 复制表名 %!s(int64=2) %!d(string=hai) anos
rdbms-example.json 6f0793d275 datax json mysql %!s(int64=2) %!d(string=hai) anos
rdbms-template.json 6f0793d275 datax json mysql %!s(int64=2) %!d(string=hai) anos
render_script_to_dag_manual.ipynb 3bb8fa5643 1. 添加了任务触发函数接口 %!s(int64=2) %!d(string=hai) anos
requirements.txt 2694cd54a3 1. 完成基础run的构建 %!s(int64=2) %!d(string=hai) anos
run.py d12923e2bf 1. 完成日志的格式化输出 %!s(int64=2) %!d(string=hai) anos
run_delete.py cd02cc7b6f 定时删除日志 %!s(int64=2) %!d(string=hai) anos
server.py e45987d41a merge ind %!s(int64=2) %!d(string=hai) anos
sxkj.ini b1b3e60add 复制表名 %!s(int64=2) %!d(string=hai) anos
txprod.ini 5c71b2e4bc update txprod.ini %!s(int64=2) %!d(string=hai) anos
txtest.ini 889e4c418e 配置文件修改 %!s(int64=2) %!d(string=hai) anos

README.md

Datax Admin

用于 dag 平台:

  • 数据源管理
  • 任务管理
  • 用户管理
  • 权限管理

启动

conda env create environment.yml
conda activate py38
python run.py

部署

在 k8s 生产环境设置 pod 的环境变量 APP_ENV=production

# 打包镜像
make image

# 打包镜像 + 用docker-compose启动容器
make deploy

# 在远程服务器的 REMOTE_WORKSPACE 下部署
make remote