|
@@ -21,8 +21,6 @@
|
|
|
|
|
|
#### 流程
|
|
#### 流程
|
|
|
|
|
|
-##### aihub平台
|
|
|
|
-
|
|
|
|
```shell
|
|
```shell
|
|
# 构建镜像
|
|
# 构建镜像
|
|
docker build -t test_agent:v1 .
|
|
docker build -t test_agent:v1 .
|
|
@@ -40,20 +38,16 @@ Hello123!
|
|
|
|
|
|
# 返回容器,运行代码
|
|
# 返回容器,运行代码
|
|
python datax.py
|
|
python datax.py
|
|
-# 输入所选的平台
|
|
|
|
|
|
+# 输入所选的平台(AI平台)
|
|
online / offline
|
|
online / offline
|
|
-```
|
|
|
|
-
|
|
|
|
-##### jupyter平台
|
|
|
|
|
|
|
|
-```shell
|
|
|
|
|
|
+# jupyter平台
|
|
|
|
+python main.py
|
|
```
|
|
```
|
|
|
|
|
|
-
|
|
|
|
-
|
|
|
|
### 函数介绍
|
|
### 函数介绍
|
|
|
|
|
|
-
|
|
|
|
|
|
+#### AI平台
|
|
|
|
|
|
```python
|
|
```python
|
|
class Agent(object):
|
|
class Agent(object):
|
|
@@ -74,22 +68,50 @@ if __name__ == "__main__":
|
|
|
|
|
|
`___init__`:请求输入,从而判断将在哪个平台上运行,输入目前仅支持`online`和`offline`,即线上和线下,通过用户的输入进行配置文件的加载
|
|
`___init__`:请求输入,从而判断将在哪个平台上运行,输入目前仅支持`online`和`offline`,即线上和线下,通过用户的输入进行配置文件的加载
|
|
|
|
|
|
-`test_test`:测试AI平台的添加数据源的`测试连接`,判断当前数据源是否可以添加
|
|
|
|
|
|
+`test_test`:测试连接,判断当前数据源是否可以添加
|
|
|
|
|
|
-`test_add_datasource`:测试AI平台的添加数据源的`确认添加`,测试AI平台的数据源添加功能是否异常
|
|
|
|
|
|
+`test_add_datasource`:测试AI平台的数据源添加功能是否异常
|
|
|
|
|
|
`test`:集成了一些测试流程,先后`添加任务`,`启动任务`,`执行任务`
|
|
`test`:集成了一些测试流程,先后`添加任务`,`启动任务`,`执行任务`
|
|
|
|
|
|
-`test_add_job_sql2sql`:测试AI平台的添加任务,启动任务,执行任务功能,数据迁移模式为从mysql数据源到mysql数据源
|
|
|
|
|
|
+`test_add_job_sql2sql`:数据迁移模式为从mysql数据源到mysql数据源
|
|
|
|
|
|
-`test_add_job_sql2hive`:数据迁移模式为从mysql数据源到hive数据源
|
|
|
|
|
|
+`test_add_job_sql2hive`:从mysql到hive
|
|
|
|
|
|
-`test_add_job_hive2sql`:数据迁移模式为从hive数据源到mysql数据源
|
|
|
|
|
|
+`test_add_job_hive2sql`:从hive到mysql
|
|
|
|
|
|
-`test_add_hive2hive`:数据迁移模式为从hive数据源到hive数据源
|
|
|
|
|
|
+`test_add_hive2hive`:从hive到hive
|
|
|
|
|
|
用户可以根据自身需要在`__main__`方法中添加相应的指令,从而对AI平台进行测试。
|
|
用户可以根据自身需要在`__main__`方法中添加相应的指令,从而对AI平台进行测试。
|
|
|
|
|
|
-### 注意点
|
|
|
|
|
|
+#### jupyter平台
|
|
|
|
+
|
|
|
|
+```python
|
|
|
|
+class AI(object):
|
|
|
|
+ def __init__(self)
|
|
|
|
+ def generate_uuid(self)
|
|
|
|
+ def test_start(self)
|
|
|
|
+ def test_log(self)
|
|
|
|
+ def test_status(self)
|
|
|
|
+ def test_result(self, index)
|
|
|
|
+ def test(self)
|
|
|
|
+
|
|
|
|
+
|
|
|
|
+if __name__ == "__main__":
|
|
|
|
+ s = AI()
|
|
|
|
+ s.test()
|
|
|
|
+```
|
|
|
|
+
|
|
|
|
+`__init__`:加载url,生成dag_id
|
|
|
|
+
|
|
|
|
+`generate_uuid`:生成UUID
|
|
|
|
+
|
|
|
|
+`test_start`:执行任务
|
|
|
|
+
|
|
|
|
+`test_log`:查看节点的日志
|
|
|
|
+
|
|
|
|
+`test_status`:查看节点状态
|
|
|
|
+
|
|
|
|
+`test_result`:查看程序运行的结果
|
|
|
|
|
|
-最后的最后,记得在启动脚本之前对任务改个名字,否则会报错名称重复
|
|
|
|
|
|
+`test`:测试流程汇总
|