test-ailab

Get Started with test ailab

简介

众所周知，公司自主开发的AI平台目前还存在诸多bug，为了减轻晏姐的工作量，立哥让我开发一个自动化测试脚本，可以自动测试AI平台是否可以正常运行。于是我开发了此项目，可以检测线上或是线下的AI平台是否可以跑通案例，主要是通过requests库进行检测。

快速开始

项目结构

├── Dockerfile
├── README.md
├── datax.py
├── environment.yml
├── krb5.conf
├── main.py
├── user.keytab
└── utils.py

流程

aihub平台

# 构建镜像
docker build -t test_agent:v1 .
# 启动容器
docker run -it test_agent:v1 zsh

# 另起一个终端，开启VPN
ssh sxwl1070@192.168.199.107
# 密码:sx
sudo openvpn --config ./openvpn-client.ovpn
# 用户名
liangzhongquan
# 密码
Hello123!

# 返回容器，运行代码
python datax.py
# 输入所选的平台
online / offline

jupyter平台

函数介绍

class Agent(object):
    def __init__(self)
    def test_test(self, name)
    def test_add_datasource(self, name)
    def test_add_job_sql2sql(self, name)
    def test_add_job_sql2hive(self, name)
    def test_add_job_hive2sql(self, name)
    def test_add_job_hive2hive(self, name)
    def test(self, json_data)


if __name__ == "__main__":
    agent = Agent()
    agent.test_add_job_sql2sql("liyuqi_test")

___init__：请求输入，从而判断将在哪个平台上运行，输入目前仅支持online和offline，即线上和线下，通过用户的输入进行配置文件的加载

test_test：测试AI平台的添加数据源的测试连接，判断当前数据源是否可以添加

test_add_datasource：测试AI平台的添加数据源的确认添加，测试AI平台的数据源添加功能是否异常

test：集成了一些测试流程，先后添加任务，启动任务，执行任务

test_add_job_sql2sql：测试AI平台的添加任务，启动任务，执行任务功能，数据迁移模式为从mysql数据源到mysql数据源

test_add_job_sql2hive：数据迁移模式为从mysql数据源到hive数据源

test_add_job_hive2sql：数据迁移模式为从hive数据源到mysql数据源

test_add_hive2hive：数据迁移模式为从hive数据源到hive数据源

用户可以根据自身需要在__main__方法中添加相应的指令，从而对AI平台进行测试。

注意点

最后的最后，记得在启动脚本之前对任务改个名字，否则会报错名称重复