安全人员曾为某著名车企自动驾驶系统做过一次安全测试，用物理对抗攻击欺骗Autopilot车道检测系统，导致汽车在Autopilot不发出警告的情况下驶入错误车道。假如这是一场真实的攻击，后果不堪设想。事实上，AI系统如果没有足够的“免疫力”，甚至会被一张图片欺骗，如将停车标志识别为通行，在医疗应用中将有问题的医疗影像识别为正常图像等。
 
　　为帮助AI应用从源头构建安全性，阿里安全图灵实验室整理归纳了学界针对AI模型提出的32种攻击方法，以此为基础搭建了一个自动化AI对抗攻击平台CAA，帮助检测AI系统存在的安全漏洞。
 
　　经CAA“体检”后，AI安全专家可针对被检测AI的薄弱地带提出安全建议，助力AI鲁棒性(稳定性)检测，以此增强AI系统的安全性，近日，该研究成果被人工智能顶会AAAI2021接收。