harite / ai-for-security-learning

安全场景、基于AI的安全算法和安全数据分析学习资料整理

AI-for-Security-Learning

安全场景、基于AI的安全算法和安全数据分析学习笔记（偏工程类学习笔记），持续阅读，保持对业界技术的跟进和迭代

项目地址：https://github.com/404notf0und/AI-for-Security-Learning

最近更新日期为：2019/10/24

新增：

• 从安全视角对机器学习的部分思考
• ExecScent: Mining for New C&C Domains in Live Networks with Adaptive Control Protocol Templates
• CNN+BLSTM+CTC的验证码识别从训练到部署
• 一个关于人工智能渗透测试分析系列
• DNS Tunnel隧道隐蔽通信实验 && 尝试复现特征向量化思维方式检测
• 第三届阿里云安全赛季军-0day
• 第三届阿里云安全算法挑战赛冠军代码
• 安全智能应用的一些迷思
• 深度总结 | 机器智能的安全之困

同步更新于：404 Not Found：AI for Security

目录：

• 综述篇
• 防护篇
  • 使用AI保护应用
    • 恶意样本检测
    • 入侵检测
    • 域名安全检测
    • 业务安全检测
    • Web安全检测
      • URL异常检测
      • SQLi检测
      • XSS检测
      • Web攻击多分类检测
      • Webshell检测
      • Other
    • APT检测
    • 安全运营
    • 杂项
      • WindowsRDP检测
      • PowerShell检测
      • 用户行为(UBA)检测
      • 弱口令检测
  • (使用AI)保护AI(框架、数据、模型、系统)
• 对抗篇
  • 使用AI攻击应用
  • (使用AI)攻击AI(框架、数据、模型、系统)
    • 攻击AI框架
    • 攻击AI模型
• 心得体会篇
• 学习交流篇

综述篇

• 安全智能应用的一些迷思
• 深度总结 | 机器智能的安全之困

防护篇

使用AI保护应用

恶意样本检测

• 深度学习在恶意软件检测中的应用
• 恶意软件与数据分析
• 利用机器学习进行恶意代码分类
• 用机器学习检测Android恶意代码
• Malware Detection in Executables Using Neural Networks
• 基于深度学习的恶意样本行为检测(含源码)
• 用机器学习进行恶意软件检测——以阿里云恶意软件检测比赛为例
• 第二届微软恶意软件预测挑战赛初探
• DataCon大数据安全分析比赛冠军思路分享：方向二-恶意代码检测
• 第三届阿里云安全赛季军-0day
• 第三届阿里云安全算法挑战赛冠军代码

入侵检测

• 利用机器学习检测HTTP恶意外连流量
• ExecScent: Mining for New C&C Domains in Live Networks with Adaptive Control Protocol Templates
• MADE: Security Analytics for Enterprise Threat Detection
• 机器学习在互联网巨头公司实践
• 机器学习在入侵检测方面的应用 - 基于ADFA-LD训练集训练入侵检测判别模型
• datacon比赛方向三-攻击源与攻击者分析writeup

域名安全检测

• 使用fasttext进行DGA检测
• 机器学习实践-DGA检测
• 使用CNN检测DNS隧道
• 机器学习与威胁情报的融合：一种基于AI检测恶意域名的方法
• DNS Tunnel隧道隐蔽通信实验 && 尝试复现特征向量化思维方式检测
• DataCon 2019: 1st place solution of malicious DNS traffic & DGA analysis
• DataCon 9102: DNS Analysis
• Datacon DNS攻击流量识别 内测笔记

业务安全检测

• 基于设备指纹的风控建模以及机器学习的尝试
• 如何在安全风控中评估和量化机器学习有效性
• 阿里巴巴直播内容风险防控中的AI力量
• 人工智能反欺诈三部曲——特征工程
• 人工智能反欺诈三部曲之：设备指纹

Web安全检测

Web安全之URL异常检测

• 基于机器学习的web异常检测
• 基于大数据和机器学习的Web异常参数检测系统Demo实现
• 基于机器学习的web应用防火墙
• LSTM识别恶意HTTP请求
• 基于URL异常检测的机器学习模型mini部署
• 我的AI安全检测学习笔记（一）
• A Deep Learning Based Online Malicious URL and DNS Detection Scheme
• POSTER: A PU Learning based System for Potential Malicious URL Detection

Web安全之SQLi检测

• 三种特征向量对深度学习攻击检测的影响

Web安全之XSS检测

• 机器学习识别XSS实践
• 使用深度学习检测XSS
• 使用深度学习检测XSS(续)

Web安全之攻击多分类检测

• 基于机器学习的WEB攻击分类检测模型
• 基于机器学习的攻击检测系统

Web安全之Webshell检测

• 基于机器学习的分布式webshell检测系统-特征工程（1）
• 深度学习PHP webshell查杀引擎demo
• 使用机器学习识别WebShell
• 基于机器学习的分布式Webshell检测系统
• 基于机器学习的Webshell发现技术探索
• 刘焱： Webshell 发现技术实战解析
• 安普诺张涛：再谈webshell检测
• 新开始:webshell的检测
• 基于机器学习的WebShell检测方法与实现(上)
• 初探机器学习检测PHP Webshell

Web安全之其他

• Web安全检测中机器学习的经验之谈

APT检测

• APT detection based on machine learning
• RSAC 2019 | 机器学习算法分析引擎助力安全威胁推理分析

安全运营

• 解决机器学习和安全运营之间的最后一公里问题
• Data-Knowledge-Action: 企业安全数据分析入门
• RSAC 2019 | 采用NLP机器学习来进行自动化合规风险治理

杂项

• 机器学习在WindowsRDP版本和后门检测上的应用
• 用机器学习检测恶意PowerShell
• 机器学习算法在用户行为检测(UBA)领域的应用
• 利用机器学习和规则实现弱口令检测
• 一个关于人工智能渗透测试分析系列
• 机器学习在安全攻防场景的应用与分析

保护AI

• 如何利用AI对抗“数据污染”和”数据中毒“？
• 对抗数据中毒--机器学习在阿里巴巴网络安全的应用

对抗篇

使用AI攻击应用

• AI与Android漏洞挖掘的那些事儿
• AI与安全的恩怨情仇五部曲「1」Misuse AI
• 一种基于机器学习的自动化鱼叉式网络钓鱼思路
• Weaponizing data science for social engineering: Automated E2E spear phishing on Twitter
• Deep Exploit: Fully automatic penetration test tool using Machine Learning
• GyoiThon: Fully automatic penetration test tool using Machine Learning
• CNN+BLSTM+CTC的验证码识别从训练到部署
• Generating Adversarial Malware Examples for Black-Box Attacks Based on GAN

攻击AI

攻击AI框架

• 深度学习框架中的魔鬼——探究人工智能系统中的安全问题
• 对深度学习的降维攻击 — 人工智能系统数据流中的安全风险
• DEFCON CHINA议题解读 | 对深度学习系统的数据流攻击

攻击AI模型

• 安全领域中机器学习的对抗和博弈
• 基础攻防场景下的AI对抗样本初探
• 使用生成对抗网络(GAN)生成DGA
• 详解如何使用Keras实现Wassertein GAN
• Is attacking machine learning easier than defending it?
• 对深度学习的逃逸攻击 ——探究人工智能系统中的安全盲区
• NLP机器学习模型安全性及实践
• 机器学习对抗性攻击报告
• 从安全视角对机器学习的部分思考

心得体会篇

1. 随着学习门槛的提高，公开的工业界资料已经相对匮乏，所以开始学习一些学术界较新的paper，理解吃透再工程化。
2. Reinforcement Learning + Deep Learning = AI
3. 人工智能技术应用于网络安全等各个垂直领域已经是大势所趋（虽然不得不承认有其局限性，但是我们可以通过细划分场景有针对性的进行安全问题分解、抽象，结合机器学习技术解决问题）
4. 对安全场景、攻击模式、数据的认识深度，远比选择工具重要
5. 加高自己的技术壁垒：业务业务业务，锻炼业务敏感性，理解业务需求，给出解决方案（基于业务的特征工程）
6. 万物皆规则，机器学习训练的模型也是一种规则。用传统规则还是机器学习模型规则取决于对业务场景的先验知识的掌握程度。

学习交流篇

后续持续更新内容，将发布在个人微信公众号：404 Not F0und，同时公众号提供了该项目的PDF版本，关注后回复"智能安全" 即可下载。公众号致力于分享原创高质量干货，包括但不限于：应用安全、机器智能、安全算法、安全数据分析、企业安全建设。知识分享的价值在于既能系统化梳理自己的研究和思考，又可能和他人思维碰撞，发生一些有意思的事情。​