Machine Learning 2

[Week 2] 계급 불균형(class imbalance) 다루기

해당 스터디는 사이버 보안을 위한 머신러닝 쿡북 교재를 기반으로 진행되었습니다. 계급 불균형 정의 계급 불균형 해결 방안 계급 불균형 해결 방안 적용 (실습) 요약 계급 불균형 정의 여러 분류/예측 문제에서 자주 마주하게 되는 문제 중 하나가 바로 계급 불균형이다. 분류/예측 문제는 대부분 특정 계급(class, label)으로 분류하거나 예측하게 되는데, 학습 당시에 계급(이하 class) 별로 데이터 양이 매우 불균형할 경우를 계급 불균형(이하 class imbalance)라 부른다. 아쉽게도 실생활 데이터에서 계급 불균형 문제는 자주 발생한다. 예를 들어 사기 탐지(fraud detection), 이상치 탐지(anomaly detection)와 같은 분야나 암 판별이나 악성 코드 탐지와 같이 여러 ..

[ES/KIBANA] Multi-bucket Anomaly

해당 게시글은 Elastic Search 공식 Blog의 글인 Interpreting multi-bucket impact anomalies using elastic machine learning features을 번역 및 정리했습니다. What is Multi-bucket Anomaly and Why? 하나의 time bucket에 대한 이상치를 아는 것뿐만 아니라 더 크게 보면서 흐름(trend)에 대한 이상치를 확인할 필요도 있다. 이에 따라서 ES에서는 기본적으로 multi bucket anomaly를 제공한다. Multi-bucket anomaly란 말 그대로 여러 bucket을 기준으로 채용한 anomaly로 지난 12개의 bucket의 흐름을 기준으로 anomaly를 탐지한다. How to i..