머신 러닝

머신 러닝 기능은 데이터를 분석하고 그 동작 패턴에 대한 모델을 생성합니다. 어떤 분석 유형을 선택할지는 해결하려는 질문이나 문제, 그리고 사용할 수 있는 데이터의 유형에 따라 달라집니다.

학습이나 개입 없이도 데이터 내의 패턴과 관계를 추론할 수 있는 분석 유형은 두 가지입니다. 이상 탐지(anomaly detection)와 이상치 탐지(outlier detection)입니다.

이상 탐지에는 시계열 데이터가 필요합니다. 확률 모델을 구성하며, 지속적으로 실행하면서 비정상적인 이벤트가 발생하는 즉시 식별할 수 있습니다. 모델은 시간이 지나면서 발전하며, 그 인사이트를 활용해 향후 동작을 예측할 수 있습니다.

이상치 탐지에는 시계열 데이터가 필요하지 않습니다. 각 데이터 포인트가 다른 포인트와 얼마나 가까운지, 그리고 주변 포인트 클러스터의 밀도가 어떤지를 분석해 데이터 세트에서 비정상적인 포인트를 식별하는 data frame analytics의 한 유형입니다. 지속적으로 실행되지 않으며, 각 데이터 포인트에 이상치 점수가 표기된 데이터 세트 사본을 생성합니다. 이 점수는 해당 데이터 포인트가 다른 데이터 포인트에 비해 어느 정도로 이상치인지를 나타냅니다.

학습 데이터 세트가 필요한 data frame analytics 유형은 두 가지입니다. 분류(classification)와 회귀(regression)입니다.

두 경우 모두 결과는 각 데이터 포인트에 예측값이 표기된 데이터 세트 사본과 학습된 모델이며, 이 모델을 배포해 새로운 데이터에 대한 예측을 수행할 수 있습니다. 자세한 내용은 지도 학습 소개를 참조하세요.

분류는 데이터 포인트 간의 관계를 학습해 DNS 요청이 악성 도메인에서 발생했는지 정상 도메인에서 발생했는지와 같은 이산적인 범주형 값을 예측합니다.

회귀는 데이터 포인트 간의 관계를 학습해 웹 요청의 응답 시간과 같은 연속적인 수치 값을 예측합니다.

사용할 수 있는 머신 러닝 기능은 프로젝트 유형에 따라 다릅니다.

• Elasticsearch Serverless 프로젝트에서는 이상 탐지 작업, data frame analytics 분석 작업, 학습된 모델을 사용할 수 있습니다.
• Observability 프로젝트에서는 이상 탐지 작업을 사용할 수 있습니다.
• Elastic Security 프로젝트에서는 이상 탐지 작업, data frame analytics 분석 작업, 학습된 모델을 사용할 수 있습니다.

Kibana에서 머신 러닝 데이터피드, 작업, 학습된 모델을 보려면 먼저 저장된 객체가 있어야 합니다. 예를 들어 API를 사용해 작업을 생성했다면 자동 동기화를 기다리거나 Machine Learning 페이지로 이동해 Synchronize saved objects를 클릭하세요.

Machine Learning 페이지에서 머신 러닝 작업과 데이터피드 구성 세부 정보를 내보내고 가져올 수 있습니다. 예를 들어 테스트 환경에서 작업을 내보내 운영 환경으로 가져올 수 있습니다.

내보낸 파일에는 구성 세부 정보만 포함되며 머신 러닝 모델은 포함되지 않습니다. 이상 탐지의 경우, 새 환경에 정확한 모델을 구축하려면 작업을 가져와 실행해야 합니다. data frame analytics의 경우 학습된 모델은 이식 가능하므로, 작업을 가져온 다음 모델을 새 클러스터로 전송할 수 있습니다. data frame analytics 학습된 모델 내보내기 및 가져오기를 참조하세요.

작업을 정상적으로 가져와 실행하려면 추가로 수행해야 하는 작업이 몇 가지 있습니다.

• 이상 탐지 데이터피드가 사용하는 데이터 뷰와 data frame analytics 소스 인덱스가 존재해야 합니다. 그렇지 않으면 가져오기가 실패합니다.
• 이상 탐지 작업이 필터 목록과 함께 사용자 지정 규칙을 사용한다면 해당 필터 목록이 존재해야 합니다. 그렇지 않으면 가져오기가 실패합니다.
• 이상 탐지 작업이 캘린더와 연결되어 있었다면 새 환경에서 캘린더를 생성하고 가져온 작업을 해당 캘린더에 추가해야 합니다.