데이터 수집

원본 보기

데이터 수집: 데이터를 Elastic으로 가져오기

데이터를 추가한다고 하든, 색인한다고 하든, 수집한다고 하든, 데이터를 검색하고 시각화하고 인사이트를 얻으려면 먼저 데이터를 Elasticsearch에 넣어야 합니다.

Elastic의 수집 도구는 유연하며 다양한 시나리오를 지원합니다. 널리 쓰이는 간단한 사용 사례부터, 데이터를 Elasticsearch로 보내기 전에 수정하거나 형태를 바꾸기 위해 추가 처리가 필요한 고급 사용 사례까지 모두 지원합니다.

수집할 수 있는 데이터는 다음과 같습니다.

  • 일반 콘텐츠(타임스탬프가 없는 데이터). HTML 페이지, 카탈로그, 파일 등
  • 시계열(타임스탬프가 있는) 데이터. Elastic Security, Observability, Search 솔루션 또는 직접 만든 커스텀 솔루션을 위한 로그, 메트릭, 트레이스 등

Elastic은 특정 유형의 일반 콘텐츠를 수집하도록 설계된 도구를 제공합니다. 콘텐츠 유형에 따라 가장 적합한 수집 방식이 결정됩니다.

  • 문서를 Elasticsearch에 직접 색인하려면 Elasticsearch document API를 사용하세요.
  • 애플리케이션 데이터를 Elasticsearch로 직접 보내려면 Elasticsearch 언어 클라이언트를 사용하세요.
  • 웹 페이지 콘텐츠를 색인하려면 Elastic 웹 크롤러를 사용하세요.
  • 서드파티 소스의 데이터를 동기화하려면 커넥터를 사용하세요. 커넥터는 원본 데이터 소스의 콘텐츠를 Elasticsearch 인덱스로 동기화합니다. 커넥터를 사용하면 데이터 소스의 검색 가능한 읽기 전용 복제본을 만들 수 있습니다.
  • 비프로덕션 환경에서 테스트용으로 단일 파일을 색인하려면 Kibana 파일 업로더를 사용하세요.

직접 데이터를 추가하기 전에 먼저 사용해 보고 싶다면 샘플 데이터를 활용해 보세요.

시계열 데이터를 수집하는 가장 좋은 방법은 무엇인가요?

데이터를 수집하는 가장 좋은 방법은 필요를 충족하고 사용 사례에 맞는 가장 단순한 선택지입니다.

보통 시계열 데이터를 수집하는 가장 단순한 선택지는 Elastic Agent와 Elastic 통합을 함께 사용하는 것입니다.

  • 데이터를 수집하려는 컴퓨터에 Elastic Agent를 설치합니다.
  • 해당 데이터 소스에 대한 Elastic 통합을 배포 환경에 추가합니다.

통합은 널리 사용되는 여러 플랫폼과 서비스에 대해 제공되며, Elastic 솔루션(Observability, Security, Search)이나 직접 만든 검색 애플리케이션으로 데이터를 수집할 때 시작점으로 삼기 좋습니다.

사용 가능한 통합을 찾으려면 통합 빠른 참조를 확인하세요. 데이터 소스에 맞는 통합을 찾지 못했다면 Automatic Import를 사용해 데이터 샘플로부터 LLM을 활용해 커스텀 통합을 생성할 수 있습니다. 기존 통합을 확장하기 위해 추가 처리가 필요하다면 데이터 변환 및 보강에서 자세한 내용을 확인하세요.