데이터분석전문가(ADP)
데이터분석전문가(ADP) 🤖 [예시문제] (2026-08-15)
- 유효성 (Validity)
- 정확성 (Accuracy)
- 일관성 (Consistency)
- 완전성 (Completeness)
- ETL은 데이터 웨어하우스에 데이터를 적재하기 전에 필요한 모든 변환을 수행하는 방식이다.
- ELT는 원본 데이터를 먼저 데이터 레이크에 적재한 후, 필요에 따라 변환을 수행하는 방식이다.
- ELT는 데이터의 규모가 매우 크고, 다양한 분석 요구사항에 유연하게 대응해야 할 때 더 유리할 수 있다.
- ETL은 데이터 레이크 환경에서 원시 데이터에 대한 빠른 접근과 다양한 분석 기법 적용에 ELT보다 항상 더 유리하다.
- 데이터 이해 (Data Understanding)
- 평가 (Evaluation)
- 배포 (Deployment)
- 데이터 준비 (Data Preparation)
- 과적합은 모델이 훈련 데이터에 너무 민감하게 반응하여 복잡도가 높은 상태로, 훈련 성능은 낮고 테스트 성능은 높은 경향이 있다.
- 과소적합은 모델이 훈련 데이터의 패턴을 충분히 학습하지 못해 단순한 상태로, 훈련 성능과 테스트 성능 모두 낮은 경향이 있다.
- 과소적합을 해결하기 위해서는 일반적으로 모델의 복잡도를 높이는 대신, 정규화(Regularization) 기법을 강하게 적용해야 한다.
- 과적합을 해결하기 위해서는 더 많은 특징(Feature)을 추가하거나, 모델의 파라미터 수를 늘리는 것이 효과적이다.
- 시각화는 데이터의 본질적인 메시지를 명확하고 간결하게 전달해야 한다.
- 불필요한 장식이나 3D 효과는 데이터 전달을 방해하므로 최소화해야 한다.
- 다양한 색상을 사용하여 시각적인 즐거움을 제공하고 복잡성을 강조해야 한다.
- 데이터 잉크 비율(Data-ink Ratio)을 높여 비데이터 잉크를 줄이고 데이터 자체를 강조해야 한다.
- 서포트 벡터 머신(SVM)이나 k-최근접 이웃(k-NN)과 같이 거리를 기반으로 하는 알고리즘의 성능 향상
- 경사하강법(Gradient Descent) 기반의 최적화 알고리즘 학습 속도 개선
- 특성들의 단위나 범위 차이로 인해 특정 특성이 모델 학습에 과도하게 영향을 미치는 것을 방지
- 결정 트리(Decision Tree)나 랜덤 포레스트(Random Forest)와 같은 트리 기반 모델의 과적합(Overfitting) 방지
- 데이터 거버넌스는 주로 데이터 저장 공간의 효율성을 관리하는 기술적 아키텍처 수립에 중점을 둔다.
- 데이터 거버넌스의 핵심은 데이터에 대한 정책, 표준, 절차를 정의하고 이를 준수하도록 관리하는 것이다.
- 데이터 거버넌스는 데이터 분석 모델 개발 및 배포 과정의 효율성을 극대화하는 데 주된 목표가 있다.
- 데이터 거버넌스는 데이터 보안과는 무관하며, 독립적으로 운영되어야 한다.
- 인메모리(In-Memory) 연산을 통해 디스크 I/O를 최소화하여 Hadoop MapReduce보다 빠른 처리 속도를 제공한다.
- 스칼라(Scala), 자바(Java), 파이썬(Python), R 등 다양한 프로그래밍 언어를 지원하여 개발 유연성이 높다.
- 데이터 처리의 각 단계를 디스크에 저장하여 내결함성(Fault Tolerance)을 보장하며, 복잡한 DAG(Directed Acyclic Graph)를 지원하지 않는다.
- Spark SQL, Spark Streaming, MLlib, GraphX 등 다양한 라이브러리 및 모듈을 포함하는 통합 플랫폼이다.