데이터 마이닝을 통한 다양한 기법의 분석 및 실험 연구____ AI 연구원 2025_01홍영호
초록:
본 연구는 데이터 마이닝 기법을 활용하여 대규모 데이터셋에서 유의미한 패턴을 추출하고, 이를 실제 문제 해결에 적용하는 방법을 제시합니다. 데이터 마이닝의 주요 기법인 분류, 군집화, 연관 규칙 학습을 중심으로, 각 기법의 최신 동향과 적용 사례를 분석하였습니다. 실험을 통해 의사결정나무, K-최근접 이웃, 나이브 베이즈, K-평균 군집화, Apriori 알고리즘의
성능을 비교하고, 각 기법의 장단점을 논의합니다. 본 연구는 데이터의 품질 향상과 분석의 정확성을 높이기 위한 전처리 전략을 포함하여, 데이터 마이닝의 효과적인 적용 방법을 제시합니다.
키워드:
데이터 마이닝, 분류, 군집화, 연관 규칙 학습, 의사결정나무, K-최근접 이웃, 나이브 베이즈, K-평균 군집화, Apriori 알고리즘, 데이터 전처리, 빅데이터 분석- 2 -
1. 서론
데이터 마이닝은 대규모 데이터셋에서 유용한 정보를 추출하는 기법으로, 다양한 산업 분야에서 중요성이 커지고 있습니다. 특히, 데이터의 양이 폭발적으로 증가함에 따라, 효과적인 데이터 마이닝 기법의 개발과 적용이 필수적입니다.1) 이 연구는 데이터 마이닝 기법의 최신 동향을 분석하고, 그 중요성과 필요성을 논의하는 것을 목적으로 합니다.
1.1 연구 배경
데이터 마이닝은 대량의 데이터를 분석하여 유용한 패턴이나 정보를 추출하는 과정입니다. 최근 기업, 정부, 의료, 금융 분야 등에서 데이터 마이닝을 활용하여 의사결정 지원, 예측 분석, 트렌드 파악 등 다양한 응용 분야에서 활용되고 있습니다.
1.2 연구 목적
본 연구는 데이터 마이닝 기법을 활용하여 특정 데이터셋에서 유의미한 패턴을 추출하고, 이를 실제 문제 해결에 어떻게 적용할 수 있는지 분석하는 것을 목적으로 합니다.
2. 데이터 마이닝 개요
데이터 마이닝(Data Mining)은 대규모 데이터셋에서 유용한 패턴, 규칙, 트렌드 또는 정보를 자동으로 추출하는 과정입니다. 이 과정은 통계학, 머신러닝, 데이터베이스 시스템 등의 다양한 기술을 활용하여 수행되며, 데이터에서 숨겨진 지식이나 인사이트를 도출하는 데 중점을 둡니다. 데이터 마이닝은 기업이나 연구기관 등에서 의사결정을 돕기 위해 널리 사용됩니다. 데이터 마이닝의 주요 기법에는 분류(classification), 군집화(clustering), 연관 규칙 발견(association rule mining), 회귀 분석(regression) 등이 있습니다. 이러한 기법들은 각각의 목표에 맞춰 데이터를 분석하고 예측하는 데 사용됩니다.2) 특히, 랜덤 포레스트와 같은 기계 학습 알고리즘은 데이터의 복잡한 패턴을 효과적으로 모델링할 수 있습니다.3)
1) Lipovetsky, S. (2022). Statistical and Machine-Learning Data Mining: Techniques for Better Predictive Modeling and Analysis of Big Data. Technometrics, 64, 145-148.
2) Oatley, G. (2021). Themes in data mining, big data, and crime analytics. Wiley Interdisciplinary Reviews: Data Mining and Knowledge Discovery, 12.
3) Malashin, I. P., Masich, I., Tynchenko, V., Nelyub, V. A., Borodulin, A., Gantimurov, A. P., Shkaberina, G., & Rezova, N. (2024). Forecasting Dendrolimus sibiricus Outbreaks: Data Analysis and Genetic Programming-Based Predictive Modeling. Forests.- 3 -
데이터 마이닝은 금융, 의료, 마케팅, 소셜 미디어 분석 등 다양한 분야에서 활용됩니다. 예를 들어, 의료 분야에서는 질병 예측 및 환자 관리에 사용되며,4) 제조업에서는 생산 과정의 효율성을 높이기 위한 결함 예측 등에 사용됩니다.5) 또한, 교육 분야에서도 학생 성과 예측 및 맞춤형 학습 경험 제공에 활용되고 있습니다.6)
데이터 마이닝 과정은 데이터 수집, 데이터 전처리, 모델 구축, 평가 및 해석의 단계로 나뉩니다. 각 단계는 데이터 품질을 높이고, 의미 있는 통찰을 도출하는 데 필수적입니다. 데이터 전처리는 특히 중요한데, 이는 데이터의 노이즈를 제거하고 일관성을 확보하기 위한 필수 단계입니다. 데이터 마이닝은 데이터의 품질, 보안 및 프라이버시 문제, 해석의 복잡성 등 다양한 도전 과제를 가지고 있습니다. 특히, 빅데이터 환경에서 데이터의 분산 처리 및 실시간 분석은 주요 기술적 과제로 대두되고 있으며, 최근에는 메타휴리스틱 기법을 활용하여 이러한 문제를 해결하려는 연구가 활발히 진행되고 있습니다.7)
이처럼 데이터 마이닝은 다양한 분야에서 혁신적인 솔루션을 제공하며, 빅데이터 시대에 필수적인 기술로 자리 잡고 있습니다. 향후 연구에서는 인공지능과의 융합을 통해 더욱 정교하고 강력한 데이터 분석 기법이 개발될 것으로 기대됩니다.
2.1 데이터 마이닝의 정의
데이터 마이닝은 통계학, 머신러닝, 데이터베이스 기술 등을 활용하여 대규모 데이터로부터 숨겨진 패턴, 관계, 규칙 등을 찾아내는 과정을 의미합니다. 이를 통해 기업은 고객 행동 예
4) JayasriN., P., & Aruna, R. (2021). Big data analytics in health care by data mining and classification techniques. ICT Express, 8, 250-257.
5) Dogan, A., & Birant, D. (2021). Machine learning and data mining in manufacturing. Expert Systems with Applications, 166, 114060.
6) Fischer, C., Pardos, Z., Baker, R., Williams, J., Smyth, P., Yu, R., Slater, S., Baker, R. B., & Warschauer, M. (2020). Mining Big Data in Education: Affordances and Challenges. Review of Research in Education, 44, 130-160.
7) Moshkov, M., Zielosko, B., & Tetteh, E. T. (2022). Selected Data Mining Tools for Data Analysis in Distributed Environment. Entropy, 24.- 4 -
측, 이상 거래 탐지, 제품 추천 등 다양한 분석을 수행할 수 있습니다. 대규모 데이터셋에서 유용한 패턴, 관계, 규칙 또는 트렌드를 자동으로 추출하는 과정입니다. 이 과정은 주로 통계학, 머신러닝, 패턴 인식, 데이터베이스 시스템 등의 기술을 활용하여 진행되며, 데이터에 숨겨진 유의미한 정보를 발견하는 데 집중합니다. 데이터 마이닝의 궁극적인 목표는 데이터를 분석하여 의사결정에 유용한 지식이나 인사이트를 얻는 것입니다. 데이터 마이닝은 대량의 데이터를 처리하고 자동화된 분석을 통해 미래 예측, 고객 세분화, 이상 탐지, 패턴 발견 등을 가능하게 하여, 기업이나 연구 기관에서 의사결정 지원, 문제 해결, 비즈니스 최적화에 활용됩니다. 데이터 마이닝은 대량의 데이터에서 유용한 패턴, 트렌드, 그리고 지식을 추출하는 과정으로, 이는 데이터 분석과 예측을 통해 비즈니스 및 과학적 문제 해결을 지원하는 데 중점을 둡니다. 이 과정은 통계학, 기계 학습, 데이터베이스 기술을 포함한 다양한 분야의 기법을 활용하여 이루어지며, 데이터의 다양한 형태를 분석하여 의미 있는 인사이트를 도출합니다. 데이터 마이닝의 주요 목표는 데이터 속에 숨겨진 정보를 발견하고 이를 기반으로 예측, 분류, 군집화 등의 작업을 수행하는 것입니다.8) 예를 들어, 금융 및 의료 분야에서는 예측 모델링을 통해 고객의 행동이나 질병의 발병을 예측할 수 있으며,9) 교육 분야에서는 학생 성과 예측 및 맞춤형 교육 제공에 활용됩니다.10) 또한, 환경 모니터링 및 예방적 조치 수행을 위한 생태계 데이터 분석에도 응용됩니다.11)
데이터 마이닝 과정은 일반적으로 데이터 수집, 데이터 전처리, 모델 구축, 평가 및 해석의 단계를 포함합니다. 데이터 전처리는 특히 중요하며, 이는 데이터의 노이즈를 제거하고 일관성을 확보하기 위한 필수 단계입니다. 이러한 전처리 과정을 거친 후, 다양한 알고리즘을 적용하여 데이터를 모델링하고, 최종적으로 결과를 해석하여 실질적인 의사결정에 기여합니다.12)
8) Lipovetsky, S. (2022). Statistical and Machine-Learning Data Mining: Techniques for Better Predictive Modeling and Analysis of Big Data. Technometrics, 64, 145-148.
9) JayasriN., P., & Aruna, R. (2021). Big data analytics in health care by data mining and classification techniques. ICT Express, 8, 250-257.
10) Fischer, C., Pardos, Z., Baker, R., Williams, J., Smyth, P., Yu, R., Slater, S., Baker, R. B., & Warschauer, M. (2020). Mining Big Data in Education: Affordances and Challenges. Review of Research in Education, 44, 130-160.
11) Malashin, I. P., Masich, I., Tynchenko, V., Nelyub, V. A., Borodulin, A., Gantimurov, A. P., Shkaberina, G., & Rezova, N. (2024). Forecasting Dendrolimus sibiricus Outbreaks: Data Analysis and Genetic Programming-Based Predictive Modeling. Forests.
12) Moshkov, M., Zielosko, B., & Tetteh, E. T. (2022). Selected Data Mining Tools for Data Analysis in Distributed Environment. Entropy, 24.- 5 -
최근 데이터 마이닝의 발전은 빅데이터 기술과의 통합을 통해 더욱 가속화되고 있습니다. 대규모 데이터셋을 효과적으로 처리하고 분석하기 위해 분산 환경에서 동작 가능한 데이터 마이닝 도구들이 개발되고 있으며, 이는 데이터 분석의 효율성을 높이는 데 기여하고 있습니다.13)
이러한 기술적 발전은 데이터 기반 전략 수립 및 실행에 있어 조직의 경쟁력을 강화하는 데 중요한 역할을 합니다. 데이터 마이닝은 다양한 산업 및 학문 분야에서 데이터 기반 의사결정을 지원하며, 현대 사회에서 필수적인 기술로 자리잡고 있습니다. 향후 연구에서는 기계 학습 및 인공지능 기술과의 융합을 통해 더욱 정교한 데이터 분석 기법이 개발될 것으로 기대됩니다.
2.2 데이터 마이닝의 주요 기법
분류(Classification): 데이터를 사전 정의된 카테고리로 나누는 기법으로, 결정 트리, 랜덤 포레스트, 서포트 벡터 머신(SVM), 나이브 베이즈 등이 사용됩니다. 군집화(Clustering): 유사한 데이터 포인트들을 그룹으로 묶는 기법으로, k-평균 군집화, 계층적 군집화, DBSCAN 등이 포함됩니다. 회귀분석(Regression Analysis): 연속적인 값을 예측하는 기법으로, 선형 회귀, 다항 회귀, 로지스틱 회귀 등이 있습니다. 연관 규칙 학습(Association Rule Learning): 데이터 항목 간의 흥미로운 관계를 찾는 기법으로, 시장 바구니 분석에서 사용되는 Apriori 알고리즘과 FP-Growth가 대표적입니다.
(Dimensionality Reduction): 데이터의 차원을 줄여서 처리 속도를 높이고 시각화를 용이하게 하는 기법으로, PCA(주성분 분석), t-SNE, LDA(선형 판별 분석) 등이 있습니다. 이상 탐지(Anomaly Detection): 일반적인 패턴에서 벗어난 데이터 포인트를 식별하는 기법으로, 이상치 감지 모델, 군집 기반 방법 등이 사용됩니다.
순차 패턴 분석(Sequential Pattern Mining): 시간 순서에 따라 발생하는 이벤트의 패턴을
13) Dhaenens, C., & Jourdan, L. (2022). Metaheuristics for data mining: surveyand opportunities for big data. Annals of Operations Research, 314, 117-140.- 6 -
찾는 기법으로, 시퀀스 데이터에 대한 분석에 활용됩니다. 기타 기법들: 텍스트 마이닝, 시계열 분석, 웹 마이닝 등 다양한 특화된 데이터 마이닝 기법들이 있습니다. 새로운 데이터 포인트가 주어진 클래스 중 어느 것에 속하는지를 예측하는 기법입니다. 대표적인 알고리즘으로 의사결정 트리, 랜덤 포레스트, 그리고 서포트 벡터 머신(SVM)이 있으며, 이는 의료 분야에서도 복잡한 데이터 분석에 활용됩니다.14)
데이터 포인트를 유사한 특성을 기준으로 그룹화하는 기법으로, K-평균, 계층적 군집화, DBSCAN 등이 있습니다. 이 기법은 자연스러운 데이터 패턴을 발견하는 데 사용되며, 분산 환경에서도 효과적인 데이터 분석 도구로 활용될 수 있습니다.15)
연속적인 목표 변수를 예측하기 위한 기법입니다. 선형 회귀, 다항 회귀, 리지 회귀 등이 있으며, 변수 간의 관계를 분석하고 예측 모델을 구축하는 데 유용합니다. 이러한 기술은 특히 환경 모니터링과 같은 분야에서 활용됩니다.16)
데이터 내에서 항목 간의 관계를 발견하는 기법으로, 장바구니 분석에 자주 사용됩니다. 대표적인 알고리즘으로는 Apriori와 FP-Growth가 있으며, 이는 다양한 산업 분야에서 고객 행동 분석에 사용됩니다. 정상적인 패턴과 다른 비정상적인 데이터를 식별하는 기법입니다. 이는 금융 사기 탐지, 네트워크 보안, 그리고 의료 분야에서 중요한 역할을 합니다.17)
시간에 따른 데이터의 변화를 분석하여 미래의 값을 예측하는 기법입니다. ARIMA 모델과 지수 평활법 등이 포함되며, 이는 기후 데이터 분석이나 경제 예측에 활용됩니다.18)
14) Alinejad-Rokny, H., Sadroddiny, E., & Scaria, V. (2018). Machine learning and data mining techniques for medical complex data analysis. Neurocomputing, 276, 1.
15) Moshkov, M., Zielosko, B., & Tetteh, E. T. (2022). Selected Data Mining Tools for Data Analysis in Distributed Environment. Entropy, 24.
16) Malashin, I. P., Masich, I., Tynchenko, V., Nelyub, V. A., Borodulin, A., Gantimurov, A. P., Shkaberina, G., & Rezova, N. (2024). Forecasting Dendrolimus sibiricus Outbreaks: Data Analysis and Genetic Programming-Based Predictive Modeling. Forests.
17) Sharma, M., Chaudhary, V., Sharma, P., & Bhatia, R. S. (2020). Intelligent Data Analysis for Medical Applications. Intelligent Data Analysis.
18) Wu, X., Zhu, X., Wu, G., & Ding, W. (2016). Data mining with big data. IEEE Transactions on Knowledge and Data Engineering, 26, 97-107.- 7 -
이러한 데이터 마이닝 기법들은 데이터를 보다 심층적으로 이해하고, 다양한 분야에 걸쳐 혁신적이고 효과적인 분석을 가능하게 합니다. 특히, 빅데이터 환경에서는 메타휴리스틱 및 분산 처리를 통해 데이터 마이닝의 효율성을 높이고 있습니다.19)
분류(Classification): 데이터 항목을 사전 정의된 범주로 분류하는 기법 (예: 스팸 이메일 분류)군집화(Clustering): 유사한 데이터 항목을 그룹으로 묶는 기법 (예: 고객 세분화)회귀 분석(Regression): 연속적인 값을 예측하는 기법 (예: 주식 가격 예측)연관 규칙 분석(Association Rule Mining): 항목 간의 연관성을 찾는 기법 (예: 장바구니 분석)
3. 연구 방법
3.1 데이터셋 선정
데이터셋을 선정할 때 고려해야 할 사항
목적 및 목표: 데이터 분석이나 모델링의 목적과 목표를 명확히 정의합니다. 이를 통해 어떤 유형의 데이터가 필요한지 파악할 수 있습니다. 데이터 가용성: 필요한 데이터가 실제로 존재하고 접근 가능한지 확인해야 합니다. 공개 데이터셋, 사내 데이터베이스, API 등을 통해 데이터에 접근할 수 있는지 살펴봅니다. 데이터 크기 및 형식: 데이터셋의 크기와 형식이 분석 및 처리에 적합한지 평가합니다. 대용량 데이터의 경우 저장 및 처리 능력을 고려해야 하며, 데이터 형식은 분석 도구와의 호환성을 확인해야 합니다. 데이터 품질: 데이터셋의 정확성, 완전성, 일관성 등을 평가합니다. 노이즈가 많거나 결측치가 많은 데이터는 분석의 정확성을 떨어뜨릴 수 있습니다. 도메인 적합성: 데이터가 분석하려는 문제의 도메인에 적합한지 확인합니다. 도메인 지식을
19) Dhaenens, C., & Jourdan, L. (2022). Metaheuristics for data mining: survey and opportunities for big data. Annals of Operations Research, 314, 117-140.- 8 -
활용하여 데이터의 의미와 가치를 평가할 수 있습니다. 윤리 및 프라이버시: 데이터 사용에 대한 윤리적 고려사항과 개인정보 보호법을 준수해야 합니다. 민감한 데이터를 사용할 경우 적절한 익명화 및 보안 조치가 필요합니다. 업데이트 빈도: 최신 데이터가 필요한 경우, 데이터셋이 정기적으로 업데이트되는지 확인합니다. 데이터의 최신성이 분석 결과에 영향을 미칠 수 있습니다. 프로젝트의 목표를 명확히 하여 어떤 질문에 답하고자 하는지를 정의합니다. 이는 데이터 마이닝 기법의 선택과 데이터 요구사항을 결정하는 데 중요한 기초가 됩니다. Malashin et al.은 기후 변수 및 숲 속성 데이터셋을 사용하여 유전 프로그래밍 기반의 예측 모델을 개발함으로써 특정 해충의 발생을 예측한 사례를 보여줍니다.20)
필요한 데이터셋을 찾기 위해 공공 데이터베이스, 기업 내부 데이터, 웹 스크래핑 등 다양한 소스를 탐색합니다. 데이터의 출처와 관련된 법적 및 윤리적 고려 사항을 검토하는 것이 중요합니다. 예를 들어, ONET 데이터베이스는 직업 시장 분석을 위한 중요한 데이터 소스로 활용됩니다.21)
선택한 데이터셋의 품질을 평가합니다. 결측치, 이상치, 데이터의 일관성 및 정확성을 확인하는 과정이 포함됩니다. 데이터의 품질은 결과의 신뢰성에 직접적인 영향을 미칩니다. 특히, 결측치 처리 및 특성 선택은 데이터셋의 품질을 개선하는 데 중요합니다.22)
데이터셋의 크기와 다양성을 고려하여 충분한 샘플 크기가 확보되었는지 확인해야 합니다. 다양한 패턴과 통찰을 발견할 수 있도록 데이터가 충분히 다양해야 합니다. Peng et al.은 데이터셋의 크기가 데이터 마이닝 결과에 미치는 영향을 연구하였습니다.23)
20) Malashin, I. P., Masich, I., Tynchenko, V., Nelyub, V. A., Borodulin, A., Gantimurov, A. P., Shkaberina, G., & Rezova, N. (2024). Forecasting Dendrolimus sibiricus Outbreaks: Data Analysis and Genetic Programming Based Predictive Modeling. Forests.
21) Karakatsanis, I., AlKhader, W., MacCrory, F., Alibasic, A., Omar, M. A., Aung, Z., & Woon, W. (2017). Data mining approach to monitoring the requirements of the job market: A case study. Information Systems, 65, 1-6.
22) Dzulkalnine, M. F., & Sallehuddin, R. (2019). Missing data imputation with fuzzy feature selection for diabetes dataset. SN Applied Sciences, 1.
23) Peng, G., Sun, S., Xu, Z., Du, J., Qin, Y., Sharshir, S., Kandeal, A. W., Kabeel, A., & Yang, N. (2025). The effect of dataset size and the process of big data mining for investigating solarthermal desalination by using machine learning. International Journal of Heat and Mass Transfer.- 9 -
선택한 데이터셋이 전처리 과정을 통해 분석 가능한 형태로 변환하기 용이한지를 평가합니다. 데이터 정제, 변환 및 통합 작업을 포함하며 이는 데이터 분석의 필수적인 단계입니다. 데이터셋의 형식, 저장소, 접근성 등 기술적 요구사항을 검토하여 데이터 마이닝 도구 및 환경과의 호환성을 확인합니다. Jeong et al.은 데이터셋 증류를 통한 훈련 데이터 선택이 기계
학습 워크플로우의 신속한 배포에 어떻게 기여할 수 있는지를 제시합니다.24)
이와 같은 체계적인 과정을 통해 적절한 데이터셋을 선정하면 데이터 마이닝의 효과성을 극대화할 수 있으며, 궁극적으로 보다 신뢰할 수 있는 인사이트와 결론을 도출할 수 있습니다. 데이터셋 선정은 데이터 분석의 첫 단계이며, 이후의 모든 과정에 중요한 영향을 미친다는 점에서 신중하게 접근해야 합니다. 본 연구에서는 [연구에 사용된 데이터셋에 대한 설명, 예: 특정 고객 구매 데이터를 분석]을 사용했습니다. 해당 데이터셋은 [데이터셋 출처 및 설명]을 기반으로 하며, 총 [n]개의 속성과 [m]개의 레코드를 포함하고 있습니다.
3.2 데이터 전처리
데이터 전처리는 분석이나 모델링을 위한 데이터를 준비하는 과정
데이터 수집: 다양한 소스에서 데이터를 수집합니다. 이는 데이터베이스, CSV 파일, 웹 스크래핑 등을 통해 이루어질 수 있습니다. 데이터 정제: 수집된 데이터에서 오류, 중복, 결측치를 처리합니다. 오류 수정: 데이터 입력 오류나 잘못된 값을 확인하고 수정합니다. 중복 제거: 중복된 데이터 레코드를 찾아 제거합니다. 결측치 처리: 결측치를 평균값 대체, 삭제, 예측값 대체 등 다양한 방법으로 처리합니다. 데이터 변환: 데이터를 분석에 적합한 형식으로 변환합니다. 데이터 타입 변환: 필요에 따라 숫자형, 문자형 등 데이터 타입을 변환합니다.
24) Jeong, Y., Hwang, M., & Sung, W. (2022). Training data selection based on dataset distillation for rapid deployment in machine-learning workflows. Multimedia Tools and Applications, 82, 9855-9870.- 10 -
스케일링: 특성의 크기를 일정하게 맞추기 위해 정규화나 표준화를 적용합니다. 인코딩: 범주형 데이터를 수치형으로 변환하기 위해 원-핫 인코딩, 레이블 인코딩 등을 사용합니다. 데이터 통합: 여러 소스에서 얻은 데이터를 하나의 일관된 데이터셋으로 통합합니다. 특성 선택 및 추출: 분석에 유용한 특성을 선택하거나 새로운 특성을 생성합니다. 특성 선택: 분석에 불필요한 특성을 제거하여 모델의 성능을 향상시킵니다. 특성 추출: PCA, LDA 등을 사용하여 새로운 특성을 생성하거나 차원을 축소합니다. 데이터 분할: 데이터를 학습용, 검증용, 테스트용으로 나누어 모델의 성능을 평가할 수 있도록 준비합니다. 데이터 전처리는 데이터 분석과 머신러닝 프로젝트에서 필수적인 과정으로, 원시 데이터를 분석 가능한 형식으로 변환하여 데이터의 품질을 높이고 모델의 성능을 향상시키는 역할을 합니다. 전처리 과정에는 결측치 처리, 이상치 탐지, 데이터 변환(정규화, 표준화 등), 범주형 데이터 인코딩, 그리고 데이터 축소와 같은 다양한 기술들이 포함됩니다. 이러한 과정은 데이터의 일관성과 정확성을 보장하여 분석 결과의 신뢰성을 높이는 데 기여합니다. 최근의 연구들은 데이터 전처리의 새로운 경향과 방법론을 제시하고 있습니다. 예를 들어, Mishra 등은 여러 전처리 기법들을 조합하여 사용하는 방법이 데이터의 품질을 크게 향상시킬 수 있음을 보여주었습니다.25) Wang 등은 생의학 데이터 융합을 위한 데이터 전처리의 발
전을 다루며, 여러 도전과 전망을 제시하였습니다.26) 이는 특히 복잡한 데이터 세트를 다루는 데 있어 중요한 통찰을 제공할 수 있습니다. 또한, 특수한 데이터 세트를 위한 전처리 방법론도 연구되고 있습니다. 예를 들어, Pedroni 등은 EEG 데이터에 대한 표준화된 전처리 방법을 제안하였고,27) Olisah 등은 당뇨병 예측과 진단을 위한 데이터 전처리와 머신러닝의 통합적 접근을 소개하였습니다.28) 이러한 연구들은
25) Mishra, P., Biancolillo, A., Roger, J., Marini, F., & Rutledge, D. (2020). New data preprocessing trends based on ensemble of multiple preprocessing techniques. TrAC Trends in Analytical Chemistry, 132, 116045.
26) Wang, S., Celebi, M. E., Zhang, Y., Yu, X., Lu, S., Yao, X., Zhou, Q., Martinez-Garcia, M., Tian, Y., Górriz, J., & Tyukin, I. (2021). Advances in Data Preprocessing for Biomedical Data Fusion: An Overview of the Methods, Challenges, and Prospects. Inf. Fusion, 76, 376-421.
27) Pedroni, A., Bahreini, A., & Langer, N. (2018). Automagic: Standardized preprocessing of big EEG data. Neuroimage, 200, 460-473.
28) Olisah, C. C., Smith, L. N., & Smith, M. L. (2022). Diabetes mellitus prediction and - 11 -
특정 도메인에 특화된 데이터를 효과적으로 전처리할 수 있는 방법을 제공합니다. 전처리는 시간과 자원을 절약하고, 최종적으로 더 나은 의사 결정을 지원할 수 있는 중요한 단계입니다. 그러므로 프로젝트의 특성과 데이터의 특성에 맞는 전처리 전략을 수립하는 것이 중요합니다. 이를 통해 데이터의 품질을 최적화하고 분석의 정확성을 보장할 수 있습니다. 데이터 마이닝을 수행하기 전에 데이터는 종종 결측값, 이상값, 중복값 등을 포함하고 있기 때문에 이를 처리하는 과정이 중요합니다. 본 연구에서는 다음과 같은 전처리 단계를 거쳤습니다. 결측값 처리: 평균값으로 대체이상값 탐지 및 제거
데이터 표준화 및 정규화
3.3 분석 기법
분석 기법에는 다양한 종류가 있으며, 주로 데이터의 특성과 분석 목표에 따라 선택됩니다. 기술 통계 분석: 데이터의 기본적인 특성을 파악하기 위한 방법으로, 평균, 중앙값, 표준편차 등을 계산하여 데이터의 분포와 경향을 이해합니다. 회귀 분석: 두 개 이상의 변수 간의 관계를 모델링하고 예측하는 데 사용됩니다. 선형 회귀, 다항 회귀, 로지스틱 회귀 등이 포함됩니다. 분류 분석: 데이터를 사전 정의된 범주로 분류하는 방법으로, 의사결정나무, 랜덤 포레스트, 서포트 벡터 머신(SVM) 등이 있습니다. 군집 분석: 데이터 내의 자연스러운 그룹이나 패턴을 찾는 방법으로, k-평균, 계층적 집, DBSCAN 등이 사용됩니다. 차원 축소: 데이터의 차원을 줄여서 시각화나 처리 효율성을 높이는 방법으로, 주성분 분석(PCA), t-SNE 등이 있습니다.
diagnosis from a data preprocessing and machine learning perspective.Computer Methods and Programs in Biomedicine, 220, 106773.- 12 -
시계열 분석: 시간에 따라 변화하는 데이터를 분석하여 추세, 계절성, 예측 등을 수행하는 방법로 ARIMA, SARIMA, LSTM 모델 등이 사용됩니다. 연관 규칙 학습: 데이터셋 내에서 항목 간의 흥미로운 관계를 발견하는 방법으로, 장바구니 분석에 주로 사용되는 Apriori 알고리즘이 있습니다. 통계적 기법은 데이터의 분포와 관계를 이해하는 데 필수적입니다. 대표적인 예로 가설 검정, 회귀 분석, 분산 분석(ANOVA) 등이 있으며, 이러한 기법들은 데이터의 기본적인 특성을 파악하고, 변수 간의 관계를 분석하는 데 사용됩니다. 이러한 기법들은 데이터의 특성과 목표에 맞게 조정되어야 하며, 분석의 신뢰성을 높이는 데 중요한 역할을 합니다. 머신러닝은 데이터의 패턴을 학습하여 예측 모델을 구축하는 데 중점을 둡니다. 지도학습(예:
회귀, 분류), 비지도학습(예: 군집화, 차원 축소), 강화학습 등 다양한 유형이 존재합니다. 데이터 전처리는 머신러닝 알고리즘의 성능에 큰 영향을 미치며, 최근 연구에서는 여러 전처리 기법을 조합하여 사용하는 것이 데이터의 품질을 향상시키는 데 유리하다는 점이 강조되고 있습니다.29)
데이터 시각화는 데이터를 시각적으로 표현하여 패턴과 관계를 직관적으로 이해할 수 있도록 돕습니다. 히스토그램, 산점도, 열지도 등 다양한 시각적 도구를 사용하여 데이터를 분석하고, 결과를 전달하는 데 효과적입니다. 이러한 시각화 기법은 데이터의 복잡성을 줄이고, 분석 결과를 보다 쉽게 이해할 수 있도록 지원합니다. 이러한 분석 기법들은 상호 보완적으로 사용되어 데이터 분석의 정확성과 통찰력을 높이는 데 기여합니다. 각 기법의 선택은 데이터의 특성과 분석 목표에 따라 달라지며, 전처리 과정에서 데이터의 품질을 최적화하는 것이 중요합니다.30) 데이터 전처리와 분석 기법의 적절한 결합은 더 나은 의사 결정을 지원하고, 분석의 정확성을 보장할 수 있습니다. 본 연구에서는 다음과 같은 데이터 마이닝 기법을 적용했습니다
29) Mishra, P., Biancolillo, A., Roger, J., Marini, F., & Rutledge, D. (2020). New data preprocessing trends based on ensemble of multiple preprocessing techniques. TrAC Trends in Analytical Chemistry, 132, 116045.
30) Pedroni, A., Bahreini, A., & Langer, N. (2018). Automagic: Standardized preprocessingof big EEG data. Neuroimage, 200, 460-473.- 13 -
분류 기법: 의사결정나무(Decision Tree), K-최근접 이웃(KNN), 나이브 베이즈(Naive Bayes)의사결정나무는 데이터의 분류 및 회귀에 사용되는 지도 학습 모델입니다. 이 모델은 데이터의 특성을 기반으로 의사결정을 내리기 위한 일련의 규칙을 생성합니다. 의사결정나무는 트리 구조로 이루어져 있으며, 각 내부 노드는 특성에 대한 테스트를 나타내고, 각 가지(branch)는 테스트 결과에 따른 분기를, 각 리프 노드는 최종 예측 또는 결과를 나타냅니다. 직관적 이해 용이성: 트리 구조가 시각적으로 직관적이어서 의사결정 과정을 쉽게 이해할 수 있습니다. 비정규화 데이터 처리: 스케일링이나 정규화 없이도 다양한 데이터 유형을 처리할 수 있습니다. 다양한 문제에 활용 가능: 분류와 회귀 모두에 사용될 수 있으며, 복잡한 데이터 관계를 모델링할 수 있습니다. 해석이 용이하고 결과를 직관적으로 이해할 수 있습니다. 전처리 과정이 적고, 데이터의 특성을 잘 반영합니다. 비선형 관계를 잘 처리할 수 있습니다. 과적합(overfitting)의 위험이 있습니다. 이를 방지하기 위해 가지치기(pruning) 기술이 사용됩니다. 작은 데이터 변화에 민감하여 트리 구조가 불안정할 수 있습니다. 대규모 데이터셋에서는 비효율적일 수 있습니다. 의사결정나무는 의료 진단, 금융 사기 탐지, 고객 이탈 예측, 마케팅 전략 수립 등 다양한 분야에서 활용됩니다. 이를 통해 데이터 기반의 의사결정을 지원하고, 복잡한 데이터 내의 관계를 명확히 설명할 수 있습니다. 의사결정나무(Decision Tree)는 이해하기 쉽고 해석이 용이한 예측 모델로, 데이터 분류와 회귀 문제에 널리 사용됩니다. 이 기법은 데이터의 특성을 기반으로 트리 구조를 형성하고, 각 노드에서 결정 규칙을 통해 데이터를 분할하여 리프 노드에서 최종 예측 결과를 제공합니다. 의사결정나무의 가장 큰 장점은 직관적인 이해와 시각화가 가능하다는 점입니다. 또한, 데이터의 비선형 관계를 잘 처리하고, 전처리 과정이 비교적 단순하다는 점에서 실용적입니다. 그
러나 과적합(overfitting)의 문제가 발생할 수 있어 이를 방지하기 위해 가지치기(pruning) 기법이나 앙상블 기법, 예를 들어 랜덤 포레스트(Random Forest)와 같은 방법을 활용하는 것이 일반적입니다.- 14 -
최근 연구에 따르면, 의사결정나무의 성능을 향상시키기 위한 다양한 접근법이 제안되고 있습니다. 예를 들어, 심층 학습과 결합하여 복잡한 데이터 세트에서 더 나은 예측 성능을 달성하고자 하는 연구가 진행되고 있습니다. Jiang 등은 심층 의사결정나무 전이 부스팅을 통해 복잡한 데이터 세트에서도 효과적인 성능을 보여주었으며,31) Sagi와 Rokach은 의사결정 포레스트를 해석 가능한 트리로 변환하는 방법을 제안하여 설명 가능성을 향상시켰습니다.32)또한, 의사결정나무는 다양한 도메인에서 적용되고 있으며, 각 분야에 맞는 최적화 기법이 연구되고 있습니다. 예를 들어, Liu 등은 신용 점수 평가에 트리 강화 그래디언트 부스팅을 적용하여 개선된 성능을 보고하였으며,33) Marudi 등은 순서형 분류 문제에 적합한 의사결정나무 기반 방법을 개발하였습니다.34)
이처럼 의사결정나무는 지속적인 연구와 발전을 통해 다양한 분야에서 활용 가능성을 확장하고 있으며, 특정한 문제에 대한 맞춤형 해결책을 제공할 수 있는 잠재력을 가지고 있습니다. 이러한 발전은 의사결정나무의 단점을 보완하고, 다양한 데이터 세트와 문제 유형에서의 적용 가능성을 더욱 넓히고 있습니다. K-최근접 이웃(KNN)은 데이터 포인트의 유사성을 기반으로 분류 또는 회귀 분석을 수행하는 지도 학습 알고리즘입니다. 이 알고리즘은 새로운 데이터 포인트의 클래스를 결정하기 위해 가장 가까운 K개의 이웃을 참조합니다. 비모수적 모델: 데이터 분포에 대한 가정이 필요하지 않습니다.
단순함: 구현이 쉽고 직관적입니다. 유사성 기반: 데이터 포인트 간의 거리를 활용하여 의사결정을 합니다. 간단하고 이해하기 쉬움: 알고리즘이 직관적이며, 복잡한 수학적 모델 없이도 사용할 수 있습니다. 다양한 문제에 적용 가능: 분류 및 회귀 문제 모두에 활용할 수 있습니다. 훈련 시간이 짧음: 학습 단계가 거의 없고, 예측 시에만 계산이 필요합니다. 계산 비용이 큼: 대량의 데이터에서 예측 시 많은 계산이 필요합니다. 메모리 소모가 큼: 모든 훈련 데이터를 저장해야 합니다.
31) Jiang, S., Mao, H., Ding, Z., & Fu, Y. (2020). Deep Decision Tree Transfer Boosting.IEEE Transactions on Neural Networks and Learning Systems, 31, 383-395.
32) Sagi, O., & Rokach, L. (2020). Explainable decision forest: Transforming a decisionforest into an interpretable tree. Information Fusion, 61, 124-138.
33) Liu, W., Fan, H., & Xia, M. (2021). Credit scoring based on tree-enhancedgradient boosting decision trees. Expert Systems with Applications, 189, 116034.
34) Marudi, M., Ben-Gal, I., & Singer, G. (2022). A decision tree-based method forordinal classification problems. IISE Transactions, 56, 960-974.- 15 -
특성 스케일의 민감도: 거리 기반이므로 특성의 스케일에 민감하며, 스케일링이 필요할 수 있습니다. KNN은 이미지 분류, 추천 시스템, 패턴 인식 등에서 사용됩니다. 특히, 복잡한 데이터 전처리나 모델 설계가 필요하지 않은 경우에 유용하게 적용됩니다. K 값을 적절히 선택하는 것이 성능에 중요한 영향을 미칩니다. 일반적으로 교차 검증을 통해 최적의 K를 찾습니다. K-최근접 이웃(K-Nearest Neighbors, KNN)은 직관적이고 구현이 간단한 분류 및 회귀 알고리즘으로, 주어진 데이터 포인트의 K개의 최근접 이웃을 기반으로 예측을 수행합니다. 이 알고리즘은 주로 유클리드 거리와 같은 거리 측정을 사용하여 데이터 포인트 간의 유사성을 평가하며, 가장 가까운 K개의 이웃의 레이블을 참고하여 예측 결과를 도출합니다. KNN의 가장 큰 장점은 데이터의 분포를 가정할 필요가 없다는 점과 다양한 데이터 유형에 쉽게 적용될 수 있다는 것입니다. 그러나 계산 비용이 크고, 데이터의 차원이 증가함에 따라 성능이 저하되는 문제, 즉 차원의 저주(curse of dimensionality)가 발생할 수 있습니다. 이를 해결하기 위해 연구자들은 다양한 차원 축소 기법(예: 주성분 분석, PCA)을 사용하거나, 적절한 K값을 선택하는 방법을 연구하고 있습니다. 최근 연구들은 KNN의 성능을 향상시키기 위한 다양한 접근 방법을 제안하고 있습니다. 예를 들어, 거리 측정 방식을 다양화하거나,35) 가중치 기반 KNN을 적용하는 방법이 있으며, 앙상블 기법과의 결합도 시도되고 있습니다.36) 특히, 대규모 데이터셋에서의 효율성을 개선하기 위한 노력도 진행되고 있으며, Spark 기반의 설계나37) 빅데이터를 처리하기 위한 알고리즘이 개발되고 있습니다.38)
KNN은 이미지 인식, 추천 시스템, 텍스트 분류 등 다양한 분야에서 활용되며, 특히 소규모 데이터 세트에서 효과적인 성능을 발휘합니다. 그러나 대규모 데이터셋에서는 계산 효율성을 고려하여 다른 알고리즘과 비교하여 사용해야 합니다. KNN의 지속적인 연구는 이 알고리즘의 유연성과 적용 가능성을 확장하는 데 중요한 역할을 하고 있으며, 특히 비선형 데이터에서의
35) Zhang, S., Li, J., & Li, Y. (2021). Reachable Distance Function for KNNClassification. IEEE Transactions on Knowledge and Data Engineering, 35, 7382-7396.
36) Zhu, X., Ying, C., Wang, J., Li, J., Lai, X., & Wang, G. (2021). Ensemble of ML-KNNfor classification algorithm recommendation. Knowledge-Based Systems, 221, 106933.
37) Maillo, J., Ramírez-Gallego, S., Triguero, I., & Herrera, F. (2017). kNN-IS: An Iterative Spark-based design of the kNearest Neighbors classifier for big data. Knowledge-Based Systems, 117, 3-15.
38) Chatzigeorgakidis, G., Karagiorgou, S., Athanasiou, S., & Skiadopoulos, S. (2018). FML-kNN: scalable machinelearning on Big Data using k-nearest neighbor joins. Journal of Big Data, 5.- 16 -
예측 정확도를 높이는 데 기여하고 있습니다.39)
나이브 베이즈(Naive Bayes)는 확률 이론을 기반으로 한 지도 학습 모델로, 주어진 데이터가 특정 클래스에 속할 확률을 계산하여 분류를 수행합니다. 이 알고리즘은 조건부 독립이라는 가정을 기반으로 하며, 각 특성이 서로 독립적이라고 가정합니다. 확률 기반 모델: 베이즈 정리를 사용하여 클래스 확률을 계산합니다. 조건부 독립 가정: 특성 간의 독립성을 가정하여 계산을 단순화합니다. 빠른 훈련 및 예측: 계산이 간단하고 효율적입니다. 단순하고 빠름: 계산이 단순하여 대량의 데이터도 빠르게 처리할 수 있습니다. 노이즈에 강함: 일부 특성의 노이즈가 예측에 큰 영향을 주지 않습니다. 적은 데이터로도 학습 가능: 적은 훈련 데이터로도 높은 성능을 보일 수 있습니다. 조건부 독립 가정의 한계: 현실에서는 특성 간의 상관관계가 존재할 수 있어, 이 가정이 성능을 저하시킬 수 있습니다. 연속형 데이터 처리: 기본적으로 이산형 데이터를 다루므로, 연속형 데이터는 전처리가 필요합니다. 나이브 베이즈는 텍스트 분류, 스팸 필터링, 감성 분석, 문서 분류 등에서 자주 사용됩니다. 특히, 텍스트 처리에서 매우 효율적이며, 많은 특성을 가진 데이터에서도 빠르고 안정적인 성능을 발휘합니다. 나이브 베이즈의 다양한 변형(예: 가우시안 나이브 베이즈, 베르누이 나이브 베이즈)이 존재하며, 데이터의 특성에 맞춰 선택할 수 있습니다. 나이브 베이즈(Naive Bayes)는 베이즈 정리를 기반으로 한 직관적이고 강력한 분류 알고리즘으로, 주로 텍스트 분류와 스팸 필터링, 의료 진단, 고객 분류 등 다양한 분야에서 널리 사용되고 있습니다. 이 알고리즘은 각 특성이 독립적이라고 가정하며, 이를 통해 클래스의 사전 확률과 특성의 조건부 확률을 결합하여 최종 예측을 수행합니다. 이러한 "나이브"한 가정 덕분에 계산이 용이하고, 대량의 데이터에서도 빠른 학습과 예측을 가능하게 합니다. 나이브 베이즈의 주요 장점은 적은 데이터로도 효과적인 분류 성능을 발휘할 수 있다는 점이며, 특히 고차원의 데이터에서 뛰어난 성능을 보입니다. 그러나 특성 간의 독립성 가정이 현실과 맞지 않는 경우 성능이 저하될 수 있습니다. 이를 보완하기 위해 특성 간의 상관관계를 고려한 다양한 변형 모델들이 제안되고 있습니다. 예를 들어, Xu40)는 텍스트 분류를 위한 베
39) Uddin, S., Haque, I., Lu, H., Moni, M., & Gide, E. (2022). Comparative performance analysis of K-nearest neighbour (KNN) algorithm and its different variants for disease prediction. Scientific Reports, 12.
40) Xu, S. (2018). Bayesian Naïve Bayes classifiers to text classification. Journal of Information Science, 44, 48-59.- 17 -
이시안 나이브 베이즈 분류기를 제안하였고, Chen 등41)은 교통 위험 관리에 개선된 나이브 베이즈 분류 알고리즘을 적용하여 성능을 향상시켰습니다. 특히, 나이브 베이즈는 실시간 애플리케이션이나 초기 프로토타입 단계에서 간단한 구현 덕분에 자주 사용되며, 다양한 연구들이 이를 기반으로 성능 향상을 목표로 하고 있습니다. Ontivero-Ortega 등42)은 빠른 가우시안 나이브 베이즈를 활용한 분류 분석을 제안하였고, Gan 등43)은 텍스트 분류를 위한 히든 나이브 베이즈를 적응시켜 성능을 개선하였습니다. 나이브 베이즈는 그 단순성과 효율성에도 불구하고 여러 분야에서 효과적인 모델로 자리잡고
있으며, 지속적인 연구와 발전을 통해 더욱 다양한 문제에 적용될 수 있는 가능성을 가지고 있습니다. 이러한 발전은 나이브 베이즈의 단점을 보완하고, 복잡한 문제에 대한 적용 가능성을 넓히는 데 기여하고 있습니다.
군집화 기법: K-평균 군집화(K-means Clustering)
K-평균 군집화(K-means Clustering)는 비지도 학습 알고리즘으로, 데이터를 K개의 군집으로 나누고 각 군집의 중심(centroid)을 찾는 방법입니다. 이 알고리즘은 각 데이터 포인트를 가장 가까운 중심에 할당하여 군집을 형성합니다.
비지도 학습: 레이블이 없는 데이터를 군집화합니다. 거리 기반: 유클리드 거리 등을 사용하여 군집의 중심과 데이터 포인트 간의 거리를 계산합니다.
반복적 과정: 초기 중심 설정, 할당 및 업데이트 과정을 반복합니다.
초기 중심 설정: K개의 중심을 임의로 설정합니다.
할당: 각 데이터 포인트를 가장 가까운 중심에 할당하여 군집을 형성합니다.
중심 업데이트: 각 군집의 중심을 새롭게 계산하여 업데이트합니다.
반복: 중심이 더 이상 변하지 않거나 사전 설정된 반복 횟수에 도달할 때까지 2번과 3번 단계를 반복합니다.
41) Chen, H., Hu, S., Hua, R., & Zhao, X. (2021). Improved naive Bayes classification algorithm for traffic riskmanagement. EURASIP Journal on Advances in Signal Processing, 2021.
42) Ontivero-Ortega, M., Lage-Castellanos, A., Valente, G., Goebel, R., & Valdés-Sosa, M. (2017). Fast Gaussian NaïveBayes for searchlight classification analysis. Neuroimage, 163, 471-479.
43) Gan, S., Shao, S., Chen, L., Yu, L., & Jiang, L. (2021). Adapting Hidden Naive Bayesfor Text Classification. Mathematics.- 18 -
단순하고 빠름: 구현이 쉽고 계산이 효율적입니다. 확장성: 대량의 데이터에도 적용 가능합니다.
해석 용이성: 결과가 직관적이어서 해석하기 쉽습니다. 초기 값에 민감: 초기 중심 설정에 따라 결과가 크게 달라질 수 있습니다. 군집 수(K)의 사전 결정 필요: K 값을 미리 정해야 하며, 잘못 설정하면 부적절한 군집이 형성될 수 있습니다. 구형 군집에 적합: 군집의 형태가 구형에 가까울 때 더 잘 작동합니다. K-평균 군집화는 고객 세분화, 이미지 압축, 데이터 전처리 등에서 활용됩니다. 특히, 데이터의 구조적 패턴을 찾거나 시각화할 때 유용합니다. K 값을 결정하기 위해 엘보우 방법(Elbow Method) 등의 기법이 자주 사용됩니다. K-평균은 구현이 간단하고 계산 속도가 빠르기 때문에 대규모 데이터셋에서도 효과적으로 사용할 수 있습니다. 그러나, 초기 중심값 설정에 따라 결과가 달라질 수 있으며 지역 최소값에
수렴할 가능성이 있습니다.44)
최적의 클러스터 수 K를 결정하는 것은 중요합니다. 엘보우 방법이나 실루엣 분석 등의 방법이 널리 사용되며, 이들은 클러스터링 결과의 품질을 평가하는 데 도움을 줍니다.45)
K-평균은 구형의 클러스터에 적합하며, 비구형 데이터에서는 성능이 저하될 수 있습니다. 이를 개선하기 위해 다양한 변형된 알고리즘이 제안되고 있습니다.46)
빅데이터 환경에서의 K-평균 적용을 위해 병렬 및 분산 처리 기법이 개발되었습니다. 이러한 접근법은 데이터의 처리 시간을 단축시키고, 메모리 사용을 최적화합니다.47)
초기 중심값 설정의 랜덤성을 해결하고, 수렴 속도를 높이기 위한 다양한 방법들이 연구되고 있습니다. 예를 들어, K-means 초기화 방법이나 기하학적 개념을 활용한 가속화 기법이 있습니다.48)
44) Sinaga, K. P., & Yang, M. (2020). Unsupervised K-Means Clustering Algorithm. IEEE Access, 8, 80716-80727.
45) Yu, H., Wen, G., Gan, J., Zheng, W., & Lei, C. (2020). Self-paced Learning for Kmeans Clustering Algorithm. Pattern Recognition Letters, 132, 69-75.
46) He, H., He, Y., Wang, F., & Zhu, W. (2022). Improved K‐means algorithm for clustering nonspherical data. Expert Systems, 39.
47) Mussabayev, R., Mladenović, N., Jarboui, B., & Mussabayev, R. (2022). How to Use Kmeans for Big Data Clustering?. Pattern Recognition, 137, 109269.
48) Ismkhan, H., & Izadi, M. (2022). K-means-G*: Accelerating k-means clusteringalgorithm utilizing primitive geometric concepts. Information Sciences, 618, 298-316.- 19 -
K-평균 군집화는 그 단순성과 범용성으로 인해 다양한 분야에서 널리 사용되며, 지속적인 연구와 개선을 통해 그 한계를 극복하고 있습니다. 이러한 연구들은 K-평균의 성능을 높이고, 더 복잡한 데이터 구조에 대한 적응력을 향상시키는 데 기여하고 있습니다.
연관 규칙 분석: Apriori 알고리즘Apriori 알고리즘은 데이터베이스에서 빈번한 항목 집합을 찾고 연관 규칙을 생성하는 데 사용되는 알고리즘입니다. 주로 장바구니 분석과 같은 데이터 마이닝 작업에서 사용됩니다. 빈발 항목 집합 탐색: 데이터에서 빈번하게 발생하는 항목 집합을 찾아냅니다. 연관 규칙 생성: 빈발 항목 집합을 기반으로 항목 간의 연관성을 나타내는 규칙을 생성합니다.
반복적 과정: 점점 더 큰 크기의 항목 집합을 탐색하면서 빈발 항목을 찾아냅니다. 초기화: 각 항목의 빈도를 계산하여 최소 지지도(minimum support) 이상인 항목을 찾습니다. 빈발 항목 집합 생성: 크기가 1인 빈발 항목 집합을 기반으로 점차 크기를 늘려가며 빈발 항목 집합을 생성합니다. 자신감 계산: 각 빈발 항목 집합에 대해 연관 규칙을 생성하고, 최소 신뢰도(minimum confidence)를 만족하는 규칙을 선택합니다. 장바구니 분석: 고객이 함께 구매하는 상품을 식별하여 마케팅 전략 수립에 활용합니다.
추천 시스템: 사용자 행동을 기반으로 제품 추천을 제공합니다.
사기 탐지: 거래 데이터에서 비정상적인 패턴을 식별합니다. Apriori 알고리즘은 대규모 데이터베이스에서 효과적으로 작동하지만, 모든 가능한 항목 조합을 평가해야 하므로 계산 비용이 높을 수 있습니다. 이를 개선하기 위해 FP-Growth 알고리즘과 같은 대안도 존재합니다. 특정 항목 집합이 전체 거래 데이터에서 얼마나 자주 나타나는지를 나타내는 측정값입니다. 지지도는 연관 규칙의 유의미성을 판단하는 기준으로 사용되며, 사용자는 분석의 목적에 따라 최소 지지도를 설정합니다. 두 항목 간의 조건부 확률로 정의되어, 하나의 항목이 발생했을 때 다른 항목이 발생할 확률을 제공합니다. 이는 연관 규칙의 강도를 평가하는 데 사용됩니다. Apriori 알고리즘은 1-항목 집합에서 시작하여, k-항목 집합을 도출하기 위해 반복적으로 후- 20 -
보 집합을 생성하고 필터링하는 방식으로 진행됩니다. 이 과정은 주어진 최소 지지도를 충족하는 최대 크기의 항목 집합을 찾을 때까지 반복됩니다. Apriori는 자주 발생하지 않는 항목 집합을 미리 제거하여 메모리 사용을 최적화합니다. 이를
통해 데이터셋이 커지더라도 효율적인 처리가 가능하도록 설계되었습니다. 데이터셋의 크기가 클 경우 계산 복잡도가 크게 증가할 수 있으며, 희소한 데이터에서는 성능이 저하될 수 있습니다. 이를 해결하기 위해 다양한 변형 알고리즘이 개발되었습니다. 예를 들어, 병렬 처리 및 분산 처리 기술을 활용하여 알고리즘의 성능을 향상시키는 연구가 진행되고 있습니다.49)
Apriori 알고리즘은 시장 바구니 분석, 추천 시스템, 고장 원인 분석 등 다양한 분야에서 활용되고 있으며, 데이터에서 유용한 패턴을 추출하는 데 중요한 역할을 합니다.50) 최근 연구에서는 Apriori 알고리즘의 효율성을 높이기 위해 스파크(Spark) 플랫폼을 활용한 EAFIM(Efficient Apriori-based Frequent Itemset Mining) 알고리즘이 제안되었으며, 이는 대규모 거래 데이터에서 더욱 효과적인 패턴 분석을 가능하게 합니다.51) 이러한 개선들은 Apriori 알고리즘의 실용성을 넓히고 다양한 산업 분야에서의 적용 가능성을 증대시키고 있습니다.
4. 실험 및 결과
4.1 실험 설정
실험은 [데이터셋의 일부 데이터를 훈련 데이터와 테스트 데이터로 나누어] 진행했습니다. 각 기법은 동일한 조건에서 비교되었으며, 모델의 성능은 정확도(Accuracy), 정밀도(Precision), 재현율(Recall), F1 점수 등으로 평가되었습니다.
4.2 결과
49) Kadry, S. (2021). An efficient apriori algorithm for frequent pattern mining using mapreduce in healthcare data. Bulletin of Electrical Engineering and Informatics.
50) Chen, H., Yang, M., & Tang, X. (2024). Association rule mining of aircraft event causes based on the Apriori algorithm. Scientific Reports, 14.
51) Raj, S., Ramesh, D., Sreenu, M., & Sethi, K. K. (2020). EAFIM: efficient apriori-based frequent itemset mining algorithm on Spark for big transactional data. Knowledge and Information Systems, 62, 3565-3583.- 21 -
분류 기법: 의사결정나무는 [정확도/정밀도/재현율 등의 성능]을 기록했습니다. KNN 기법은 [결과]를 보였으며, 나이브 베이즈는 [성능]을 나타냈습니다.
군집화 기법: K-평균 군집화 결과, [군집 결과]가 도출되었습니다. 군집의 분포와 각 군집의 특성에 대한 분석을 통해 [고객 유형]을 정의할 수 있었습니다.
연관 규칙 분석: Apriori 알고리즘을 사용하여 [연관 규칙의 예시]를 도출할 수 있었습니다. 예를 들어, "고객 A가 상품 X를 구매하면 상품 Y를 구매할 확률이 80%"와 같은 규칙을 발견했습니다.
5. 논의
5.1 기법 비교
본 연구에서 사용된 분류, 군집화, 연관 규칙 기법은 각기 다른 유형의 문제를 해결하는 데 유용하다는 점을 알 수 있었습니다. 예를 들어, 분류 기법은 명확한 범주 예측에 적합하고, 군집화 기법은 고객 유형 분석에 유용하며, 연관 규칙 기법은 마케팅 전략을 수립하는 데 효과적입니다.
5.2 연구의 한계
본 연구에서는 데이터셋의 크기나 특정 변수의 제한 등으로 인해 일부 기법의 성능이 최적화되지 않았을 수 있습니다. 또한, 실제 환경에서의 적용 시에는 데이터의 변화에 따라 성능이 달라질 수 있습니다.
6. 결론
본 연구에서는 데이터 마이닝 기법을 활용하여 다양한 데이터를 분석하고, 의미 있는 패턴을 추출하였습니다. 각 기법의 장단점과 적용 가능성을 확인할 수 있었으며, 실제 문제 해결에 어떻게 활용할 수 있을지에 대한 통찰을 얻을 수 있었습니다. 향후 연구에서는 더 큰 데이터셋과 다양한 알고리즘을 적용하여 성능을 개선하고, 다양한 실제 사례에 적용할 수 있는 방법을 모색할 필요가 있습니다.- 22 -
참고 문헌
Alinejad-Rokny, H., Sadroddiny, E., & Scaria, V. (2018). Machine learning and data mining techniques for medical complex data analysis. Neurocomputing, 276, 1.Alguliyev, R., Aliguliyev, R., & Sukhostat, L. (2021). Parallel batch k-means for Big data clustering. Computers and Industrial Engineering, 152, 107023.
Chen, H., Hu, S., Hua, R., & Zhao, X. (2021). Improved naive Bayes classification algorithm for traffic risk management. EURASIP Journal on Advances in Signal Processing, 2021.
Chen, H., Yang, M., & Tang, X. (2024). Association rule mining of aircraftevent causes based on the Apriori algorithm. Scientific Reports, 14.
Chatzigeorgakidis, G., Karagiorgou, S., Athanasiou, S., & Skiadopoulos, S. (2018). FML-kNN: scalable machine learning on Big Data using k-nearest neighbor joins. Journal of Big Data, 5.
Deng, Z., Zhu, X., Cheng, D., Zong, M., & Zhang, S. (2016). Efficient kNN classification algorithm for big data.Neurocomputing, 195, 143-148.
Dhaenens, C., & Jourdan, L. (2022). Metaheuristics for data mining: surveyand opportunities for big data. Annals of Operations Research, 314, 117-140.
Dogan, A., & Birant, D. (2021). Machine learning and data miningin manufacturing. Expert Systems with Applications, 166, 114060.
Dzulkalnine, M. F., & Sallehuddin, R. (2019). Missing data imputation withfuzzy feature selection for diabetes dataset. SN Applied Sciences, 1.
Fischer, C., Pardos, Z., Baker, R., Williams, J., Smyth, P., Yu, R., Slater, S., Baker, R. B., & Warschauer, M. (2020). Mining Big Data in Education: Affordances and Challenges. Review of Research in Education, 44, 130-160.
Gan, S., Shao, S., Chen, L., Yu, L., & Jiang, L. (2021). Adapting HiddenNaive Bayes for Text Classification. Mathematics, None.
He, H., He, Y., Wang, F., & Zhu, W. (2022). Improved K‐means algorithm for clustering nonspherical data. Expert Systems, 39.
JayasriN., P., & Aruna, R. (2021). Big data analytics in health care by data mining and classification techniques. ICT Express, 8, 250-257.
Jeong, Y., Hwang, M., & Sung, W. (2022). Training data selection based on dataset distillation for rapid deployment in machine-learning workflows. Multimedia Tools and Applications, 82, 9855-9870.- 23 -
Jiang, S., Mao, H., Ding, Z., & Fu, Y. (2020). Deep Decision Tree TransferBoosting. IEEE Transactions on Neural Networks and Learning Systems, 31, 383-395.
Kadry, S. (2021). An efficient apriori algorithm for frequent pattern mining using mapreduce in healthcare data. Bulletin of Electrical Engineering and Informatics, None.
Karakatsanis, I., AlKhader, W., MacCrory, F., Alibasic, A., Omar, M. A., Aung, Z., & Woon, W. (2017). Data mining approach to monitoring the requirements of the job market: A case study. Information Systems, 65, 1-6.
Liu, W., Fan, H., & Xia, M. (2021). Credit scoring based on tree-enhanced gradient boosting decision trees. Expert Systems with Applications, 189, 116034.
Lipovetsky, S. (2022). Statistical and Machine-Learning Data Mining: Techniquesfor Better Predictive Modeling and Analysis of Big Data. Technometrics, 64, 145-148.
Maillo, J., Ramírez-Gallego, S., Triguero, I., & Herrera, F. (2017). kNN-IS: An Iterative Spark-based design of the k-Nearest Neighbors classifier for big data. Knowledge-Based Systems, 117, 3-15.
Malashin, I. P., Masich, I., Tynchenko, V., Nelyub, V. A., Borodulin, A., Gantimurov, A. P., Shkaberina, G., & Rezova, N. (2024). Forecasting Dendrolimus sibiricus Outbreaks: Data Analysis and Genetic Programming-Based Predictive Modeling. Forests, None.
Mao, Y., Gan, D., Mwakapesa, D. S., Nanehkaran, Y. A., Tao, T., & Huang, X. (2021). A MapReduce-based K-means clustering algorithm. Journal of Supercomputing, 78, 5181-5202.
Metz, M., Lesnoff, M., Abdelghafour, F., Akbarinia, R., Masseglia, F., & Roger, J. (2020). A “big-data” algorithm for KNN-PLS. Chemometrics and Intelligent Laboratory Systems, None.
Mishra, P., Biancolillo, A., Roger, J., Marini, F., & Rutledge, D. (2020). New data preprocessing trends based on ensemble of multiple preprocessing techniques. TrAC - Trends in Analytical Chemistry, 132, 116045.
Moshkov, M., Zielosko, B., & Tetteh, E. T. (2022). Selected Data Mining Tools for Data Analysis in Distributed Environment. Entropy, 24.
Mussabayev, R., Mladenović, N., Jarboui, B., & Mussabayev, R. (2022). How to Use Kmeans for Big Data Clustering?. Pattern Recognition, 137, 109269.
Olisah, C. C., Smith, L. N., & Smith, M. L. (2022). Diabetes mellitus prediction and diagnosis from a data preprocessing and machine learning perspective. Computer - 24 -Methods and Programs in Biomedicine, 220, 106773.
Oatley, G. (2021). Themes in data mining, big data, and crime analytics.Wiley Interdisciplinary Reviews: Data Mining and Knowledge Discovery, 12.
Ontivero-Ortega, M., Lage-Castellanos, A., Valente, G., Goebel, R., & Valdés-Sosa, M. (2017). Fast Gaussian Naïve Bayes for searchlight classification analysis. Neuroimage, 163, 471-479.
Pedroni, A., Bahreini, A., & Langer, N. (2018). Automagic:Standardized preprocessing of big EEG data. Neuroimage, 200, 460-473.
Peng, F., Sun, Y., Chen, Z., & Gao, J. (2023). An Improved Apriori Algorithm for Association Rule Mining in Employability Analysis. Tehnicki Vjesnik - Technical Gazette, None.
Peng, G., Sun, S., Xu, Z., Du, J., Qin, Y., Sharshir, S., Kandeal, A. W., Kabeel, A., & Yang, N. (2025). The effect of dataset size and the process of big data mining for investigating solar-thermal desalination by using machine learning. International Journal of Heat and Mass Transfer, None.
Raj, S., Ramesh, D., Sreenu, M., & Sethi, K. K. (2020). EAFIM: efficient apriori-based frequent itemset mining algorithm on Spark for big transactional data. Knowledge and Information Systems, 62, 3565-3583.
Ratner, B. (2021). Statistical and Machine-Learning Data Mining: Techniques for Better Predictive Modelling and Analysis of Big Data. Technometrics, 63, 280-280.Sagi, O., & Rokach, L. (2020). Explainable decision forest: Transforming a decision forest into an interpretable tree. Information Fusion, 61, 124-138.
Sharma, M., Chaudhary, V., Sharma, P., & Bhatia, R. S. (2020). IntelligentData Analysis for Medical Applications. Intelligent Data Analysis, None.
Sinaga, K. P., & Yang, M. (2020). Unsupervised K-Means Clustering Algorithm. IEEE Access, 8, 80716-80727.
Uddin, S., Haque, I., Lu, H., Moni, M., & Gide, E. (2022). Comparative performance analysis of K-nearest neighbour (KNN) algorithm and its different variants for disease prediction. Scientific Reports, 12.
Vargas, V. W. d., Aranda, J. A. S., Costa, R. d. S., Pereira, P. R. d. S., & Barbosa, J. L. V. (2022). Imbalanced data preprocessing techniques for machine learning:a systematic mapping study. Knowledge and Information Systems, 65, 31-57.
Wang, H., & Gao, Y. (2021). Research on parallelization of Apriori algorithmin association rule mining. Procedia Computer Science, 183, 641-647.- 25 -
Wang, S., Celebi, M. E., Zhang, Y., Yu, X., Lu, S., Yao, X., Zhou, Q., Martinez-Garcia, M., Tian, Y., Górriz, J., & Tyukin, I. (2021). Advances in Data Preprocessing for Biomedical Data Fusion: An Overview of the Methods,Challenges, and Prospects. Inf. Fusion, 76, 376-421.
Wu, X., Zhu, X., Wu, G., & Ding, W. (2016). Data mining with big data. IEEE Transactions on Knowledge and Data Engineering, 26, 97-107.Xu, S. (2018). Bayesian Naïve Bayes classifiers to text classification. Journal of Information Science, 44, 48-59.
Yu, H., Wen, G., Gan, J., Zheng, W., & Lei, C. (2020). Self-paced Learning for Kmeans Clustering Algorithm. Pattern Recognition Letters, 132, 69-75.
Zhang, S., Li, J., & Li, Y. (2021). Reachable Distance Function for KNN Classification. IEEE Transactions on Knowledge and Data Engineering, 35, 7382-7396.
Zhang, S., Li, X., Zong, M., Zhu, X., & Wang, R. (2018). Efficient kNN Classification With Different Numbers of Nearest Neighbors. IEEE Transactions on Neural Networks and Learning Systems, 29, 1774-1785.
Zheng, Y., Chen, P., Chen, B., Wei, D., & Wang, M. (2021). Application of Apriori Improvement Algorithm in Asthma Case Data Mining. Journal of Healthcare Engineering, 2021.
Zhu, X., Ying, C., Wang, J., Li, J., Lai, X., & Wang, G. (2021). Ensemble of ML-KNN for classification algorithm recommendation. Knowledge-Based Systems, 221, 106933.
'정기 간행물' 카테고리의 다른 글
| 인공지능 발전 방향에 대한 심층 분석: 기술적, 윤리적, 사회적 측면 (0) | 2025.01.17 |
|---|---|
| 양평군 인공지능(AI) 활용 방안 연구보고서 (0) | 2025.01.17 |
| 연구 보고서: 미래 AI 시대 대비 - 경제, 산업, 사회 변화 분석 및 정책 대응 방안 (0) | 2025.01.17 |