PAILAB KEM KIM

1. KEM KIM 분석 과정

1. 데이터 로딩

분석의 첫 단계로, CSV 파일에서 텍스트 데이터를 불러옵니다. 이 데이터는 데이터의 텍스트와 각 문서의 날짜 정보로 구성됩니다.

2. 데이터 전처리

불러온 데이터를 분석에 적합한 형태로 변환하고, 그룹화하는 과정입니다. 이 단계에서는 다음과 같은 작업이 이루어집니다:

날짜 변환: 데이터의 날짜 정보를 표준화된 형식(예: YYYY-MM-DD)으로 변환합니다.
기간 그룹화: 데이터를 사용자가 지정한 기간(예: 월, 분기, 연도)으로 그룹화합니다. 예를 들어, 연도별로 데이터를 그룹화하면, 각 연도별로 키워드 분석을 수행할 수 있습니다.

3. 키워드 추출

텍스트 데이터에서 빈도가 높은 단어들을 추출하여 키워드로 지정합니다. 이 과정에서 다음 작업이 포함됩니다:

빈도 계산: 각 기간마다 텍스트 데이터에서 자주 등장하는 단어들의 빈도를 계산합니다.

단어 빈도(기간) = 해당 기간에 등장한 특정 단어의 총 횟수

공통 키워드 추출: 모든 기간에 걸쳐 공통으로 등장하는 상위 빈도 단어들을 분석 대상으로 선택합니다. 상위 단어 개수는 KEM KIM 실행 시 "상위 단어 개수"로 조정할 수 있습니다

4. 분석

각 기간별로 키워드의 중요성을 분석합니다. 주요 분석 단계는 다음과 같습니다:

TF 계산: 각 기간마다 키워드의 등장 횟수를 계산합니다. 이 값은 TF (Term Frequency)로 정의되며, 특정 기간에 해당 단어가 얼마나 자주 등장했는지를 나타냅니다.
DF 계산: 키워드가 등장한 문서의 수를 계산하여 DF (Document Frequency)로 정의합니다. 이 값은 해당 기간 동안 얼마나 많은 문서에서 해당 키워드가 언급되었는지를 보여줍니다.
DOV 계산: 각 기간마다 키워드의 시인성을 계산합니다. 이 값은 미래 신호 감지를 위한 이론적 공식으로, DOV (Degree of Visibility)로 정의되며, 특정 기간에 해당 단어의 시인성을 나타냅니다. 수식은 다음과 같습니다

DoV = (TF / 전체 문서 수) × (1 - 가중치 × 시간 지수)

DOD 계산: 각 기간마다 키워드의 등장 횟수를 계산합니다. 이 값은 미래 신호 감지를 위한 이론적 공식으로, DOD (Degree of Diffusion)로 정의되며, 특정 기간에 해당 단어의 확산성을 나타냅니다.

DoD = (DF / 전체 문서 수) × (1 - 가중치 × 시간 지수)

증가율 계산: 키워드의 시간에 따른 DOV, DOD 증가율을 계산합니다. 증가율은 CAGR (Compound Annual Growth Rate) 공식을 사용하여 계산됩니다.

5. 시각화 및 데이터 저장

분석된 데이터를 그래프로 시각화하고, 결과를 다양한 형식으로 저장합니다. 주요 단계는 다음과 같습니다:

그래프 생성:그래프는 KEM과 KIM 두 가지 형태로 생성됩니다:

KEM (Keyword Emergence Map): 좌표의 X값은 두 Period의 TF 평균, Y축은 두 Period 간의 DOV 증가율을 나타냅니다
KIM (Keyword Issue Map): 좌표의 X값은 두 Period의 DF 평균, Y축은 두 Period 간의 DOD 증가율을 나타냅니다.

Signal 분석:KEM, KIM 그래프 내부의 사분면을 기준으로 키워드의 중요도에 따라 네 가지 유형으로 분류합니다:

강한 신호(Strong Signal): 높은 단어 빈도와 높은 증가율을 가진 키워드입니다.
약한 신호(Weak Signal): 낮은 단어 빈도와 높은 증가율을 가진 키워드입니다.
잠재 신호(Latent Signal): 낮은 단어 빈도와 낮은 증가율을 가진 키워드입니다.
잘 알려진 신호(Well-Known Signal): 높은 단어 빈도와 낮은 증가율을 가진 키워드입니다.

결과 저장: 단어 빈도, 문서 빈도, DoV, DoD 등 분석 결과를 CSV 파일로 저장합니다. 또한, 분석 결과를 시각화한 그래프를 PNG 파일로 저장합니다.

2. MANAGER KEM KIM 연산 절차

1. 추적 데이터 생성

전체 KEM KIM 분석 기간에 대해서 미시적 분석을 진행합니다. 예를 들어 2010~2024년 기간의 KEM KIM 분석 시, (2010~2011), (2011~2012), ... , (2023~2024)의 KEM KIM 분석을 통해 키워드별로 기간을 따라 신호 변화를 추적합니다. 이 과정은 각 키워드의 시계열적 시그널 변화를 파악하는 데 중점을 둡니다:

DoV/DOD, Signal 추적: 각 기간 동안 키워드의 DoV 및 DoD, Signal을 추적하여, 키워드가 시간에 따라 어떻게 변화했는지를 분석합니다.
신호 변화 기록: 각 키워드의 Signal 변화를 기록하고, 이 데이터를 CSV 파일, 그래프, 애니메이션으로 저장합니다

2. 시그널 필터링 및 좌표 데이터 업데이트

추적된 데이터에서 시계 방향으로 Signal 이동이 일어나지 않은 키워드를 걸러내고, 해당 키워드 제외 사전에 추가합니다:

시그널 필터링: 각각의 키워드에 대해서, Period별 Signal 변화를 추적하고, Signal 이동이 시계 방향으로 진행되지 않은 경우, 해당 키워드를 필터링합니다.
좌표 데이터 업데이트: 필터링된 키워드 사전을 최종 KEM KIM 연산에 반영합니다. 최종 KEM KIM 연산에는 처음 Period, 끝 Period의 데이터가 사용되며, 키워드 필터링으로 인해 불필요한 데이터가 제거되고, 분석의 정확성이 높아집니다.
최종 좌표 데이터 저장: 필터링된 좌표 데이터를 CSV 파일로 저장하여, 최종 분석 결과에 반영됩니다.

3. 최종 결과물 생성 및 저장

최종적으로 필터링된 데이터를 기반으로 KEM KIM 분석 결과를 생성하고, 결과를 저장합니다:

1. 최상위 폴더: kemkim_folder_path

최종 분석 결과가 저장되는 최상위 폴더로, 폴더명은 분석 대상 CSV 파일 이름과 분석 기간, 분석 시간에 기반하여 생성됩니다.

2. Data 폴더

주기별로 계산된 TF, DF, DoV, DoD 데이터를 저장합니다.

TF/YYYY_TF.csv: 각 기간에 대해 키워드의 단어 빈도(Term Frequency) 데이터가 저장됩니다.
DF/YYYY_DF.csv: 각 기간에 대해 키워드의 문서 빈도(Document Frequency) 데이터가 저장됩니다.
DoV/YYYY_DoV.csv: 각 기간에 대해 키워드의 DoV(Time-Weighted 증가율) 데이터가 저장됩니다.
DoD/YYYY_DoD.csv: 각 기간에 대해 키워드의 DoD(Time-Weighted 증가율) 데이터가 저장됩니다.

3. Result 폴더

최종 분석 결과와 시각화 자료를 저장합니다.

Graph: 최종 분석 결과를 바탕으로 생성된 그래프 이미지 파일이 저장됩니다.
Signal: 최종 Signal 분석 결과가 CSV 파일로 저장됩니다.

4. Trace 폴더

추적 분석을 위한 중간 결과와 최종 결과를 저장합니다.

Trace_Result: 각 기간별로 Signal 분석 결과와 그래프 이미지 파일이 저장됩니다.
Trace_Data: 추적 분석을 위해 사용된 DoV 및 DoD 데이터가 저장됩니다.

DoV: 각 기간별로 키워드의 DoV 데이터가 저장됩니다.
DoD: 각 기간별로 키워드의 DoD 데이터가 저장됩니다.

중요 사항

데이터 양: 데이터의 양(Period의 수)이 많을 경우, 분석 시간이 길어질 수 있습니다. 이 과정에서 프로그램이 응답하지 않는 것처럼 보일 수 있으나, 이는 정상적인 동작입니다.

제외 단어: 분석에서 제외할 단어들을 지정할 수 있으며, 이들은 필터링된 단어와 함께filtered_words.csv 파일에 기록됩니다. 이는 분석의 정확성을 높이기 위한 과정입니다.

결과 해석: 최종 결과는 키워드의 등장 빈도와 시간에 따른 중요성 변화를 나타냅니다. 이를 통해 특정 키워드가 특정 기간에 급격히 Signal 중요도가 높아졌다면, 해당 기간에 관련된 중요한 사건이 있었음을 추정할 수 있습니다.