[Python]_ 한글의 유니코드 표현 방식 문제 해결하기_ 파일 분석 실패 원인

 

 

rules.txt에 적힌 규칙에 맞춰 파일명을 확인한 뒤
어느 폴더로 배치할 지 알려주는 코드를 작성했다.
그런데 파일을 규칙에 맞게 분리하지 못했다.
왜 그런걸까?

 

 

1. 문제

• rules.txt
  제목을 보고 각 폴더로 분류하는 작업을 했다. 그리고 그 규칙은 아래와 같다.

school: 정보처리기사, 서술형, 기사
study: 스프링, 강의, 공부, 기본편
project: project, api, test, lotto

오른쪽에 적은 단어가 있으면 왼쪽 폴더로 이동하는 방식이다.

 

 

• 결과화면

파일명에 스프링이 적혀있는데, archive(보관함) 폴더를 추천한다고 말한다. 쭉 보면 [태그]만 정확하게 분류하고 나머지는 rules.txt로 분류되지 않았다고 한다. 왜 그런걸까?

 

 

 

---

 

 

 

 

2. 원인 분석

• 파이썬이 텍스트를 처리할 때, 눈에 보이는 글자는 같아도 컴퓨터 내부의 유니코드 값은 다를 수 있다.
• 그래서 제목에 스프링이 적혀있어도, 파이썬이 이를 구별해내지 못했던 것으로 추측한다.
• 유니코드는 두가지의 표현 방식을 가지고 있다.
  - NFC (완성형) : '가'를 하나의 완성된 글자로 처리한다.
  - NFD (분리형) : '가'를 'ㄱ'+'ㅏ'와 같은 자음과 모음으로 분리해서 처리한다. 
• rules.txt는 NFC 상태로 저장되어 있을 확률이 높다.
• 하지만 파이썬이 파일 시스템을 읽어온 파일명은 NFD 형태로 읽힌 것 같다. 

 

 

 

---

 

 

 

3. 코드 수정

• classifier.py
  unicodedata를 추가한다.

import unicodedata

def normalize_text(text):
    """
    한글 문자열 비교를 위해 문자열 형태를 통일하는 함수

    macOS에서는 파일명의 한글이 자모 분리된 형태로 들어올 수 있다.
    예:
    스프링
    스프링

    사람이 보기에는 같지만 컴퓨터는 다르게 볼 수 있으므로,
    NFC 형태로 통일한 뒤 소문자로 바꿔 비교한다.
    """
    return unicodedata.normalize("NFC", text).lower()

def classify_by_rules(file_path, rules, destination_folder_names):
    """
    rules.txt 규칙을 보고 이동할 폴더를 추천하는 함수

    조건:
    1. 파일명 안에 rules.txt의 키워드가 포함되어 있어야 한다.
    2. 규칙의 폴더 이름이 실제 이동 목적지 폴더에 존재해야 한다.
    """
    filename = file_path.name

    # macOS 한글 파일명 비교를 위해 정규화한다.
    normalized_filename = normalize_text(filename)

    for folder_name, keywords in rules.items():
        # 실제 폴더가 없는 규칙은 사용하지 않는다.
        if folder_name not in destination_folder_names:
            continue

        for keyword in keywords:
            normalized_keyword = normalize_text(keyword)

            if normalized_keyword in normalized_filename:
                return {
                    "filename": filename,
                    "targetFolder": folder_name,
                    "reason": f"파일명에 rules.txt 키워드 '{keyword}'가 포함되어 있습니다.",
                    "source": "RULES_TXT",
                }

    return None

 

 

• 다시 실행
  이젠 잘 분류한다!