[TIL] 내일배움캠프 AI 9기 - 13회

🐶 학습 범위

• 머신러닝 개인공부
• 머신러닝 특강

 

🐶 공부 내용

✨ 머신러닝

🚩 개념
 > 스케일(Scale)이 다르다? 
  - 특성 간의 값의 범위가 다른 경우 ex) 길이는 10~40, 높이는 100~1000
  - 이런 경우, 근접 데이터 파악 등에서 문제가 발생할 수 있음
  - 정규화 (범위 값을 동일하게 맞춰주는 작업)이 필요함

 > 데이터를 표현하는 기준이 다르면 알고리즘이 올바르게 예측할 수 없음
  - 거리 기반인 경우 특히 그렇다
  - 여기에는 k-최근접 이웃 모델도 포함
  - 제대로 사용하기 위해서는 특성값을 일정한 기준으로 맞춰 주어야 함
  - 이런 작업을 데이터 전처리(data preprocessing)라고 함

🚩 용어
 ✨ 분산(Variance)
  - 데이터가 평균으로부터 얼마나 퍼져 있는지를 나타내는 통계 지표
  - 데이터 값이 평균에서 얼마나 떨어져 있는지를 제곱하여 평균을 구한 값
  - 분산이 크면 데이터가 넓게 퍼져 있고, 분산이 작으면 데이터가 평균에 가까이 모여 있음을 의미
 
  ✔️ 분산의 특징
   1. 값의 단위
    - 데이터의 단위를 제곱한 단위를 가짐 (예: cm², kg² 등)
   2. 분산이 0인 경우
    - 모든 데이터 값이 동일
   3. 분산이 클수록
    - 데이터 값들이 평균으로부터 더 넓게 퍼져 있음    

  ✔️ 분산의 활용
   1. 데이터 분석
    - 데이터의 분포와 퍼짐 정도를 파악
   2. 머신러닝
    - 특성(feature) 간 중요도 비교
    - 분산이 너무 큰 경우 스케일링 필요
   3. 금융
    - 투자 수익률의 변동성 분석    

 ✨ 스케일(Scale) :: 데이터의 특성(Feature) 범위
 ✨ 스케일링(Scaling)
  - 데이터의 특성(Feature) 범위를 조정하는 작업
  - 머신러닝 모델의 성능과 학습 안정성을 높이는 데 중요
 
  ✔️ 스케일링 이유
   1. 특성 간 크기 차이 조정
    - 서로 다른 단위나 범위를 가진 데이터 간 균형 유지
   2. 거리 기반 알고리즘
    - k-NN, SVM, K-means 등의 모델은 데이터의 크기에 영향을 받음
   3. 경사하강법 기반 모델
    - 스케일 차이가 크면 학습이 느려짐

  ✔️ 주요 스케일링 방법
   1. 표준화(Standardization)
    - 평균을 0, 표준편차를 1로 맞춤. 정규분포에 적합
   2. 정규화(Min-Max)
    - 값을 0~1 범위로 조정. 데이터가 고르게 분포된 경우 적합
   3. 로버스트 스케일링
    - 중앙값(median)과 IQR(사분위 범위)을 사용. 이상치(outlier)에 민감하지 않음
   4. 정규화(Normalization)
    - 개별 데이터 샘플의 벡터 크기를 1로 조정. 거리 기반 알고리즘(k-NN, SVM)에 적합
   5. 로그 스케일링
    - 값의 범위가 넓거나 한쪽으로 치우친 경우 사용

 ✨ 데이터 전처리(data preprocessing)
  - 데이터 분석이나 머신러닝 모델을 적용하기 전에, 데이터를 정리하고 변환하는 과정
  - 데이터의 품질을 높이고, 모델의 성능과 정확도를 향상시키는 데 목적

  ✔️ 데이터 전처리 이유
   1. 결측값 및 이상치 처리
    - 데이터의 오류를 제거해 분석의 정확도를 높임
   2. 특성 간 크기 차이 조정
    - 모델 학습 과정이 효율적이고 안정적으로 진행되도록 도움
   3. 모델 성능 향상
    - 전처리를 통해 데이터 품질을 높이면 모델의 예측 성능도 개선됨

  ✔️ 주요 전처리 작업
   1. 결측값 처리
    - 데이터에 **비어 있는 값(NaN)**이 있을 경우 이를 채우거나 제거
   2. 스케일링(Scaling)
    - 각 특성의 크기 차이를 줄여 모델 학습을 안정화
    - 예: 데이터를 0~1 범위로 변환하거나, 평균 0, 표준편차 1로 변환
   3. 데이터 인코딩
    - 문자열 데이터를 숫자로 변환
   4. 이상치 처리
    - 비정상적인 값(Outliers)을 제거하거나 수정
   5. 데이터 정규화
    - 데이터를 일정한 범위로 조정해 균형을 맞춤

 

import matplotlib.pyplot as plt                         # 맷플롯립
import numpy as np                                      # 넘파이
from sklearn.model_selection import train_test_split    # 테스트 유틸리티 (훈련세트, 테스트세트 구성)
from sklearn.neighbors import KNeighborsClassifier
import matplotlib.pyplot as plt

# 데이터가 클 수로 파이썬 리스트는 비효율적 => 넘파일 배열 사용
fish_data = np.column_stack((fish_length, fish_weight))
fish_target = np.concatenate((np.ones(35), np.zeros(14)))

# train_test_split() 으로 훈련세트와 테스트세트 생성
train_input, test_input, train_target, test_target = train_test_split(fish_data, fish_target, stratify=fish_target, random_state=42)

# 학습
kn = KNeighborsClassifier()
kn.fit(train_input, train_target)
kn.score(test_input, test_target)

kn.predict([[25, 150]])

# 시각화
plt.scatter(train_input[:,0], train_input[:,1])
plt.scatter(25, 150, marker='^')
plt.xlabel('length')
plt.ylabel('weight')
plt.show()

 

 

🐶 느낀점

1. 해도 해도 끝이 없다.
2. 12시간이 짧고도 길다 였는데 아니다 짧다.
3. 컨디션 관리를 잘하자