[TIL] 내일배움캠프 AI 9기 - 9회

🐶 학습 범위

• 강좌:  바닥부터 시작하는 머신러닝 1~2 주차

 

🐶 공부 내용

✨ 캐글(Kaggle)

🚩 내용
 1. 데이터 과학 및 머신러닝 경진대회 플랫폼
 2. 데이터 사이언티스트, 머신러닝 엔지니어들이 다양한 문제를 해결하고 데이터를 분석
 3. 모델을 개발하는데 필요한 데이터셋과 도구를 제공
 
🚩 사용법
    ✔️ 1. kaggle 설치
    pip install kaggle
    
    ✔️ 2. 데이터 다운로드
    kaggle datasets download -d <dataset-identifier>
    
    ✔️ 3. 데이터셋 불러오기
    import pandas as pd
     
    df = pd.read_csv('data.csv')
    df.head(5)

1 . 프로필 클릭 → API 항목 'Create New Token' 클릭 → kaggle.json 다운로드

2. C:\Users\{User}\.kaggle 폴더 생성 및 넣어주기

 

✨ DataFrame과 기본정보 확인

# 데이터 프레임의 크기 (행, 열) 확인
df.shape

# 데이터 프레임의 컬럼명 확인
# 컬럼명 없이 데이터만 존재하는 경우도 있어서 늘 작동하지는 않음
df.columns

# 데이터 프레임의 데이터 타입 확인
df.dtypes

# 데이터 프레임의 요약 통계량 확인
df.describe()

# 데이터 프레임의 정보 확인 (null 값, 데이터 타입 등)
df.info()

 

✨ 데이터 전처리

🚩 개념
 - 데이터 분석 및 머신러닝 모델링을 위한 데이터를 준비하는 과정
 - 데이터의 품질이 높아지고, 분석결과의 신뢰성이 올라감
 
🚩 전처리 방법
 1. 결측치 처리 (Handling Missing Data)
  - 결측치는 데이터셋에 누락된 값을 의미
  ✔️ 기능
  1) 삭제: 결측치가 있는 행이나 열을 삭제, 데이터 손실 발생 가능
  2) 대체: 평균, 중앙값, 최빈값 등으로 결측치를 대체
  3) 예측: 다른 특성을 사용하여 결측치를 예측
  
 2. 이상치 처리 (Handling Outliers)
  - 이상치는 데이터에서 비정상적으로 크거나 작은 값을 의미
  ✔️ 기능
  1) 제거: 이상치를 데이터셋에서 제거
  2) 변환: 이상치를 다른 값으로 변환
  3) IQR 방법: IQR(Interquartile Range)을 사용하여 이상치를 탐지하고 처리
  
 3. 데이터 정규화 (Normalization)
  - 정규화는 데이터를 일정한 범위로 스케일링하는 과정
  - 일반적으로 [0, 1] 범위로 변환
 
 4. 데이터 표준화 (Standardization)
  - 표준화는 데이터를 평균 0, 분산 1로 변환하는 과정
  
 5. 특성 공학 (Feature Engineering)
  - 특성 공학은 데이터로부터 새로운 유용한 특성을 생성하는 과정
  ✔️ 기능
  1) 특성 생성: 기존 데이터를 기반으로 새로운 특성을 생성
  2) 특성 선택: 모델 성능에 중요한 특성을 선택하고, 중요하지 않은 특성을 제거
 
 6. 데이터 인코딩 (Data Encoding)
  - 비정형 데이터를 모델이 이해할 수 있는 형태로 변환
  ✔️ 기능
  1) 레이블 인코딩 (Label Encoding): 범주형 데이터를 숫자로 변환
  2) 원-핫 인코딩 (One-Hot Encoding): 범주형 데이터를 이진 벡터로 변환
  
 7. 데이터 분할 (Data Splitting)
  - 데이터를 학습용(train), 검증용(validation), 테스트용(test)으로 분할
  - 이를 통해 모델의 일반화 성능을 평가
  ✔️ 기능
  1) 학습 데이터 (Training Data): 모델 학습에 사용되는 데이터
  2) 검증 데이터 (Validation Data): 모델 튜닝 및 성능 검증에 사용되는 데이터
  3) - **테스트 데이터 (Test Data):** 최종 모델 평가에 사용되는 데이터

 

 

🐶 느낀점

1. 머신러닝 강좌를 시작했는데 뭔가, 몰아치는 이느낌.. 
2. 오늘 새로운 조를 만났는데, 다들 좋은 분들 ㅎ
3. 개인과제 해설 강좌가 있었는데.. 별로..
4. 몸 관리도 잘하면서 가보자구요..