[TIL] 내일배움캠프 AI 9기 - 8회

🐶 학습 범위

• 강좌: 인공지능을 위한 파이썬 라이브러리  4~5주차
  • 피벗테이블, 데이터 전처리
• 개인과제
  • 파이썬 기본 문법, 파이썬 라이브러리 (numpy, pandas)

 

🐶 파이썬 라이브러리 과제

✨ 데이터 읽어오기 (read)

🚩 내용
 1. 다양한 유형의 데이터 파일을 읽기 위한 여러 함수를 제공
 2. read 함수가 주로 사용됨
 
🚩 사용법
    import pandas as pd
    
    ✔️ 1. read_csv(): CSV 파일을 로드 (url 지원)
     1) pd.read_csv('filename.csv')
     2) url = "https://example.com/data.csv"
        pd.read_csv(url) 
    
    ✔️ 2. read_excel(): Excel 파일(xls, xlsx)을 로드
    pd.read_excel('filename.xlsx')
    
    ✔️ 3. read_json(): JSON 형식의 문자열이나 파일을 로드 (url 지원)
     1) pd.read_json('filename.json')
     2) url = "https://example.com/data.json"
        pd.read_json(url)     
    
    ✔️ 4. read_sql(): SQL 쿼리 결과를 로드
    pd.read_sql('SELECT * FROM table_name', connection)
    
    ✔️ 0. 기타
    1. read_html():
    2. read_parquet():
    3. read_feather():
    4. read_hdf():

 

✨ DataFrame과 dictionary 데이터 매핑하기

🚩 내용
  - '관서명' 컬럼으로 매핑
  - '구별' 이라는 새로운 컬럼 생성
  - 매칭되지 않는 값은 '구 없음'으로 표시
 1. map() 함수 사용
  - 데이터 변환 및 데이터 전처리 과정에서 유용하게 사용
  - Series에서만 작동하며 DataFrame에서는 사용할 수 없다
   ❗DataFrame에서 map() 함수를 사용 가능하던데??
    예시) df['컬럼명'].map()
     > 이건 DataFrame이 아닌 특정열과 Series로 처리된것
 2. 딕셔너리(dictionary) 데이터 → DataFrame 변경 → merge로 처리
 
🚩 사용법
    import pandas as pd
    
    # 데이터프레임
    url = "https://example.com/data.csv"
    df = pd.read_csv(url)
    
    # 딕셔너리
    dict_data = { '서대문서': '서대문구', '수서서': '강남구'... } 
    
    ✔️ 1. map() 함수 사용
    # '관서명'를 기준으로 매핑, 매칭되지 않는 값은 '구 없음'으로 할당해서 '구별' 컬럼에 저장
    df['구별'] = df['관서명'].map(dict_data).fillna('구 없음')
    
    ✔️ 2. merge() 함수 사용
    # 딕셔너리 → 리스트 변경
    list_data = list(dict_data.items())
    
    # 데이터프레임 생성 
    df2 = pd.DataFrame(list_data, columns=['관서명', '구별'])
    
    # merge로 매핑 처리
    mapping_df = pd.merge(df, df2, how='left', on='관서명').fillna('구 없음')

 

✨ DataFrame과 Index 변경 및 pivot_table 생성

🚩 내용
  - index를 '관서명'에서 '구별'로 변경
  - 같은 '구'의 경우네는 중복제거 및 sum() 적용
 
  1. pivot_table
  - 데이터의 특정 열을 새로운 행 인덱스, 열 인덱스, 그리고 데이터 값으로 재구성
  - 다차원 요약 테이블 생성
  - Excel의 피벗 테이블과 유사한 기능을 제공
  ✔️ 주요특징
   1) values: 집계할 데이터 열의 이름 지정
   2) index: 피벗 테이블 행 새로운 인덱스로 사용될 열 이름 지정
   3) columns: 새로운 열 인덱스로 사용될 열 이름 지정
   4) aggfunc: 집계 함수를 지정, pandas와 numpy에 있는 대부분의 함수 사용 가능
      sum, mean, count, min, max 등 (기본값: mean)
  
🚩 사용법
    import pandas as pd
    
    ✔️ 1. DataFrame 인덱스 변경
    df.set_index("구별", inplace=True) # inplace=True로 원본 df에 적용

    ✔️ 2. pivot_table 생성
    ※ columns, values는 optional 항목: 지정 안할 시, 모든 항목 선택
	pivot = df.pivot_table(index='구별', aggfunc='sum')

 

✨ DataFrame 데이터 drop / del / rename

🚩 내용
  - '구 없음' 행은 drop 을 활용하여 삭제
  - 필요없는 column을 del 을 사용하여 삭제
  - 컬럼명을 rename 을 사용하여 변경
  ✔️ del vs drop
   1) del
    - Python 기본 구문 
    - 메모리에서 직접 삭제 (복원 불가)
    - 여러 컬럼을 한 번에 삭제 불가
   2) drop
    - axis: 행 또는 열
    - 유연성, 복원 가능, 편리성 (실무에서 선호)   
  
🚩 사용법
    import pandas as pd
    
    ✔️ 1. drop() 사용
    # '구 없음'이 포함된 데이터 삭제
    pivot.drop('구 없음', inplace=True)
    
    ✔️ 2. del()
    # '관서명' 컬럼 삭제
    del pivot['관서명']
    
    ✔️ 3. rename()
    # '폭력(발생)' → '폭력'으로 변경
    pivot.rename(columns={'폭력(발생)': '폭력'}, inplace=True)

 

 

🐶 느낀점

1. 개인과제를 하면서, 당연한거지만 실습이 얼마나 중요한지 다시 깨닫게 되었다.
2. 그리고, 생각보다 내가 잘 해낼수 있을지도 걱정이 되었다.. ㅎㅎ
3. 빡세게 하기로 했잖아.. 다시 의지 다잡자
4. 몸 관리도 잘하면서 가보자구요..