[TIL] 내일배움캠프 AI 9기 - 22회

🐶 학습 범위

• 스탠다드반 
• 개인 공부

 

🐶 학습 내용

✨ 개인 공부

✔️ 토큰 임베딩

  1. 임베딩 (embedding)
   1) 개념: 데이터를 의미를 담아 숫자 집합으로 변환하는 것

  2. 토큰 임베딩
   1) 개념: 토큰을 임베딩하는 작업
   2) 내용
     - 딥러닝 모델이 텍스트 데이터를 처리하기 위해서는 
       입력으로 들어오는 토큰과 토큰 사이의 관계를 계산해야 한다.
     - 토큰과 토큰 사이의 관계를 계산하기 위해서는 토큰의 의미를 숫자로 나타낼 수 있어야 한다.
     - 토큰화에서 부여한 토큰 아이디는 하나의 숫자일 뿐이므로 숫자의 의미를 담을 수 없다.
     - 의미를 담기 위해서는 최소 2개 이상의 숫자 집합인 벡터여야 한다.
     🚩 위에 내용에 맞게 토큰을 임베딩하는 과정이 필요하다.
     🚩 파이토치가 제공하는 nn.Embedding 클래스를 사용한다.

✔️ 토큰화 샘플 코드

# 텍스트를 적절한 단위로 나눔 (띄어쓰기 기준)
input_text = "나는 최근 파리 여행을 다녀왔다"
input_text_list = input_text.split()

print(input_text_list) # ['나는', '최근', '파리', '여행을', '다녀왔다']

# 토큰 (숫자ID 부여)
# 아이디 딕셔너리와 아이디
str2idx = {word:idx for idx, word in enumerate(input_text_list)} 
# 토큰 딕셔너리 만들기
idx2str = {idx:word for idx, word in enumerate(input_text_list)} 

print(str2idx) # {'나는': 0, '최근': 1, '파리': 2, '여행을': 3, '다녀왔다': 4}
print(idx2str) # {0: '나는', 1: '최근', 2: '파리', 3: '여행을', 4: '다녀왔다'}

# 토큰을 토큰 아이디로 변환
input_ids = [str2idx[word] for word in input_text_list]
print(input_ids) # [0, 1, 2, 3, 4]

 

✔️ 토큰 임베딩 샘플 코드

import torch
import torch.nn as nn

# 1. 임베딩 레이어 생성
# len(str2idx) 크기의 단어 사전과 각 단어에 대해 16차원의 벡터를 출력
embedding_dim = 16
embed_layer = nn.Embedding(len(str2idx), embedding_dim)

# 2. 임베딩 변환
# embed_layer를 통해 각 단어의 임베딩을 조회 
# 결과적으로, 각 단어는 16차원의 벡터로 표현
# 여기서 5는 문장의 단어 수, 16은 임베딩 차원
input_embeddings = embed_layer(torch.tensor(input_ids)) # (5, 16)

# 3. 임베딩 텐서 조정
# unsqueeze(0)를 호출하여 임베딩 텐서의 차원을 (1, 5, 16)으로 조정 
# 일반적으로 배치 크기를 나타냄
# ※ 배치 크기(batch size)
#  - 머신 러닝에서 모델을 학습시킬 때 한 번에 네트워크에 주입되는 데이터 샘플의 수
input_embeddings = input_embeddings.unsqueeze(0) # (1, 5, 16)

# 4. 임베딩 텐서의 형태 확인
input_embeddings.shape

 

 

🐶 느낀점

1. 나의 집중력 노답