본문 바로가기

token2

[TIL] 내일배움캠프 AI 9기 - 23회 🐶 학습 범위스탠다드반 개인 공부 🐶 학습 내용✨ 개인 공부✔️ 위치 인코딩 1. 위치 인코딩 1) 내용 - 트랜스포머에서는 모든 입력을 동시에 처리 - 그 과정에서 순서 정보가 사라짐 - 이때 순서를 추가해주는 역할을 담당 2. 절대적 위치 인코딩(absolute position encoding) 1) 내용 - 입력 토큰의 위치에 따라 고정된 임베딩을 더함 - 토큰과 토큰 사이의 상대적인 위치정보 활용하지 못함 - 긴 텍스트를 추론하는 경우에는 성능이 떨어짐✔️ 토큰화 샘플 코드# 텍스트를 적절한 단위로 나눔 (띄어쓰기 기준)input_text = "나는 최근 파리 여행을 다녀왔다"input_text_list = input_text.split().. 2025. 2. 6.

[TIL] 내일배움캠프 AI 9기 - 21회 🐶 학습 범위스탠다드반 개인 공부 🐶 학습 내용✨ 개인 공부✔️ 토큰화 1. 토큰 (token) 1) 개념: 주어진 텍스트를 분석 및 처리 가능한 작은 단위로 나눈 것 2. 토큰화 1) 개념: 텍스트를 적절한 단위로 나누고 숫자 아이디를 부여하는 것 2) 내용 - 한글은 작게 (자음과모음) 단위부터 크게 단어 단위로 나눌수 있다 - 어떤 토큰이 어떤 숫자 아이디로 연결됐는지 기록된 사전을 만들어야 한다 > 단위가 큰 경우: 의미 유지는 잘 되지만 사전이 커진다. > 단위가 작은 경우: 사전은 작아지지만, 단어의 의미가 사라진다. 2. 서브워드 토큰화 1) 개념: 데이터의 등장하는 빈도에 따라 토근화 단위를 결정 2) 내용 - 기존 토.. 2025. 2. 4.

이전 1 다음

티스토리툴바