본문 바로가기

llm3

[TIL] 내일배움캠프 AI 9기 - 22회 🐶 학습 범위스탠다드반 개인 공부 🐶 학습 내용✨ 개인 공부✔️ 토큰 임베딩 1. 임베딩 (embedding) 1) 개념: 데이터를 의미를 담아 숫자 집합으로 변환하는 것 2. 토큰 임베딩 1) 개념: 토큰을 임베딩하는 작업 2) 내용 - 딥러닝 모델이 텍스트 데이터를 처리하기 위해서는 입력으로 들어오는 토큰과 토큰 사이의 관계를 계산해야 한다. - 토큰과 토큰 사이의 관계를 계산하기 위해서는 토큰의 의미를 숫자로 나타낼 수 있어야 한다. - 토큰화에서 부여한 토큰 아이디는 하나의 숫자일 뿐이므로 숫자의 의미를 담을 수 없다. - 의미를 담기 위해서는 최소 2개 이상의 숫자 집합인 벡터여야 한다. 🚩 위에 내용에 맞게 토큰을 임베딩하는 .. 2025. 2. 5.

[TIL] 내일배움캠프 AI 9기 - 21회 🐶 학습 범위스탠다드반 개인 공부 🐶 학습 내용✨ 개인 공부✔️ 토큰화 1. 토큰 (token) 1) 개념: 주어진 텍스트를 분석 및 처리 가능한 작은 단위로 나눈 것 2. 토큰화 1) 개념: 텍스트를 적절한 단위로 나누고 숫자 아이디를 부여하는 것 2) 내용 - 한글은 작게 (자음과모음) 단위부터 크게 단어 단위로 나눌수 있다 - 어떤 토큰이 어떤 숫자 아이디로 연결됐는지 기록된 사전을 만들어야 한다 > 단위가 큰 경우: 의미 유지는 잘 되지만 사전이 커진다. > 단위가 작은 경우: 사전은 작아지지만, 단어의 의미가 사라진다. 2. 서브워드 토큰화 1) 개념: 데이터의 등장하는 빈도에 따라 토근화 단위를 결정 2) 내용 - 기존 토.. 2025. 2. 4.

(AI) openai.OpenAIError: The api_key client option must be set either by passing api_key to the client or by setting the OPENAI_API_KEY environment variable 🐶 에러✔️ 작업 환경 - Window (PowerShell) - VSCode - Python 3.10✔️ 작업 내용 (OpenAI API 테스트) 1. API Key 생성 2. 환경변수 설정setx OPENAI_API_KEY "your_api_key_here" 3. OpenAI API 설치pip install openai 4. 소스 코드 작성 (text_example.py)from openai import OpenAIclient = OpenAI()completion = client.chat.completions.create( model="gpt-4o-mini", messages=[ {"role": "system", "content": "You are a h.. 2025. 1. 31.

이전 1 다음

티스토리툴바