텍스트 토큰화

UI 소개

항목명
항목소개
비고

모델 선택

토큰화할 모델 선택

메세지 내용 입력

토큰화할 텍스트 내용 입력


실행 결과

데이터 값
데이터 내용

token_ids[]

토큰화된 텍스트 정보

token_ids[].token_id

토큰 ID

token_ids[].string_token

텍스트 원문

token_ids[].token_bytes

변환된 토큰 정보

Last updated

Was this helpful?