Last updated 13 days ago
Was this helpful?
모델 선택
토큰화할 모델 선택
메세지 내용 입력
토큰화할 텍스트 내용 입력
token_ids[]
토큰화된 텍스트 정보
token_ids[].token_id
토큰 ID
token_ids[].string_token
텍스트 원문
token_ids[].token_bytes
변환된 토큰 정보