텍스트 토큰화

UI 소개

데이터플로우

항목명	항목소개	비고
모델 선택	토큰화할 모델 선택
메세지 내용 입력	토큰화할 텍스트 내용 입력

---

실행 결과

데이터 값	데이터 내용
token_ids[]	토큰화된 텍스트 정보
token_ids[].token_id	토큰 ID
token_ids[].string_token	텍스트 원문
token_ids[].token_bytes	변환된 토큰 정보