# 텍스트 토큰화

## UI 소개

{% tabs %}
{% tab title="데이터플로우" %}

<figure><img src="https://1362923181-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2F5PH5ktGI0BWG6g9fvtcn%2Fuploads%2FhQ59g93Xo5lvtGnvaALV%2F%E1%84%89%E1%85%B3%E1%84%8F%E1%85%B3%E1%84%85%E1%85%B5%E1%86%AB%E1%84%89%E1%85%A3%E1%86%BA%200007-03-20%20%E1%84%8B%E1%85%A9%E1%84%92%E1%85%AE%202.27.54.png?alt=media&#x26;token=99e93fd1-248b-4ec6-877f-01e293e1f28b" alt=""><figcaption></figcaption></figure>
{% endtab %}
{% endtabs %}

<table><thead><tr><th width="173" align="center">항목명</th><th width="288" align="center">항목소개</th><th align="center">비고</th></tr></thead><tbody><tr><td align="center">모델 선택 </td><td align="center">토큰화할 모델 선택</td><td align="center"></td></tr><tr><td align="center">메세지 내용 입력</td><td align="center">토큰화할 텍스트 내용 입력</td><td align="center"></td></tr></tbody></table>

***

## 실행 결과

| 데이터 값                       | 데이터 내용      |
| --------------------------- | ----------- |
| token\_ids\[]               | 토큰화된 텍스트 정보 |
| token\_ids\[].token\_id     | 토큰 ID       |
| token\_ids\[].string\_token | 텍스트 원문      |
| token\_ids\[].token\_bytes  | 변환된 토큰 정보   |