BPE Tokenizer
Train Byte Pair Encoding on your own text and watch subword tokens emerge — visualize merge steps, vocabulary growth, and token IDs like GPT and modern LLMs use
94 chars · 16 words
Tokenized Output
[10, 21, 10, 21, 10, 21, 10, 21, 10, 21, 9, 2, 16, 0, 21, 9, 2, 16, 0, 21, 14, 21, 14, 21, 14, 21, 14, 21, 14, 21, 14, 21, 20, 1, 5, 21, 20, 1, 5, 21, 20, 1, 5]Merge Operations
| Step | Pair | Merged Token | Pair Frequency | Vocab Size |
|---|---|---|---|---|
| #1 | "e"+"s" | "es" | 9 | 12 |
| #2 | "es"+"t" | "est" | 9 | 13 |
| #3 | "est"+"␣" | "est␣" | 9 | 14 |
| #4 | "l"+"o" | "lo" | 7 | 15 |
| #5 | "lo"+"w" | "low" | 7 | 16 |
| #6 | "n"+"e" | "ne" | 6 | 17 |
| #7 | "ne"+"w" | "new" | 6 | 18 |
| #8 | "new"+"est␣" | "newest␣" | 6 | 19 |
| #9 | "low"+"␣" | "low␣" | 5 | 20 |
| #10 | "w"+"i" | "wi" | 3 | 21 |
Initial Vocabulary (11)
"␣""d""e""i""l""n""o""r""s""t""w"Final Vocabulary (21)
"␣""d""e""es""est""est␣""i""l""lo""low""low␣""n""ne""new""newest␣""o""r""s""t""w""wi"Export (JSON)
{
"vocab": [
"</w>",
"d",
"e",
"es",
"est",
"est</w>",
"i",
"l",
"lo",
"low",
"low</w>",
"n",
"ne",
"new",
"newest</w>",
"o",
"r",
"s",
"t",
"w",
"wi"
],
"merges": [
[
"e",
"s"
],
[
"es",
"t"
],
[
"est",
"</w>"
],
[
"l",
"o"
],
[
"lo",
"w"
],
[
"n",
"e"
],
[
"ne",
"w"
],
[
"new",
"est</w>"
],
[
"low",
"</w>"
],
[
"w",
"i"
]
],
"tokens": [
"low</w>",
" ",
"low</w>",
" ",
"low</w>",
" ",
"low</w>",
" ",
"low</w>",
" ",
"low",
"e",
"r",
"</w>",
" ",
"low",
"e",
"r",
"</w>",
" ",
"newest</w>",
" ",
"newest</w>",
" ",
"newest</w>",
" ",
"newest</w>",
" ",
"newest</w>",
" ",
"newest</w>",
" ",
"wi",
"d",
"est</w>",
" ",
"wi",
"d",
"est</w>",
" ",
"wi",
"d",
"est</w>"
],
"tokenIds": [
10,
21,
10,
21,
10,
21,
10,
21,
10,
21,
9,
2,
16,
0,
21,
9,
2,
16,
0,
21,
14,
21,
14,
21,
14,
21,
14,
21,
14,
21,
14,
21,
20,
1,
5,
21,
20,
1,
5,
21,
20,
1,
5
]
}How BPE Works
Byte Pair Encoding (BPE) is a subword tokenization algorithm used by many modern language models (GPT, RoBERTa, etc.). It starts with a vocabulary of single characters and iteratively merges the most frequent adjacent pair into a new token.
- Pre-tokenize text into words; represent each word as a sequence of characters with an end-of-word marker
</w>(shown as ␣ above). - Count pairs: for every adjacent symbol pair across the corpus, count occurrences.
- Merge the most frequent pair into a single new token, updating every occurrence in the corpus.
- Repeat for N iterations. Each merge expands the vocabulary by exactly one token.
- Encode new text by greedily applying learned merges in the order they were learned.
This implementation trains BPE on the text you enter — try the "Classic example" preset (Sennrich et al. 2016) and 10 merges to see common subwords like "low", "est", "new" emerge.
สำรวจต่อ
เครื่องมือข้อความ อื่นๆ ที่คุณอาจชอบ...
เครื่องมือรหัสลับ
เข้ารหัสและถอดรหัสข้อความด้วยรหัสคลาสสิก Caesar, Vigenère, ROT13 และ Atbash — พร้อมตัวอย่างตัวอักษรแบบเรียลไทม์
ค้นหาและแทนที่
ค้นหาและแทนที่ข้อความด้วยการรองรับ regex ตัวพิมพ์เล็ก-ใหญ่ คำเต็ม และดูตัวอย่างแบบสด
ลบแท็ก HTML
ลบแท็ก HTML ทั้งหมดออกจากข้อความ — พร้อมตัวเลือกรักษาลิงก์, ถอดรหัสเอนทิตี, รักษาการขึ้นบรรทัดใหม่ และลบบล็อก script/style
ตรวจสอบอักขระ Unicode
ตรวจสอบทุกอักขระในข้อความ — ดูโค้ดพอยท์ การเข้ารหัส UTF-8/UTF-16 เอนทิตี HTML หมวดหมู่ ตรวจจับอักขระมองไม่เห็นและช่องว่างความกว้างศูนย์
ตรวจสอบความสามารถในการอ่าน
คำนวณคะแนน Flesch Reading Ease, Flesch-Kincaid Grade, Gunning Fog, SMOG และ ARI สำหรับข้อความใดๆ
แปลงตัวพิมพ์
แปลงข้อความระหว่าง UPPER CASE, lower case, Title Case, camelCase และอื่นๆ
สร้าง Lorem Ipsum
สร้างข้อความ Lorem Ipsum placeholder เป็นย่อหน้าหรือคำ
เปรียบเทียบข้อความ
ค้นหาและไฮไลท์ความแตกต่างระหว่างข้อความสองชิ้น