นับคำและตัวอักษร

คำจะถูกค้นหาด้วยการตัดคำแบบ Unicode ของเบราว์เซอร์ และจะนับเฉพาะส่วนที่มีตัวอักษร ตัวเลข หรืออักษรภาพ ส่วนเครื่องหมายวรรคตอน สัญลักษณ์ และช่องว่างที่อยู่เดี่ยว ๆ จะไม่นับ ในเบราว์เซอร์ปัจจุบัน “don't” “3.14” และ “1,000” นับเป็นคำละหนึ่งคำ ขณะที่ “well-known” นับเป็น 2 คำ “state-of-the-art” นับเป็น 4 คำ และเวลาอย่าง 12:30 หรืออีเมลอย่าง name@example.com นับเป็น 2 คำ ภาษาไทยซึ่งเขียนติดกันโดยไม่เว้นวรรคระหว่างคำจะแบ่งคำด้วยระบบตัดคำของเบราว์เซอร์ เช่น “ฉันชอบกินข้าว” มักนับเป็น 4 คำ (ฉัน ชอบ กิน ข้าว)

โปรแกรมประมวลผลคำและเว็บไซต์บางแห่งนับข้อความแต่ละช่วงที่อยู่ระหว่างช่องว่างเป็นหนึ่งคำ จึงนับ “well-known” 12:30 หรือที่อยู่เว็บที่ขึ้นต้นด้วย https:// เป็นคำเดียว ในขณะที่เครื่องมือนี้นับได้ตั้งแต่สองคำขึ้นไป และอาจนับขีดหรือ “&” ที่อยู่เดี่ยว ๆ ระหว่างช่องว่างเป็นคำ ซึ่งเครื่องมือนี้ข้ามไป สำหรับข้อความทั่วไปในภาษาที่เว้นวรรคระหว่างคำ ความต่างมักมีไม่มาก ส่วนข้อความที่มีขีดกลาง ตัวเลข ลิงก์ หรือโค้ดจำนวนมากจะต่างกันมากกว่า สำหรับภาษาไทย ผลอาจต่างกันมาก เพราะข้อความไทยเว้นวรรคระหว่างวลีหรือประโยค ไม่ใช่ระหว่างคำ โปรแกรมที่นับตามช่องว่างจึงนับหลายคำรวมเป็นคำเดียว

นับ โดย “ตัวอักษร” รวมช่องว่าง แท็บ และการขึ้นบรรทัดใหม่ และการขึ้นบรรทัดใหม่แต่ละครั้งนับเป็น 1 ตัวอักษรและ 1 ไบต์ UTF-8 เพราะเบราว์เซอร์ส่งการขึ้นบรรทัดใหม่แต่ละครั้งในช่องข้อความให้เครื่องมือเป็นอักขระ LF ตัวเดียว แม้ข้อความจะมาจาก Windows ซึ่งไฟล์ข้อความมักใช้สองอักขระ (CR LF) ส่วน “ตัวอักษร (ไม่รวมช่องว่าง)” จะไม่นับช่องว่าง แท็บ การขึ้นบรรทัดใหม่ และอักขระช่องว่างอื่น ๆ เช่น ช่องว่างแบบไม่ตัดบรรทัด แต่ยังนับเครื่องหมายวรรคตอนและอีโมจิ

บรรทัดแบ่งตามการขึ้นบรรทัดใหม่ บรรทัดว่างจึงถูกนับด้วย และการขึ้นบรรทัดใหม่ที่ท้ายสุดจะเพิ่มบรรทัดว่างเป็นบรรทัดสุดท้าย ส่วนบรรทัดยาวที่เพียงตัดขึ้นบรรทัดใหม่บนหน้าจอนับเป็นบรรทัดเดียว ย่อหน้าคือกลุ่มข้อความที่คั่นด้วยบรรทัดว่างตั้งแต่หนึ่งบรรทัดขึ้นไป (บรรทัดที่ไม่มีอะไรเลยหรือมีแต่ช่องว่าง) บรรทัดที่คั่นด้วยการขึ้นบรรทัดใหม่เพียงครั้งเดียวจึงอยู่ในย่อหน้าเดียวกัน ประโยคเป็นไปตามกฎประโยคของ Unicode ซึ่งถือว่าการขึ้นบรรทัดใหม่เป็นจุดจบประโยค หัวข้อหรือรายการที่ไม่มีเครื่องหมายท้ายประโยคจึงนับเป็นหนึ่งประโยค และประโยคที่ถูกตัดข้ามหลายบรรทัด เช่น ในข้อความที่คัดลอกมาจาก PDF บางไฟล์ ก็จะนับแต่ละส่วนเป็นหนึ่งประโยคเช่นกัน ตัวย่ออย่าง “Dr.” ที่ตามด้วยคำขึ้นต้นด้วยตัวพิมพ์ใหญ่มักถูกนับเป็นจุดจบประโยค ภาษาไทยมักคั่นประโยคด้วยช่องว่างแทนเครื่องหมายวรรคตอน ซึ่งกฎนี้ไม่ถือเป็นจุดจบประโยค ข้อความไทยที่ไม่มีการขึ้นบรรทัดใหม่จึงอาจนับรวมเป็นประโยคเดียว

รายการนี้นับแต่ละรูปคำแยกกัน โดยถือว่าตัวพิมพ์ใหญ่และตัวพิมพ์เล็กเป็นคำเดียวกัน และไม่ได้ตัดคำที่ใช้บ่อยออก รายการไม่ได้รวมรูปคำอย่าง “run” กับ “runs” เข้าด้วยกัน และในภาษาเกาหลี คำนามเดียวกันที่มีคำช่วย (particle) ต่างกันจะแสดงแยกกัน ตั้ง “ไม่นับคำที่สั้นกว่า (ตัวอักษร)” เป็น 4 เพื่อซ่อนคำที่ยาวหนึ่งถึงสามตัวอักษร ส่วนภาษาจีนและญี่ปุ่นซึ่งมีคำตัวอักษรเดียวจำนวนมาก ให้ตั้งเป็น 1 เพื่อดูคำเหล่านั้น สำหรับภาษาไทย ความยาวนับเป็นตัวอักษรตามที่มองเห็น สระบน สระล่าง และวรรณยุกต์จึงนับรวมกับพยัญชนะ คำอย่าง “ที่” หรือ “มี” ยาว 1 ตัวอักษรและถูกซ่อนตามค่าเริ่มต้น 2 ส่วนค่า 4 จะซ่อนคำไทยที่มีความหมายจำนวนมาก เช่น “กิน” “บ้าน” หรือ “ข้าว” ไปด้วย

ไม่จำเป็น ค่าที่ตั้งไว้เพียงกรอกค่าขีดจำกัดที่พบบ่อย และเครื่องมือนี้ไม่ได้ใช้กฎของบริการใดโดยเฉพาะ ตามมาตรฐาน GSM ที่เครือข่ายมือถือจำนวนมากใช้ SMS หนึ่งข้อความจุได้ 160 ตัวอักษรก็ต่อเมื่อทุกตัวอยู่ในชุดอักขระ GSM 7 บิต และสัญลักษณ์อย่าง € ใช้สองตำแหน่ง หากมีอักขระอื่น เช่น อีโมจิ ตัวอักษรของระบบการเขียนที่ไม่ใช่ละตินส่วนใหญ่รวมถึงภาษาไทย หรือตัวอักษรที่มีเครื่องหมายเสริมบางตัว ขีดจำกัดมักลดลงเหลือ 70 หน่วยโค้ด UTF-16 ซึ่งเทียบได้กับค่า “หน่วยโค้ด UTF-16” (ในภาษาไทย สระบน สระล่าง และวรรณยุกต์ก็นับเป็นหน่วยแยก เช่น “ที่” ใช้ 3 หน่วย) ข้อความที่ยาวกว่านั้นจะถูกส่งเป็นหลายส่วนซึ่งแต่ละส่วนจุได้น้อยลงเล็กน้อย

เครื่องมือนี้ใช้ Intl.Segmenter ที่มีอยู่ในเบราว์เซอร์ปัจจุบัน เบราว์เซอร์เหล่านี้จึงให้ผลเหมือนหรือใกล้เคียงกันมาก แม้ขอบเขตของคำและประโยคอาจขยับเล็กน้อยระหว่างเบราว์เซอร์และเวอร์ชันของเบราว์เซอร์ ซึ่งพบได้บ่อยกว่าในข้อความภาษาจีน ญี่ปุ่น หรือไทยที่ไม่เว้นวรรคระหว่างคำ เบราว์เซอร์รุ่นเก่าบางตัวที่ไม่มี Intl.Segmenter ยังใช้เครื่องมือนี้ได้ด้วยกฎที่ง่ายกว่า คือนับตัวอักษรเป็นโค้ดพอยต์ Unicode นับคำเป็นข้อความระหว่างช่องว่าง และแบ่งประโยคตามเครื่องหมายท้ายประโยคและบรรทัดว่าง ผลการนับจึงแม่นยำน้อยลง โดยเฉพาะอีโมจิและข้อความภาษาจีน ญี่ปุ่น หรือไทย