توكن
لفظ توكن Token يصف سلسلة من الرموز لها معنى (نوع) محدد في نحو شكلي. تشكل التوكن حجر البناء في الثروة اللغوية التي يعتد عليها الـ تجزئة.
في أبسط الأحوال يمكن اعتبار كل حرف منفصل توكن: فمثلا الحرف أ يكون من النوع أ. ولكن لكي يكتمل المنفعة من وراء النحو يتم تعريف أنواع رئيسية ويتم تقسيم الكلمات إليها. فمثلا في اللغة العربية يمكن اعتبار عملية تقسيم الجملة الفعلية إلى فعل وفاعل ومفعول به كـ tokenization.
| توكن | |
|---|---|
| لكسيم | نوعه |
| 123 | عدد |
| foobar | اسم |
| begin | كلمة مفتاحية |
قالب:لغة ونحو صوريين
| العتاد | |
|---|---|
| بنية الأنظمة | |
| الشبكات | |
| بنية البرمجيات | |
| نظرية لغات البرمجة وأدواتها | |
| تطوير البرمجيات | |
| نظرية الحوسبة | |
| الخوارزميات | |
| رياضيات الحوسبة | |
| نظم المعلومات | |
| الأمن | |
| التفاعل الإنساني الحاسويبي |
|
| تزامن |
|
| الذكاء الاصطناعي |
|
| تعلم الآلة |
|
| رسوميَّات |
|
| الحوسبة التطبيقيَّة | |
| |
بوابة علم الحاسوب
This article is issued from Wikipedia. The text is licensed under Creative Commons - Attribution - Sharealike. Additional terms may apply for the media files.