3. Використання регулярних виразів для токенізації тексту

Регулярні вирази дозволяють також здійснювати токенізацію текстів та контролювати процес токенізації.

1. Найпростіший токенізатор

Найпростіший спосіб токенізації тексту – це поділ його за пробілами. Розглянемо наступний текст з Alice's Adventures in Wonderland:

>>> raw = """'When I'M a Duchess,' she said to herself, (not in a very hopeful tone ... though), 'I won't have any pepper in my kitchen AT ALL. Soup does very ... well without--Maybe it's always pepper that makes people hot-tempered,'..."""

Можна розділити цей текст за пробілами скориставшись raw.split(). Реалізовуючи те саме за допомогою регулярних виразів, недостатньо встановити відповідність до всіх символів пробілів #1 тому що результат містить символ \n, потрібно враховувати будь-яку кількість пробілів табуляній та символів нового рядка #2:

>>> re.split(r' ', raw) #1 ["'When", "I'M", 'a', "Duchess,'", 'she', 'said', 'to', 'herself,', '(not', 'in', 'a', 'very', 'hopeful', 'tone\nthough),', "'I", "won't", 'have', 'any', 'pepper', 'in', 'my', 'kitchen', 'AT', 'ALL.', 'Soup', 'does', 'very\nwell', 'without--Maybe', "it's", 'always', 'pepper', 'that', 'makes', 'people', "hot-tempered,'..."] >>> re.split(r'[ \t\n]+', raw) #2 ["'When", "I'M", 'a', "Duchess,'", 'she', 'said', 'to', 'herself,', '(not', 'in', 'a', 'very', 'hopeful', 'tone', 'though),', "'I", "won't", 'have', 'any', 'pepper', 'in', 'my', 'kitchen', 'AT', 'ALL.', 'Soup', 'does', 'very', 'well', 'without--Maybe', "it's", 'always', 'pepper', 'that', 'makes', 'people', "hot-tempered,'..."]

Регулярний вираз «[ \t\n]+» встановлює відповідність одному або більше пробілам, табуляціям (\t) чи символам нового рядка (\n). Інші символи пробілів, такі як «Enter» «нова сторінка» також повинні враховуватися. Замість цього, можна використати властивий re символ, \s, який означає будь-який символ пробілу. Вираз з попереднього прикладу буде переписаний наступним чином re.split(r'\s+', raw).

Поділ тексту на окремі слова за пробілами дає очікувані помилкові результати '(not' та 'herself,'. Python підтримує символ \w ,якому відповідає клас символів слів аналогічних до [a-zA-Z0-9_], та символ \W , який визначає клас символів – всі символи не літери не цифри і не підкреслення. Можна використати \W в регулярному виразі для поділу вхідного тексту на окремі слова за будь-якими символами відмінним від символів з яких складаються слів:

>>> re.split(r'\W+', raw) ['', 'When', 'I', 'M', 'a', 'Duchess', 'she', 'said', 'to', 'herself', 'not', 'in', 'a', 'very', 'hopeful', 'tone', 'though', 'I', 'won', 't', 'have', 'any', 'pepper', 'in', 'my', 'kitchen', 'AT', 'ALL', 'Soup', 'does', 'very', 'well', 'without', 'Maybe', 'it', 's', 'always', 'pepper', 'that', 'makes', 'people', 'hot', 'tempered', '']

Результати використання цього регулярного виразу містять пусті стрічки на початку і в кінці списку (спробуйте 'xx'.split('x')). Аналогічні слова, але без додаткових пустих стрічок можна отримати використавши re.findall(r'\w+', raw), де шаблону відповідають всі слова замість пробілів. Наступний регулярний вираз «\w+|\S\w*» дозволяє охопити більшу кількість різних випадків. Спочатку цей вираз встановлює відповідність до будь-яких послідовностей символів слів, далі якщо відповідностей більше немає встановлюється відповідність до всіх символів які не є символами пробілу (\S) і зустрічаються перед символами слів. Такий підхід дозволяє відділяти розділові знаки разом з літерою перед якою вони йдуть (наприклад 's), але послідовності двох і більше розділових знаків розділені.

>>> re.findall(r'\w+|\S\w*', raw) ["'When", 'I', "'M", 'a', 'Duchess', ',', "'", 'she', 'said', 'to', 'herself', ',', '(not', 'in', 'a', 'very', 'hopeful', 'tone', 'though', ')', ',', "'I", 'won', "'t", 'have', 'any', 'pepper', 'in', 'my', 'kitchen', 'AT', 'ALL', '.', 'Soup', 'does', 'very', 'well', 'without', '-', '-Maybe', 'it', "'s", 'always', 'pepper', 'that', 'makes', 'people', 'hot', '-tempered', ',', "'", '.', '.', '.']

Для виявлення слів з дефісом або апострофом вираз \w+ потрібно розширити до: «\w+([-']\w+)*». Цей вираз означає що після \w+ може йти нуль або більше випадків [-']\w+; що дозволить виділити слова hot-tempered або it's. Символи ?: також потрібно додати до регулярного виразу, та шаблон для виявлення символів лапок.

>>> print re.findall(r"\w+(?:[-']\w+)*|'|[-.(]+|\S\w*", raw) ["'", 'When', "I'M", 'a', 'Duchess', ',', "'", 'she', 'said', 'to', 'herself', ',', '(', 'not', 'in', 'a', 'very', 'hopeful', 'tone', 'though', ')', ',', "'", 'I', "won't", 'have', 'any', 'pepper', 'in', 'my', 'kitchen', 'AT', 'ALL', '.', 'Soup', 'does', 'very', 'well', 'without', '--', 'Maybe', "it's", 'always', 'pepper', 'that', 'makes', 'people', 'hot-tempered', ',', "'", '...']

Частина виразу «[-.(]+» дозволяє виявити подвійний дефіс, еліпсис а також відкриту дужку.

Таблиця 2 містить список символів регулярних виразів.

Символи в регулярних виразах. Таблиця 2

Символ	Функція
\b	Межі слова
\d	Будь-яка десяткова цифра (== [0-9])
\D	Будь-яка не десяткова цифра (== [^0-9])
\s	Будь-який символ пробілу (== [ \t\n\r\f\v]
\S	Будь-який не символ пробілу (== [^ \t\n\r\f\v])
\w	Будь-який символ літери чи цифри (== [a-zA-Z0-9_])
\W	Будь-який не символ літери чи цифри (== [^a-zA-Z0-9_])
\t	Символ табуляції
\n	Символ нової стрічки