ó
    — óhH  ã                   ó¢   • S SK r S r\ R                  R                  S/ SQ5      S 5       r\ R                  R                  S/ SQ5      S 5       rg)	é    Nc                 ó:   • SnU " U5      n[        U5      S:X  d   eg )NuŽ  á‰»áŠ•áˆµáˆˆáˆ­ áŒ€áˆ­áˆ˜áŠ• áŠ£áŠ•áŒˆáˆ‹ áˆ˜áˆ­áŠ¨áˆ áŠ£á‰¥á‰³ áˆƒáŒˆáˆ­ á‰áŒ½áˆª áˆ˜á‰µáˆ“á‹á‰² áŠ®á‰ªá‹µ áˆ˜á‹“áˆá‰³á‹Š áŠ­á‰¥áˆ¨ áˆ˜á‹áŒˆá‰¥ á‹µáˆ•áˆª áˆáˆ…áˆ«áˆ™- áŒ½áŠ‘á‹• áŠ¥áŒˆá‹³ áŠ­áŒá‰ áˆ­ áŒ¸á‹Šá‹“á¢

áˆ˜áˆ­áŠ¨áˆ áˆŽáˆš áŠ•á‰³áˆ•á‰³á‹‹á‹­ á‰£á‹­á‰¶ áˆƒáŒˆáˆ« áŠ­á‰µáŒˆáˆáŒ½ áŠ¨áˆ‹á¡ áŠ£á‰¥ á‹ˆáˆ³áŠ’ áˆá‹•áˆ«á á‰ƒáˆáˆ² áŠ¢áŠ“ á‹˜áˆˆáŠ“-á‹³áˆ•áˆ«á‹‹á‹­ áˆ›á‹•á‰ áˆ áŠ«á‰¥á‰² á‰€á‹³áˆ›á‹­ áŠ­áŒˆá‹µá‹µ á‹­áŠ½áŠ¥áˆ`á‹© áŠ¢áˆ‹á¢

á‰µáŠ«áˆ áˆáŠ­áˆáŠ»áˆ á‰°áˆ‹áŒˆá‰¥á‰² áˆ•áˆ›áˆ›á‰µ áŒ€áˆ­áˆ˜áŠ•á¡ áŠ£á‰¥ á‹áˆ“áˆˆáˆ 24 áˆ°á‹“á‰³á‰µ áŠ£á‰¥ áˆáˆáŠ¥á‰² áŒ€áˆ­áˆ˜áˆ­ 590 áˆ°á‰£á‰µ á‰¥áŠ®á‰ªá‹µ19 áˆáˆŸá‰¶áˆ áŠ£ááˆŠáŒ¡`áˆŽá¢

á‰»áŠ•áˆµáˆˆáˆ­ áŠ£áŠ•áŒ€áˆ‹ áˆ˜áˆ­áŠ¨áˆ áŠ£á‰¥ áŠ¥á‹‹áŠ• á‰ á‹“áˆ‹á‰µ áˆá‹°á‰µ áˆµá‹µáˆ«á‰¤á‰³á‰µ áŠ­á‰°áŠ£áŠ»áŠ¸á‰£ á‹áá‰€á‹°áˆˆáŠ•`áŠ³ áŠ¥áŠ•á‰°áŠ¾áŠ á‹µáˆ•áˆªáŠ¡ áŠ£á‰¥ á‹˜áˆŽ áŒá‹œ áŒáŠ• áŠ¥á‰² áŠ¥áŒˆá‹³á‰³á‰µ áŠ­á‰µáŒá‰ áˆ­ á‰µá‹°áˆŠá¢éU   ©Úlen)Úti_tokenizerÚtextÚtokenss      ÚW/home/james-whalen/.local/lib/python3.13/site-packages/spacy/tests/lang/ti/test_text.pyÚ#test_ti_tokenizer_handles_long_textr      s(   € ð€Dñ ˜$Ó€Fäˆv‹;˜"ÓÐÑó    ztext,length))u9   á‰»áŠ•áˆµáˆˆáˆ­ áŒ€áˆ­áˆ˜áŠ• áŠ£áŠ•áŒˆáˆ‹ áˆ˜áˆ­áŠ¨áˆá§é   )u   â€œáˆµá‹µáˆ«á‰¤á‰³á‰µá§â€é   )uw   áŠ£á‰¥ áŠ¥á‹‹áŠ• á‰ á‹“áˆ‹á‰µ áˆá‹°á‰µ áˆµá‹µáˆ«á‰¤á‰³á‰µ áŠ­á‰°áŠ£áŠ»áŠ¸á‰£ á‹áá‰€á‹°áˆˆáŠ•`áŠ³ áŠ¥áŠ•á‰°áŠ¾áŠá¢é	   )u$   á‰¥áŒáˆá‰µ 10áŠª.áˆœ. áŒŽá‹­á‹©á¢é   )u&   áŠ£á‰¥ á‹áˆ“áˆˆáˆ 24 áˆ°á‹“á‰³á‰µ...r   c                 ó6   • U " U5      n[        U5      U:X  d   eg )Nr   )r   r   Úlengthr	   s       r
   Útest_ti_tokenizer_handles_cntsr      s    € ñ ˜$Ó€FÜˆv‹;˜&Ó Ð Ñ r   z
text,match))Ú10T)Ú1T)z10.000T)Ú1000T)z999,0T)u   áˆ“á‹°T)u	   áŠ­áˆá‰°T)u   á‰µáˆªáˆá‹®áŠ•T)u	   áŠ¨áˆá‰¢F)Ú,F)z1/2Tc                 ó`   • U " U5      n[        U5      S:X  d   eUS   R                  U:X  d   eg )Né   r   )r   Úlike_num)r   r   Úmatchr	   s       r
   Útest_lex_attrs_like_numberr       s8   € ñ" ˜$Ó€FÜˆv‹;˜!ÓÐÐØ!‰9×Ñ Ó&Ð&Ñ&r   )Úpytestr   ÚmarkÚparametrizer   r   © r   r
   Ú<module>r!      sc   ðÛ ò
ð ‡×ÑØòó	ñ!ó	ð!ð
 ‡×ÑØòóñ 'ó!ñ 'r   