h_SSKJr SSKr/SQr/SQr/SQr\R RS/SQ5S5r\R RS \5\R RSS /5S 55r \R RS \5\R RSS /5S 55r \R RS \5\R RS S/5\R RSS /5S555r \R RS \5\R RS S/5\R RSS /5S555r \R RS \5\R RSS /5S55r \R RS \5\R RSS /5S55r\R RSS/5S5r\R RSS/5S5r\R RS\5\R RSS/5S55r\R RS\5\R RSS/5\R RSS/5S555r\R RSS/5S5rS r\R RS/S!Q5S"5r\R RSS#S$/5S%5rg)&) punctuationN)([{*))]}r))rr)rr )rr )rrtext)rz((>U "" " !9>>T !! !rcU"X!-5n[U5S:XdeUSRU:XdeUSRU:Xdegrrrs r$test_ru_tokenizer_splits_close_punctrsN$, 'F v;!   !9>>T !! ! !9>>U "" "r punct_add`cU"X-U-5n[U5S:XdeUSRU:XdeUSRU:XdeUSRU:XdegNrrrrrrr r rs r,test_ru_tokenizer_splits_two_diff_open_punctr&"sj%+d2 3F v;!   !9>>U "" " !9>>Y && & !9>>T !! !r'cU"X1-U-5n[U5S:XdeUSRU:XdeUSRU:XdeUSRU:Xdegr#rr%s r-test_ru_tokenizer_splits_two_diff_close_punctr)-si$,2 3F v;!   !9>>T !! ! !9>>U "" " !9>>Y && &rcU"X-U-U-5n[U5S:XdeUSRU:XdeUSRU:Xdeg)Nrr$rrs r(test_ru_tokenizer_splits_same_open_punctr,8sX%-%/$6 7F v;!   !9>>U "" " !9>>T !! !rcU"X!-U-U-5n[U5S:XdeUSRU:XdeUSRU:Xdeg)Nr+rrrrs r)test_ru_tokenizer_splits_same_close_punctr.AsX$,.6 7F v;!   !9>>T !! ! !9>>U "" "ru 'Тестc`U"U5n[U5S:XdeUSRS:Xdeg)Nrrr'rrs r)test_ru_tokenizer_splits_open_appostropher0Js4 $ F v;!   !9>>S  ru Тест''chU"U5n[U5S:XdeU"S5n[U5S:Xdeg)Nrz''rr)rr r tokens_puncts r)test_ru_tokenizer_splits_double_end_quoter3Qs; $ F v;!  %L |  !! !rzpunct_open,punct_closeuТестcU"X-U-5n[U5S:XdeUSRU:XdeUSRU:XdeUSRU:Xdegr#r)r punct_open punct_closer rs r)test_ru_tokenizer_splits_open_close_punctr7Ysj *+k9 :F v;!   !9>>Z '' ' !9>>T !! ! !9>>[ (( (rzpunct_open2,punct_close2)r!r'cU"X1-U-U-U-5n[U5S:XdeUSRU:XdeUSRU:XdeUSRU:XdeUSRU:XdeUSRU:Xdeg)Nrrrr$r+r)rr5r6 punct_open2 punct_close2r rs r test_ru_tokenizer_two_diff_punctr<es +2T9KG,V WF v;!   !9>>[ (( ( !9>>Z '' ' !9>>T !! ! !9>>[ (( ( !9>>\ )) )ru Тест.c>U"U5nUSRS:Xdeg)Nr.)r rs r%test_ru_tokenizer_splits_trailing_dotr?ts" $ F !9>>S  rcZSnU"U5nU[U5S- RS:Xdeg)Nu+(Раз, два, три, проверка).rr>rrs r'test_ru_tokenizer_splits_bracket_periodrAzs2 8D $ F #f+/ " ' '3 .. .r) uUрекоменду́я подда́ть жару́. Самого́ БаргамотаuUРЕКОМЕНДУ́Я ПОДДА́ТЬ ЖАРУ́. САМОГО́ БАРГАМОТАuTрекоменду̍я подда̍ть жару̍.Самого̍ БаргамотаuUрекоменду̍я подда̍ть жару̍.'Самого̍ БаргамотаuTрекоменду̍я подда̍ть жару̍,самого̍ БаргамотаuTрекоменду̍я подда̍ть жару̍:самого̍ БаргамотаuUрекоменду̍я подда̍ть жару̍. самого̍ БаргамотаuUрекоменду̍я подда̍ть жару̍, самого̍ БаргамотаuUрекоменду̍я подда̍ть жару̍: самого̍ БаргамотаuTрекоменду̍я подда̍ть жару̍-самого̍ БаргамотаcpU"U5nUSRS;deUSR[;deg)Nr)u жару́u ЖАРУ́u жару̍r$)r rrs r*test_ru_tokenizer_handles_final_diacriticsrCs; $ F !9>>G GG G !9>>[ (( (ruTРЕКОМЕНДУ́Я ПОДДА́ТЬ ЖАРУ́.САМОГО́ БАРГАМОТАuTрекоменду̍я подда̍ть жару́.самого́ БаргамотаcZU"U5nUSRR5S:Xdeg)Nruжару́.самого́)r lowerrs r4test_ru_tokenizer_handles_final_diacritic_and_periodrFs.$ F !9>>   !%@ @@ @r)stringrpytest PUNCT_OPEN PUNCT_CLOSE PUNCT_PAIREDmark parametrizerrrr&r)r,r.r0r3r7r<r?rArCrFrrrOsu ! " ? !12$3$ *-.!12"3."+..!12#3/#*-se,.!12"3-."+.se,.!12'3-/'*-.!12"3."+..!12#3/#+/!0! ,0"1"1<@*.)/A)1<@3j\B*. */CA *+/!0! /   ))  ^^AAr