
    hS                        S SK r S/ SQ4S/ SQ4S/ SQ4/rS/ S	Q4/rS
/ SQ4S/ SQ4S/ SQ4S/ SQ4/rS/ SQ/ SQ4S/ SQ/ SQ4S/ SQ/ SQ4/r\ R
                  R                  S\5      S 5       r\ R
                  R                  S\5      S 5       r\ R
                  R                  S\5      S 5       r	\ R
                  R                  S\5      S  5       r
g)!    Nu'   Hyvää uutta vuotta t. siht. Niemelä!)u   Hyvääuuttavuottazt.zsiht.u   Niemelä!zPaino on n. 2.2 kg)Painoonzn.z2.2kgz Vuonna 1 eaa. tapahtui kauheita.)Vuonna1zeaa.tapahtuikauheita.uK   1700-luvulle sijoittuva taide-elokuva Wikimedia-säätiön Varsinais-Suomen)z1700-luvulle
sijoittuvaztaide-elokuvau   Wikimedia-säätiönzVarsinais-Suomenz-VTT:ssa ennen v:ta 2010 suoritetut mittaukset)zVTT:ssaennenzv:ta2010
suoritetut
mittauksetzALV:n osuus on 24 %.)zALV:nosuusr   24%r   u   Hiihtäjä oli kilpailun 14:s.)u
   Hiihtäjäoli	kilpailunz14:sr   zEU:n toimesta tehtiin jotain.)zEU:ntoimestatehtiinjotainr   u   Päätimme ettemme tule.)u
   Päätimmeettemmetuler   )u
   päätimmeu   ettär   r   r   zMiksei puhuttaisi?)Miksei
puhuttaisi?)miksir   r    r!   z"He tottelivat vaikkeivat halunneet)He
tottelivatvaikkeivat	halunneet)her$   vaikkau   eivätr'   ztext,expected_tokensc                     U " U5      nU Vs/ s H!  oDR                   (       a  M  UR                  PM#     nnX%:X  d   eg s  snf Nis_spacetextfi_tokenizerr.   expected_tokenstokenstoken
token_lists         \/home/james-whalen/.local/lib/python3.13/site-packages/spacy/tests/lang/fi/test_tokenizer.pytest_fi_tokenizer_abbreviationsr6   9   <    $F*0G&*%**&JG((( H   ??c                     U " U5      nU Vs/ s H!  oDR                   (       a  M  UR                  PM#     nnX%:X  d   eg s  snf r+   r,   r/   s         r5   "test_fi_tokenizer_hyphenated_wordsr:   @   r7   r8   c                     U " U5      nU Vs/ s H!  oDR                   (       a  M  UR                  PM#     nnX%:X  d   eg s  snf r+   r,   r/   s         r5   *test_fi_tokenizer_abbreviation_inflectionsr<   G   r7   r8   z#text,expected_tokens,expected_normsc                     U " U5      nU Vs/ s H!  oUR                   (       a  M  UR                  PM#     nnU Vs/ s H!  oUR                   (       a  M  UR                  PM#     nnX&:X  d   eX7:X  d   eg s  snf s  snf r+   )r-   r.   norm_)r0   r.   r1   expected_normsr2   r3   r4   	norm_lists           r5   test_fi_tokenizer_contractionsrA   N   si    $F*0G&*%**&JG*0G&&IG(((&&& HGs   A4A4A9A9)pytestABBREVIATION_TESTSHYPHENATED_TESTSABBREVIATION_INFLECTION_TESTSCONTRACTION_TESTSmarkparametrizer6   r:   r<   rA        r5   <module>rK      sU    	2F =>*<
  	V	
	  	8H EF%'VW$&TU!  	#24 	)* 	-;= & /1CD) E) /1AB) C) /1NO) P) >@QR' S'rJ   