
    hm                         S r SSKrS r\R                  R	                  S/ SQ5      S 5       r\R                  R	                  S/ SQ5      S	 5       rg)
z9Test that longer and mixed texts are tokenized correctly.    Nc                 :    SnU " U5      n[        U5      S:X  d   eg )Nu  Una taula amb grans gerres de begudes i palles de coloraines com a reclam. Una carta
    cridanera amb ofertes de tapes, paelles i sangria. Un cambrer amb un somriure que convida a
    seure. La ubicació perfecta: el bell mig de la Rambla. Però és la una del migdia d’un dimecres
    de tardor i no hi ha ningú assegut a la terrassa del local. El dia és rúfol, però no fa fred i
    a la majoria de terrasses de la Rambla hi ha poca gent. La immensa majoria dels clients -tret
    d’alguna excepció com al restaurant Núria- són turistes. I la immensa majoria tenen entre mans
    una gerra de cervesa. Ens asseiem -fotògraf i periodista- en una terrassa buida.   len)ca_tokenizertexttokenss      W/home/james-whalen/.local/lib/python3.13/site-packages/spacy/tests/lang/ca/test_text.py#test_ca_tokenizer_handles_long_textr      s(    YD $Fv;#    ztext,length))u   Perquè va anar-hi?   )zEl cotxe dels veins.   )u   “Ah no?”r   )u(   Sí! "Anem", va contestar el Joan Carles   )u   Van córrer aprox. 10kmr   )u   Llavors perqué...   )u   Vull parlar-te'n demà al matí   )u!   Vull explicar-t'ho demà al matír   c                 6    U " U5      n[        U5      U:X  d   eg )Nr   )r   r   lengthr	   s       r
   test_ca_tokenizer_handles_cntsr      s      $Fv;&   r   z
text,match))10T)1T)z10,000T)z10,00T)z999.0T)unT)dosT)u   bilióT)gosF),F)z1/2Tc                 `    U " U5      n[        U5      S:X  d   eUS   R                  U:X  d   eg )N   r   )r   like_num)r   r   matchr	   s       r
   test_ca_lex_attrs_like_numberr   %   s8    " $Fv;!!9&&&r   )__doc__pytestr   markparametrizer   r    r   r
   <module>r%      sf    ? 
 	!!
  '! 'r   