ķ
     ķh&  ã                   ķ´    S SK r S/ SQ4S/ SQ4S/ SQ4S/ S	Q4S
/ SQ4S/ SQ4S/ SQ4S/ SQ4S/ SQ4/	r\ R                  R                  S\5      S 5       rS rg)é    Nu4   āĻāĻŽāĻŋ āĻŦāĻžāĻāĻ˛āĻžāĻ¯āĻŧ āĻāĻžāĻ¨ āĻāĻžāĻ!)õ	   āĻāĻŽāĻŋõ   āĻŦāĻžāĻāĻ˛āĻžāĻ¯āĻŧu	   āĻāĻžāĻ¨u	   āĻāĻžāĻÚ!u3   āĻāĻŽāĻŋ āĻŦāĻžāĻāĻ˛āĻžāĻ¯āĻŧ āĻāĻĨāĻž āĻāĻāĨ¤)r   r   u	   āĻāĻĨāĻžu   āĻāĻõ   āĨ¤ui   āĻŦāĻ¸ā§āĻ¨ā§āĻ§āĻ°āĻž āĻāĻ¨āĻ¸āĻŽā§āĻŽā§āĻā§ āĻĻā§āĻˇ āĻ¸ā§āĻŦā§āĻāĻžāĻ° āĻāĻ°āĻ˛ā§ āĻ¨āĻž?)u   āĻŦāĻ¸ā§āĻ¨ā§āĻ§āĻ°āĻžu   āĻāĻ¨āĻ¸āĻŽā§āĻŽā§āĻā§u	   āĻĻā§āĻˇu   āĻ¸ā§āĻŦā§āĻāĻžāĻ°u   āĻāĻ°āĻ˛ā§õ   āĻ¨āĻžÚ?u5   āĻāĻžāĻāĻž āĻĨāĻžāĻāĻ˛ā§ āĻāĻŋ āĻ¨āĻž āĻšāĻ¯āĻŧ!)u   āĻāĻžāĻāĻžu   āĻĨāĻžāĻāĻ˛ā§õ   āĻāĻŋr   u	   āĻšāĻ¯āĻŧr   u   āĻ¸āĻ°āĻāĻžāĻ°āĻŋ āĻŦāĻŋāĻļā§āĻŦāĻŦāĻŋāĻĻā§āĻ¯āĻžāĻ˛ā§-āĻāĻ° āĻāĻžāĻ¤ā§āĻ° āĻ¨āĻ āĻŦāĻ˛ā§āĻ āĻāĻŋ āĻāĻŽāĻ¨ āĻāĻāĻ°āĻŖ?)u   āĻ¸āĻ°āĻāĻžāĻ°āĻŋu'   āĻŦāĻŋāĻļā§āĻŦāĻŦāĻŋāĻĻā§āĻ¯āĻžāĻ˛ā§Ú-õ   āĻāĻ°u   āĻāĻžāĻ¤ā§āĻ°u   āĻ¨āĻu   āĻŦāĻ˛ā§āĻr	   u	   āĻāĻŽāĻ¨u   āĻāĻāĻ°āĻŖr   uL   āĻ¤āĻžāĻ°āĻž āĻŦāĻ˛ā§, "āĻāĻ°āĻž āĻāĻžāĻŽāĻžāĻ°ā§āĻ° āĻŽā§āĻ°āĻāĻŋāĨ¤")	u   āĻ¤āĻžāĻ°āĻžu	   āĻŦāĻ˛ā§Ú,Ú"u	   āĻāĻ°āĻžu   āĻāĻžāĻŽāĻžāĻ°ā§āĻ°u   āĻŽā§āĻ°āĻāĻŋr   r   u   ā§Š*ā§Š=ā§Ŧ?)õ   ā§ŠÚ*r   Ú=u   ā§Ŧr   u?   āĻāĻžāĻāĻ āĻžāĻ˛-āĻāĻ° āĻāĻ¨ā§āĻ§āĻ āĻāĻ¨ā§āĻ¯āĻ°āĻāĻŽ)u   āĻāĻžāĻāĻ āĻžāĻ˛r
   r   u   āĻāĻ¨ā§āĻ§āĻu   āĻāĻ¨ā§āĻ¯āĻ°āĻāĻŽu^   āĻĄāĻ āĻāĻžāĻ˛ā§āĻĻ āĻŦāĻ˛āĻ˛ā§āĻ¨ āĻĸāĻžāĻāĻžāĻ¯āĻŧ ā§Šā§Ģ āĻĄāĻŋāĻā§āĻ°āĻŋ āĻ¸ā§.āĨ¤)u   āĻĄāĻu   āĻāĻžāĻ˛ā§āĻĻu   āĻŦāĻ˛āĻ˛ā§āĻ¨u   āĻĸāĻžāĻāĻžāĻ¯āĻŧu   ā§Šā§Ģu   āĻĄāĻŋāĻā§āĻ°āĻŋu   āĻ¸ā§.r   ztext,expected_tokensc                 ķ    U " U5      nU Vs/ s H!  oDR                   (       a  M  UR                  PM#     nnX%:X  d   eg s  snf )N)Úis_spaceÚtext)Úbn_tokenizerr   Úexpected_tokensÚtokensÚtokenÚ
token_lists         Ú\/home/james-whalen/.local/lib/python3.13/site-packages/spacy/tests/lang/bn/test_tokenizer.pyÚ#test_bn_tokenizer_handles_testcasesr      s<    á$ĶFŲ*0ĶGĒ& ŋŊ*%**Š&JĐGØĶ(Đ(Ņ(ųō Hs   ?Ĩ?c                 ķ:    SnU " U5      n[        U5      S:X  d   eg )Nu×  āĻ¨āĻ°ā§āĻĨ āĻ¸āĻžāĻāĻĨ āĻŦāĻŋāĻļā§āĻŦāĻŦāĻŋāĻĻā§āĻ¯āĻžāĻ˛āĻ¯āĻŧā§ āĻ¸āĻžāĻ°āĻžāĻŦāĻāĻ° āĻā§āĻ¨ āĻ¨āĻž āĻā§āĻ¨ āĻŦāĻŋāĻˇāĻ¯āĻŧā§ āĻāĻŦā§āĻˇāĻŖāĻž āĻāĻ˛āĻ¤ā§āĻ āĻĨāĻžāĻā§āĨ¤ āĻāĻ­āĻŋāĻā§āĻ āĻĢā§āĻ¯āĻžāĻāĻžāĻ˛ā§āĻāĻŋ āĻŽā§āĻŽā§āĻŦāĻžāĻ°āĻāĻŖ āĻĒā§āĻ°āĻžāĻ¯āĻŧāĻ āĻļāĻŋāĻā§āĻˇāĻžāĻ°ā§āĻĨā§āĻĻā§āĻ° āĻ¨āĻŋāĻ¯āĻŧā§ āĻŦāĻŋāĻ­āĻŋāĻ¨ā§āĻ¨ āĻāĻŦā§āĻˇāĻŖāĻž āĻĒā§āĻ°āĻāĻ˛ā§āĻĒā§ āĻāĻžāĻ āĻāĻ°ā§āĻ¨, āĻ¯āĻžāĻ° āĻŽāĻ§ā§āĻ¯ā§ āĻ°āĻ¯āĻŧā§āĻā§ āĻ°ā§āĻŦāĻ āĻĨā§āĻā§ āĻŽā§āĻļāĻŋāĻ¨ āĻ˛āĻžāĻ°ā§āĻ¨āĻŋāĻ āĻ¸āĻŋāĻ¸ā§āĻā§āĻŽ āĻ āĻāĻ°ā§āĻāĻŋāĻĢāĻŋāĻļāĻŋāĻ¯āĻŧāĻžāĻ˛ āĻāĻ¨ā§āĻā§āĻ˛āĻŋāĻā§āĻ¨ā§āĻ¸āĨ¤ āĻāĻ¸āĻāĻ˛ āĻĒā§āĻ°āĻāĻ˛ā§āĻĒā§ āĻāĻžāĻ āĻāĻ°āĻžāĻ° āĻŽāĻžāĻ§ā§āĻ¯āĻŽā§ āĻ¸āĻāĻļā§āĻ˛āĻŋāĻˇā§āĻ āĻā§āĻˇā§āĻ¤ā§āĻ°ā§ āĻ¯āĻĨā§āĻˇā§āĻ  āĻĒāĻ°āĻŋāĻŽāĻžāĻŖ āĻ¸ā§āĻĒā§āĻļāĻžāĻ˛āĻžāĻāĻāĻĄ āĻšāĻāĻ¯āĻŧāĻž āĻ¸āĻŽā§āĻ­āĻŦāĨ¤ āĻāĻ° āĻāĻŦā§āĻˇāĻŖāĻžāĻ° āĻāĻžāĻ āĻ¤ā§āĻŽāĻžāĻ° āĻā§āĻ¯āĻžāĻ°āĻŋāĻ¯āĻŧāĻžāĻ°āĻā§ āĻ ā§āĻ˛ā§ āĻ¨āĻŋāĻ¯āĻŧā§ āĻ¯āĻžāĻŦā§ āĻāĻ¨ā§āĻāĻāĻžāĻ¨āĻŋ! āĻāĻ¨ā§āĻā§āĻ¸ā§āĻ āĻĒā§āĻ°ā§āĻā§āĻ°āĻžāĻŽāĻžāĻ° āĻšāĻ, āĻāĻŦā§āĻˇāĻ āĻāĻŋāĻāĻŦāĻž āĻĄā§āĻ­ā§āĻ˛āĻĒāĻžāĻ° - āĻ¨āĻ°ā§āĻĨ āĻ¸āĻžāĻāĻĨ āĻāĻāĻ¨āĻŋāĻ­āĻžāĻ°ā§āĻ¸āĻŋāĻāĻŋāĻ¤ā§ āĻ¤ā§āĻŽāĻžāĻ° āĻĒā§āĻ°āĻ¤āĻŋāĻ­āĻž āĻŦāĻŋāĻāĻžāĻļā§āĻ° āĻ¸ā§āĻ¯ā§āĻ āĻ°āĻ¯āĻŧā§āĻā§āĻāĨ¤ āĻ¨āĻ°ā§āĻĨ āĻ¸āĻžāĻāĻĨā§āĻ° āĻāĻ¸āĻžāĻ§āĻžāĻ°āĻŖ āĻāĻŽāĻŋāĻāĻ¨āĻŋāĻāĻŋāĻ¤ā§ āĻ¤ā§āĻŽāĻžāĻā§ āĻ¸āĻžāĻĻāĻ° āĻāĻŽāĻ¨ā§āĻ¤ā§āĻ°āĻŖāĨ¤éT   )Úlen)r   r   r   s      r   Ú#test_bn_tokenizer_handles_long_textr      s(    đTDņ $ĶFÜv;"ĶĐŅķ    )ÚpytestÚ	TESTCASESÚmarkÚparametrizer   r   Š r   r   Ú<module>r%      sÅ   đÛ đ
 <ō  >Cđ  DØ:ō  =Ađ  BØpō  ssđ  tØ<ō  ?Hđ  Iđ Lō  Nwđ  xØSō  VBđ  CØŌ9Đ:ØFō  IZđ  [āeō  h`đ  ađ	đ  ×ŅĐ/°Ķ;ņ)ķ <đ)ķ	r   