
    hM                        S SK r / SQrSS/rS/rSS/r\ R
                  R                  S\5      S	 5       r\ R
                  R                  S
\5      S 5       r\ R
                  R                  S
\5      S 5       r	\ R
                  R                  S\5      S 5       r
S r\ R
                  R                  S5      S 5       r/ SQr\ R
                  R                  S\5      S 5       rg)    N)),   서울 타워 근처에 살고 있습니다.u0   서울 타워 근처 에 살 고 있 습니다 .)2   영등포구에 있는 맛집 좀 알려주세요.u7   영등포구 에 있 는 맛집 좀 알려 주 세요 .)u$   10$ 할인코드를 적용할까요?u)   10 $ 할인 코드 를 적용 할까요 ?)r   zNNP NNG NNG JKB VV EC VX EF SF)r   z"NNP JKB VV ETM NNG MAG VV VX EP SF)r   z(NNP JKB VV ETM NNG MAG VV+EC VX EP+EF SF)r   z&PROPN NOUN NOUN ADP VERB X AUX X PUNCT)r   z*PROPN ADP VERB X NOUN ADV VERB AUX X PUNCTztext,expected_tokensc                 z    U " U5       Vs/ s H  o3R                   PM     nnXBR                  5       :X  d   eg s  snf Ntextsplit)ko_tokenizerr   expected_tokenstokentokenss        \/home/james-whalen/.local/lib/python3.13/site-packages/spacy/tests/lang/ko/test_tokenizer.pytest_ko_tokenizerr      s9    &24&89&8Ujj&8F9**,,,, :   8ztext,expected_tagsc                 z    U " U5       Vs/ s H  o3R                   PM     nnXBR                  5       :X  d   eg s  snf r   )tag_r	   )r
   r   expected_tagsr   tagss        r   test_ko_tokenizer_tagsr      s9    $0$67$65JJ$6D7&&(((( 8r   c                 X    U " U5      R                   S   nX2R                  5       :X  d   eg )N	full_tags)	user_datar	   )r
   r   r   r   s       r   test_ko_tokenizer_full_tagsr   #   s,    ''4D&&((((    ztext,expected_posc                 z    U " U5       Vs/ s H  o3R                   PM     nnXBR                  5       :X  d   eg s  snf r   )pos_r	   )r
   r   expected_posr   poss        r   test_ko_tokenizer_posr   )   s9    #/#5
6#5%::#5C
6$$&&&& 7r   c                 6    U " S5      n[        U5      S:X  d   eg )N r   )lenr
   r   s     r   test_ko_empty_docr$   /   s    "Fv;!r   i')  c                 >    U " S5      nUS   R                   S:X  d   eg )Nu   미닛 리피터   X)r   r#   s     r   test_ko_tokenizer_unknown_tagr(   4   s#    ,-F!9>>S   r   ))u   있다.u   있다 .)u   '예'는u   ' 예 ' 는)u   부 (富) 는   부 ( 富 ) 는)u   부(富)는r)   )z
1982~1983.z1982 ~ 1983 .)u6   사과·배·복숭아·수박은 모두 과일이다.u=   사과 · 배 · 복숭아 · 수박은 모두 과일이다 .)   그렇구나~r*   )u   『9시 반의 당구』,u   『 9시 반의 당구 』 ,c                 z    U " U5       Vs/ s H  o3R                   PM     nnXBR                  5       :X  d   eg s  snf r   r   )ko_tokenizer_tokenizerr   r   r   r   s        r   test_ko_spacy_tokenizerr-   H   s:    &<T&BC&BUjj&BFC**,,,, Dr   )pytestTOKENIZER_TESTS	TAG_TESTSFULL_TAG_TESTS	POS_TESTSmarkparametrizer   r   r   r   r$   issuer(   SPACY_TOKENIZER_TESTSr-    r   r   <module>r8      s0   j045	
? @8<=	 /A- B-
 -y9) :)
 -~>) ?)
 ,i8' 9'

 5! !	  /1FG- H-r   