o
    Zh7                     @   s  d dl mZmZ G dd dedZG dd dedZG dd dedZG d	d
 d
edZG dd dedZG dd dedZG dd dedZ	G dd dedZ
G dd dedZG dd dedZG dd dedZG dd dedZG dd dedZG dd dedZG dd  d edZG d!d" d"edZG d#d$ d$edZG d%d& d&edZG d'd( d(edZG d)d* d*edZG d+d, d,edZG d-d. d.edZG d/d0 d0edZG d1d2 d2edZG d3d4 d4edZG d5d6 d6edZG d7d8 d8edZG d9d: d:edZG d;d< d<edZG d=d> d>edZ G d?d@ d@edZ!G dAdB dBedZ"G dCdD dDedZ#G dEdF dFedZ$G dGdH dHedZ%G dIdJ dJedZ&dKS )L   )DummyObjectrequires_backendsc                   @      e Zd ZdgZdd ZdS )AlbertTokenizersentencepiecec                 O      t | dg d S Nr   r   selfargskwargs r   ]/var/www/auris/lib/python3.10/site-packages/transformers/utils/dummy_sentencepiece_objects.py__init__      zAlbertTokenizer.__init__N__name__
__module____qualname__Z	_backendsr   r   r   r   r   r          r   )	metaclassc                   @   r   )BarthezTokenizerr   c                 O   r   r   r	   r
   r   r   r   r      r   zBarthezTokenizer.__init__Nr   r   r   r   r   r      r   r   c                   @   r   )BartphoTokenizerr   c                 O   r   r   r	   r
   r   r   r   r      r   zBartphoTokenizer.__init__Nr   r   r   r   r   r      r   r   c                   @   r   )BertGenerationTokenizerr   c                 O   r   r   r	   r
   r   r   r   r      r   z BertGenerationTokenizer.__init__Nr   r   r   r   r   r      r   r   c                   @   r   )BigBirdTokenizerr   c                 O   r   r   r	   r
   r   r   r   r   $   r   zBigBirdTokenizer.__init__Nr   r   r   r   r   r   !   r   r   c                   @   r   )CamembertTokenizerr   c                 O   r   r   r	   r
   r   r   r   r   +   r   zCamembertTokenizer.__init__Nr   r   r   r   r   r   (   r   r   c                   @   r   )CodeLlamaTokenizerr   c                 O   r   r   r	   r
   r   r   r   r   2   r   zCodeLlamaTokenizer.__init__Nr   r   r   r   r   r   /   r   r   c                   @   r   )CpmTokenizerr   c                 O   r   r   r	   r
   r   r   r   r   9   r   zCpmTokenizer.__init__Nr   r   r   r   r   r   6   r   r   c                   @   r   )DebertaV2Tokenizerr   c                 O   r   r   r	   r
   r   r   r   r   @   r   zDebertaV2Tokenizer.__init__Nr   r   r   r   r   r   =   r   r   c                   @   r   )ErnieMTokenizerr   c                 O   r   r   r	   r
   r   r   r   r   G   r   zErnieMTokenizer.__init__Nr   r   r   r   r   r    D   r   r    c                   @   r   )XLMProphetNetTokenizerr   c                 O   r   r   r	   r
   r   r   r   r   N   r   zXLMProphetNetTokenizer.__init__Nr   r   r   r   r   r!   K   r   r!   c                   @   r   )FNetTokenizerr   c                 O   r   r   r	   r
   r   r   r   r   U   r   zFNetTokenizer.__init__Nr   r   r   r   r   r"   R   r   r"   c                   @   r   )GemmaTokenizerr   c                 O   r   r   r	   r
   r   r   r   r   \   r   zGemmaTokenizer.__init__Nr   r   r   r   r   r#   Y   r   r#   c                   @   r   )GPTSw3Tokenizerr   c                 O   r   r   r	   r
   r   r   r   r   c   r   zGPTSw3Tokenizer.__init__Nr   r   r   r   r   r$   `   r   r$   c                   @   r   )LayoutXLMTokenizerr   c                 O   r   r   r	   r
   r   r   r   r   j   r   zLayoutXLMTokenizer.__init__Nr   r   r   r   r   r%   g   r   r%   c                   @   r   )LlamaTokenizerr   c                 O   r   r   r	   r
   r   r   r   r   q   r   zLlamaTokenizer.__init__Nr   r   r   r   r   r&   n   r   r&   c                   @   r   )M2M100Tokenizerr   c                 O   r   r   r	   r
   r   r   r   r   x   r   zM2M100Tokenizer.__init__Nr   r   r   r   r   r'   u   r   r'   c                   @   r   )MarianTokenizerr   c                 O   r   r   r	   r
   r   r   r   r      r   zMarianTokenizer.__init__Nr   r   r   r   r   r(   |   r   r(   c                   @   r   )MBartTokenizerr   c                 O   r   r   r	   r
   r   r   r   r      r   zMBartTokenizer.__init__Nr   r   r   r   r   r)      r   r)   c                   @   r   )MBart50Tokenizerr   c                 O   r   r   r	   r
   r   r   r   r      r   zMBart50Tokenizer.__init__Nr   r   r   r   r   r*      r   r*   c                   @   r   )MLukeTokenizerr   c                 O   r   r   r	   r
   r   r   r   r      r   zMLukeTokenizer.__init__Nr   r   r   r   r   r+      r   r+   c                   @   r   )MT5Tokenizerr   c                 O   r   r   r	   r
   r   r   r   r      r   zMT5Tokenizer.__init__Nr   r   r   r   r   r,      r   r,   c                   @   r   )NllbTokenizerr   c                 O   r   r   r	   r
   r   r   r   r      r   zNllbTokenizer.__init__Nr   r   r   r   r   r-      r   r-   c                   @   r   )PegasusTokenizerr   c                 O   r   r   r	   r
   r   r   r   r      r   zPegasusTokenizer.__init__Nr   r   r   r   r   r.      r   r.   c                   @   r   )PLBartTokenizerr   c                 O   r   r   r	   r
   r   r   r   r      r   zPLBartTokenizer.__init__Nr   r   r   r   r   r/      r   r/   c                   @   r   )ReformerTokenizerr   c                 O   r   r   r	   r
   r   r   r   r      r   zReformerTokenizer.__init__Nr   r   r   r   r   r0      r   r0   c                   @   r   )RemBertTokenizerr   c                 O   r   r   r	   r
   r   r   r   r      r   zRemBertTokenizer.__init__Nr   r   r   r   r   r1      r   r1   c                   @   r   )SeamlessM4TTokenizerr   c                 O   r   r   r	   r
   r   r   r   r      r   zSeamlessM4TTokenizer.__init__Nr   r   r   r   r   r2      r   r2   c                   @   r   )SiglipTokenizerr   c                 O   r   r   r	   r
   r   r   r   r      r   zSiglipTokenizer.__init__Nr   r   r   r   r   r3      r   r3   c                   @   r   )Speech2TextTokenizerr   c                 O   r   r   r	   r
   r   r   r   r      r   zSpeech2TextTokenizer.__init__Nr   r   r   r   r   r4      r   r4   c                   @   r   )SpeechT5Tokenizerr   c                 O   r   r   r	   r
   r   r   r   r      r   zSpeechT5Tokenizer.__init__Nr   r   r   r   r   r5      r   r5   c                   @   r   )T5Tokenizerr   c                 O   r   r   r	   r
   r   r   r   r      r   zT5Tokenizer.__init__Nr   r   r   r   r   r6      r   r6   c                   @   r   )UdopTokenizerr   c                 O   r   r   r	   r
   r   r   r   r      r   zUdopTokenizer.__init__Nr   r   r   r   r   r7      r   r7   c                   @   r   )XGLMTokenizerr   c                 O   r   r   r	   r
   r   r   r   r      r   zXGLMTokenizer.__init__Nr   r   r   r   r   r8      r   r8   c                   @   r   )XLMRobertaTokenizerr   c                 O   r   r   r	   r
   r   r   r   r      r   zXLMRobertaTokenizer.__init__Nr   r   r   r   r   r9      r   r9   c                   @   r   )XLNetTokenizerr   c                 O   r   r   r	   r
   r   r   r   r      r   zXLNetTokenizer.__init__Nr   r   r   r   r   r:      r   r:   N)'utilsr   r   r   r   r   r   r   r   r   r   r   r    r!   r"   r#   r$   r%   r&   r'   r(   r)   r*   r+   r,   r-   r.   r/   r0   r1   r2   r3   r4   r5   r6   r7   r8   r9   r:   r   r   r   r   <module>   sJ   