Text Generation
Transformers
PyTorch
English
hed
HDT-ED / special_tokens_map.json
howey's picture
Upload 9 files
50391a5 verified
{
"additional_special_tokens": [
"<doc>",
"<sec>",
"<NLU>",
"<NLG>",
"<S2S>",
"<extra_id_500>",
"<extra_id_499>",
"<extra_id_498>",
"<extra_id_497>",
"<extra_id_496>",
"<extra_id_495>",
"<extra_id_494>",
"<extra_id_493>",
"<extra_id_492>",
"<extra_id_491>",
"<extra_id_490>",
"<extra_id_489>",
"<extra_id_488>",
"<extra_id_487>",
"<extra_id_486>",
"<extra_id_485>",
"<extra_id_484>",
"<extra_id_483>",
"<extra_id_482>",
"<extra_id_481>",
"<extra_id_480>",
"<extra_id_479>",
"<extra_id_478>",
"<extra_id_477>",
"<extra_id_476>",
"<extra_id_475>",
"<extra_id_474>",
"<extra_id_473>",
"<extra_id_472>",
"<extra_id_471>",
"<extra_id_470>",
"<extra_id_469>",
"<extra_id_468>",
"<extra_id_467>",
"<extra_id_466>",
"<extra_id_465>",
"<extra_id_464>",
"<extra_id_463>",
"<extra_id_462>",
"<extra_id_461>",
"<extra_id_460>",
"<extra_id_459>",
"<extra_id_458>",
"<extra_id_457>",
"<extra_id_456>",
"<extra_id_455>",
"<extra_id_454>",
"<extra_id_453>",
"<extra_id_452>",
"<extra_id_451>",
"<extra_id_450>",
"<extra_id_449>",
"<extra_id_448>",
"<extra_id_447>",
"<extra_id_446>",
"<extra_id_445>",
"<extra_id_444>",
"<extra_id_443>",
"<extra_id_442>",
"<extra_id_441>",
"<extra_id_440>",
"<extra_id_439>",
"<extra_id_438>",
"<extra_id_437>",
"<extra_id_436>",
"<extra_id_435>",
"<extra_id_434>",
"<extra_id_433>",
"<extra_id_432>",
"<extra_id_431>",
"<extra_id_430>",
"<extra_id_429>",
"<extra_id_428>",
"<extra_id_427>",
"<extra_id_426>",
"<extra_id_425>",
"<extra_id_424>",
"<extra_id_423>",
"<extra_id_422>",
"<extra_id_421>",
"<extra_id_420>",
"<extra_id_419>",
"<extra_id_418>",
"<extra_id_417>",
"<extra_id_416>",
"<extra_id_415>",
"<extra_id_414>",
"<extra_id_413>",
"<extra_id_412>",
"<extra_id_411>",
"<extra_id_410>",
"<extra_id_409>",
"<extra_id_408>",
"<extra_id_407>",
"<extra_id_406>",
"<extra_id_405>",
"<extra_id_404>",
"<extra_id_403>",
"<extra_id_402>",
"<extra_id_401>",
"<extra_id_400>",
"<extra_id_399>",
"<extra_id_398>",
"<extra_id_397>",
"<extra_id_396>",
"<extra_id_395>",
"<extra_id_394>",
"<extra_id_393>",
"<extra_id_392>",
"<extra_id_391>",
"<extra_id_390>",
"<extra_id_389>",
"<extra_id_388>",
"<extra_id_387>",
"<extra_id_386>",
"<extra_id_385>",
"<extra_id_384>",
"<extra_id_383>",
"<extra_id_382>",
"<extra_id_381>",
"<extra_id_380>",
"<extra_id_379>",
"<extra_id_378>",
"<extra_id_377>",
"<extra_id_376>",
"<extra_id_375>",
"<extra_id_374>",
"<extra_id_373>",
"<extra_id_372>",
"<extra_id_371>",
"<extra_id_370>",
"<extra_id_369>",
"<extra_id_368>",
"<extra_id_367>",
"<extra_id_366>",
"<extra_id_365>",
"<extra_id_364>",
"<extra_id_363>",
"<extra_id_362>",
"<extra_id_361>",
"<extra_id_360>",
"<extra_id_359>",
"<extra_id_358>",
"<extra_id_357>",
"<extra_id_356>",
"<extra_id_355>",
"<extra_id_354>",
"<extra_id_353>",
"<extra_id_352>",
"<extra_id_351>",
"<extra_id_350>",
"<extra_id_349>",
"<extra_id_348>",
"<extra_id_347>",
"<extra_id_346>",
"<extra_id_345>",
"<extra_id_344>",
"<extra_id_343>",
"<extra_id_342>",
"<extra_id_341>",
"<extra_id_340>",
"<extra_id_339>",
"<extra_id_338>",
"<extra_id_337>",
"<extra_id_336>",
"<extra_id_335>",
"<extra_id_334>",
"<extra_id_333>",
"<extra_id_332>",
"<extra_id_331>",
"<extra_id_330>",
"<extra_id_329>",
"<extra_id_328>",
"<extra_id_327>",
"<extra_id_326>",
"<extra_id_325>",
"<extra_id_324>",
"<extra_id_323>",
"<extra_id_322>",
"<extra_id_321>",
"<extra_id_320>",
"<extra_id_319>",
"<extra_id_318>",
"<extra_id_317>",
"<extra_id_316>",
"<extra_id_315>",
"<extra_id_314>",
"<extra_id_313>",
"<extra_id_312>",
"<extra_id_311>",
"<extra_id_310>",
"<extra_id_309>",
"<extra_id_308>",
"<extra_id_307>",
"<extra_id_306>",
"<extra_id_305>",
"<extra_id_304>",
"<extra_id_303>",
"<extra_id_302>",
"<extra_id_301>",
"<extra_id_300>",
"<extra_id_299>",
"<extra_id_298>",
"<extra_id_297>",
"<extra_id_296>",
"<extra_id_295>",
"<extra_id_294>",
"<extra_id_293>",
"<extra_id_292>",
"<extra_id_291>",
"<extra_id_290>",
"<extra_id_289>",
"<extra_id_288>",
"<extra_id_287>",
"<extra_id_286>",
"<extra_id_285>",
"<extra_id_284>",
"<extra_id_283>",
"<extra_id_282>",
"<extra_id_281>",
"<extra_id_280>",
"<extra_id_279>",
"<extra_id_278>",
"<extra_id_277>",
"<extra_id_276>",
"<extra_id_275>",
"<extra_id_274>",
"<extra_id_273>",
"<extra_id_272>",
"<extra_id_271>",
"<extra_id_270>",
"<extra_id_269>",
"<extra_id_268>",
"<extra_id_267>",
"<extra_id_266>",
"<extra_id_265>",
"<extra_id_264>",
"<extra_id_263>",
"<extra_id_262>",
"<extra_id_261>",
"<extra_id_260>",
"<extra_id_259>",
"<extra_id_258>",
"<extra_id_257>",
"<extra_id_256>",
"<extra_id_255>",
"<extra_id_254>",
"<extra_id_253>",
"<extra_id_252>",
"<extra_id_251>",
"<extra_id_250>",
"<extra_id_249>",
"<extra_id_248>",
"<extra_id_247>",
"<extra_id_246>",
"<extra_id_245>",
"<extra_id_244>",
"<extra_id_243>",
"<extra_id_242>",
"<extra_id_241>",
"<extra_id_240>",
"<extra_id_239>",
"<extra_id_238>",
"<extra_id_237>",
"<extra_id_236>",
"<extra_id_235>",
"<extra_id_234>",
"<extra_id_233>",
"<extra_id_232>",
"<extra_id_231>",
"<extra_id_230>",
"<extra_id_229>",
"<extra_id_228>",
"<extra_id_227>",
"<extra_id_226>",
"<extra_id_225>",
"<extra_id_224>",
"<extra_id_223>",
"<extra_id_222>",
"<extra_id_221>",
"<extra_id_220>",
"<extra_id_219>",
"<extra_id_218>",
"<extra_id_217>",
"<extra_id_216>",
"<extra_id_215>",
"<extra_id_214>",
"<extra_id_213>",
"<extra_id_212>",
"<extra_id_211>",
"<extra_id_210>",
"<extra_id_209>",
"<extra_id_208>",
"<extra_id_207>",
"<extra_id_206>",
"<extra_id_205>",
"<extra_id_204>",
"<extra_id_203>",
"<extra_id_202>",
"<extra_id_201>",
"<extra_id_200>",
"<extra_id_199>",
"<extra_id_198>",
"<extra_id_197>",
"<extra_id_196>",
"<extra_id_195>",
"<extra_id_194>",
"<extra_id_193>",
"<extra_id_192>",
"<extra_id_191>",
"<extra_id_190>",
"<extra_id_189>",
"<extra_id_188>",
"<extra_id_187>",
"<extra_id_186>",
"<extra_id_185>",
"<extra_id_184>",
"<extra_id_183>",
"<extra_id_182>",
"<extra_id_181>",
"<extra_id_180>",
"<extra_id_179>",
"<extra_id_178>",
"<extra_id_177>",
"<extra_id_176>",
"<extra_id_175>",
"<extra_id_174>",
"<extra_id_173>",
"<extra_id_172>",
"<extra_id_171>",
"<extra_id_170>",
"<extra_id_169>",
"<extra_id_168>",
"<extra_id_167>",
"<extra_id_166>",
"<extra_id_165>",
"<extra_id_164>",
"<extra_id_163>",
"<extra_id_162>",
"<extra_id_161>",
"<extra_id_160>",
"<extra_id_159>",
"<extra_id_158>",
"<extra_id_157>",
"<extra_id_156>",
"<extra_id_155>",
"<extra_id_154>",
"<extra_id_153>",
"<extra_id_152>",
"<extra_id_151>",
"<extra_id_150>",
"<extra_id_149>",
"<extra_id_148>",
"<extra_id_147>",
"<extra_id_146>",
"<extra_id_145>",
"<extra_id_144>",
"<extra_id_143>",
"<extra_id_142>",
"<extra_id_141>",
"<extra_id_140>",
"<extra_id_139>",
"<extra_id_138>",
"<extra_id_137>",
"<extra_id_136>",
"<extra_id_135>",
"<extra_id_134>",
"<extra_id_133>",
"<extra_id_132>",
"<extra_id_131>",
"<extra_id_130>",
"<extra_id_129>",
"<extra_id_128>",
"<extra_id_127>",
"<extra_id_126>",
"<extra_id_125>",
"<extra_id_124>",
"<extra_id_123>",
"<extra_id_122>",
"<extra_id_121>",
"<extra_id_120>",
"<extra_id_119>",
"<extra_id_118>",
"<extra_id_117>",
"<extra_id_116>",
"<extra_id_115>",
"<extra_id_114>",
"<extra_id_113>",
"<extra_id_112>",
"<extra_id_111>",
"<extra_id_110>",
"<extra_id_109>",
"<extra_id_108>",
"<extra_id_107>",
"<extra_id_106>",
"<extra_id_105>",
"<extra_id_104>",
"<extra_id_103>",
"<extra_id_102>",
"<extra_id_101>",
"<extra_id_100>",
"<extra_id_99>",
"<extra_id_98>",
"<extra_id_97>",
"<extra_id_96>",
"<extra_id_95>",
"<extra_id_94>",
"<extra_id_93>",
"<extra_id_92>",
"<extra_id_91>",
"<extra_id_90>",
"<extra_id_89>",
"<extra_id_88>",
"<extra_id_87>",
"<extra_id_86>",
"<extra_id_85>",
"<extra_id_84>",
"<extra_id_83>",
"<extra_id_82>",
"<extra_id_81>",
"<extra_id_80>",
"<extra_id_79>",
"<extra_id_78>",
"<extra_id_77>",
"<extra_id_76>",
"<extra_id_75>",
"<extra_id_74>",
"<extra_id_73>",
"<extra_id_72>",
"<extra_id_71>",
"<extra_id_70>",
"<extra_id_69>",
"<extra_id_68>",
"<extra_id_67>",
"<extra_id_66>",
"<extra_id_65>",
"<extra_id_64>",
"<extra_id_63>",
"<extra_id_62>",
"<extra_id_61>",
"<extra_id_60>",
"<extra_id_59>",
"<extra_id_58>",
"<extra_id_57>",
"<extra_id_56>",
"<extra_id_55>",
"<extra_id_54>",
"<extra_id_53>",
"<extra_id_52>",
"<extra_id_51>",
"<extra_id_50>",
"<extra_id_49>",
"<extra_id_48>",
"<extra_id_47>",
"<extra_id_46>",
"<extra_id_45>",
"<extra_id_44>",
"<extra_id_43>",
"<extra_id_42>",
"<extra_id_41>",
"<extra_id_40>",
"<extra_id_39>",
"<extra_id_38>",
"<extra_id_37>",
"<extra_id_36>",
"<extra_id_35>",
"<extra_id_34>",
"<extra_id_33>",
"<extra_id_32>",
"<extra_id_31>",
"<extra_id_30>",
"<extra_id_29>",
"<extra_id_28>",
"<extra_id_27>",
"<extra_id_26>",
"<extra_id_25>",
"<extra_id_24>",
"<extra_id_23>",
"<extra_id_22>",
"<extra_id_21>",
"<extra_id_20>",
"<extra_id_19>",
"<extra_id_18>",
"<extra_id_17>",
"<extra_id_16>",
"<extra_id_15>",
"<extra_id_14>",
"<extra_id_13>",
"<extra_id_12>",
"<extra_id_11>",
"<extra_id_10>",
"<extra_id_9>",
"<extra_id_8>",
"<extra_id_7>",
"<extra_id_6>",
"<extra_id_5>",
"<extra_id_4>",
"<extra_id_3>",
"<extra_id_2>",
"<extra_id_1>",
"<extra_id_0>"
],
"bos_token": {
"content": "<s>",
"lstrip": false,
"normalized": true,
"rstrip": false,
"single_word": false
},
"cls_token": "<cls>",
"eos_token": {
"content": "</s>",
"lstrip": false,
"normalized": true,
"rstrip": false,
"single_word": false
},
"mask_token": {
"content": "<mask>",
"lstrip": true,
"normalized": true,
"rstrip": false,
"single_word": false
},
"pad_token": {
"content": "<pad>",
"lstrip": false,
"normalized": true,
"rstrip": false,
"single_word": false
},
"sep_token": {
"content": "</s>",
"lstrip": false,
"normalized": true,
"rstrip": false,
"single_word": false
},
"unk_token": {
"content": "<unk>",
"lstrip": false,
"normalized": true,
"rstrip": false,
"single_word": false
}
}