安装spacy以及在torchtext中使用它

- 日理万妓 2022-01-31 13:21 314阅读 0赞

下载源码:https://github.com/explosion/spaCy

安装:

  1. pip install spaCy-master.zip

下载模型:

  1. python -m spacy download en_core_web_sm

注意,在torchtext中使用spacy时,由于field的默认属性是tokenizer_language=’en’

watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xydDM2Ng_size_16_color_FFFFFF_t_70

当使用en_core_web_sm时要改创建的field属性为tokenizer_language=’en_core_web_sm’

  1. self.TEXT = data.Field(init_token='<start>', eos_token='<eos>', lower=True, tokenize='spacy', tokenizer_language='en_core_web_sm', fix_length=16)

发表评论

表情:
评论列表 (有 0 条评论,314人围观)

还没有评论,来说两句吧...

相关阅读