Wikipedia 语料库处理_GZGlenn的博客-CSDN博客

Wikipedia 语料库处理

Coding 专栏收录该内容
5 篇文章 0 订阅

参考:http://licstar.net/archives/262

参考的博客略旧,根据博客内容调整了处理过程

第一步:下载语料

最新的:http://download.wikipedia.com/zhwiki/latest/zhwiki-latest-pages-articles.xml.bz2

第二步:抽取正文

  1. 下载 Wikipedia Extractor:https://github.com/attardi/wikiextractor
  2. 安装 Wikipedia Extractor:

    sudo python setup.py install

  3. 抽取正文:

    python WikiExractorPath/WikiExtractor.py -b 1000M -o extracted WikiDataPath/zhwiki-latest-pages-articles.xml.bz2

得到的文件默认在当前路径下的,./extracted/AA/下

第三步:繁简转换

  1. 下载 OpenCC:https://github.com/BYVoid/OpenCC
  2. 安装OpenCC:

    make
    sudo make install

  3. 繁简转换:

    opencc -i wiki_00 -o wiki_00_chs -c OpenCCPath/data/config/t2s.json
    opencc -i wiki_01 -o wiki_01_chs -c OpenCCPath/data/config/t2s.json
    opencc -i wiki_02 -o wiki_02_chs -c OpenCCPath/data/config/t2s.json
    opencc -i wiki_03 -o wiki_03_chs -c OpenCCPath/data/config/t2s.json

第二步得到多少个wiki_xx就处理多少次

遇到的问题:Could NOT find Doxygen (missing: DOXYGEN_EXECUTABLE)
解决:

sudo apt-get install doxygen

得到的结果中,title就是搜索关键词,也就是词库

  • 1
    点赞
  • 0
    评论
  • 1
    收藏
  • 一键三连
    一键三连
  • 扫一扫,分享海报

相关推荐 更多相似内容
©️2020 CSDN 皮肤主题: 大白 设计师:CSDN官方博客 返回首页
实付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值