小编采访

华融湘江银行,drop,广发信用卡


整理 | Jane出品 | AI科技大本叫我姐姐营(公众号id:rgznai100)

今天要给大家在推荐 Github 上一个优质的中文 NLP 工具和资源集合项目——funNLP,已经获得了 5.3k Stars,1k+ Forks。

项目作者 杨洋,一枚水博&互联网民工,目前主要从事文本分类,信息抽取等自然语言处理研发工作;兴趣包水瞐灯饰球出售括:语言资源构建、信息抽取与知识图谱、舆情分析等。喜欢分享一些小知识,设有知乎专栏《机器学习小知识》

作者把自己使用的一些资源或工具包整理成这个集合项目,并且会不断更新。项目已经里面不乏很多有用和有趣的内容,包含 50 多个资源或工具,比如很多有用的词库:中英文敏感词、暴恐词表、文人名库、中文缩写库、停用词、公司名字大全、成语词库、地名词库百度中石锦秋是谁文问答数据集......非常值得学习研究 NLP 项目的同学们收藏!

除了几十个的优质资源汇总哔咔维护外,作者的另一个中文 NLP 工具包——coco NLP,也很实用,目前应用在寻找失踪人口项目中。通过这个工具包,大家可以直接从文本信息中抽取一些基本信息,比如欧布奥特曼银河的候鸟手机号、邮箱、手微盒直播账号机归属地、时间点、地址和一些词组信息。

0.先给大家 coco NLP 工具的地址:

https://github.com/fighting41love/cocoNLP军长大叔别使坏

因为这个工具里也包含了第一个项目中提到的一些资源,下面我们所列的其他资源,就不再列出重复资源的地址了,比上原绫如:phone 中国手机归属地查询、抽取email的正则表达式、抽取phone_number的正则表达式、人名语料库、时间抽湖南涟源麻辣豆腐干取等。

营长列出了其他一些主要资源的地址,大家还可以从文章最后给出的项目地址中访问更多。也感谢开源这些资源的作者,如果下面有提到你的项目,欢迎给我们留言,让营长发现可爱的你们~

1. textfilter: 中英文敏感词过滤

https://github.com/observerss/textfilter

2. langid:97种语言检测

https://github.com/saffsd/la郭柏雄ngid.py

3. langdetect:检测另一种语言

https://code.google.com/archive/p/language-detection/

4. phone国际手机、电话归属地查询:

https://github.com/AfterShip/phone

6. ngender:根据名字判断性别,基于朴素贝叶斯计算的概率

https://github.com/observerss/ngender

7.抽取身份证号的正则表达式

IDCards_pattern = r'^([1-9]\d{5}[12]\d{3}(0[1-9]|1[012])(0[1-9]|[12][0-9]|3[01二愣子漂流记])\d{3}[0-9xX])$'IDs = re.findall(IDCards_pattern, text, flags=0)

8.中文缩写库

htt邢仁伟ps://github.com/zhangyics/Chinese-abbreviation-dataset/blob/master/dev_set.txt

9.汉语拆字词典

https://github.com/kfcd/chaizi

10.词汇情感值

https://gi藤山长老thub.com/rainarch/SentiBridge/blob/master/Entity_Emotion_Express/CCF_data/pair_mine_result

11.中文词宝日夫演员库、停用词、japanesestockings敏感词,此 package 的敏感词库分类更孙亚峤细,包含反动词库, 敏感词库表统计, 暴恐词库, 民生词库, 色情词库

https://github.com/fighting41love/Chinese_from_dongxiexidian

12.汉字转拼音

https://github.com/mozillazg/python-pinyin

13.同义词库、反义词库、否定词库

https://github.com/guotong1988/chinese_dictionary

14.无空格英文串分割、抽取单词

https://github.com/keredson/wordninja

15.THU整理的词库,包含 IT词库、财经词库、成语词库、地名词库、历史名人词库、诗词词库、医学词库、饮食词库、法律词库、汽车词库、动物词库

http://thuocl.thunlp.org/sendMessage

16.百度中文问答数据集

链接:https://pan.baidu.com/s/1QUsKcFWZ7Tg1dk_AbldZ1A提取码: 2dva

17.Bert 资源

(1)文本分类实践

https://github.com/NLPScott/bert-Chinese-classification-task

(2)Bert Tutorial 文本分类教程

https://github.com/Socialbird-AILab/BERT-Classification-Tutorial

(3)Bert pytorch实现

https://github.com/huggingface/pytorch-pretrained-BERT

(4)Bert用于中文命名实体识别,tensorflow版本

https://github.com/macanv/BERT-BiLSTM-CRF-NER

(5)Bert 基于 Keras 的封装分类标注框架 Kashgari,几分钟即可搭建一个分类或者序列标注模型

https://github.com/BrikerMan/Kashgari

(6)Bert、ELMO的图解

https://jalammar.github.io/il华融湘江银行,drop,广发信用卡lustrated-bert/

(7)BERT: Pre-trained models节费通app and downstream applications零用贷是什么

https://github.com/asyml/texar/tree/master/examples/bert

更多优质资源可访问:

https://github.com/fighting41love/funNLP

(本文为AI科技大本营原创文章,转载请微信联系 1092722k1619531;添加微信csdnai2,加入NLP技术大本营)

推荐新闻