DatawhaleChina -任务二通用特征提取+数据处理

以你之姓@ 2022-02-01 02:27 196阅读 0赞

### 利用TF-idf对数据进行处理 ###

这也是一个小例子。

document = ["I have a pen.",
                "I have an apple."]
    
    tf = TfidfVectorizer(ngram_range=(1,2),analyzer='char') # 按照字符来做特征，最大范围是两个字符，最小是一个字符
    discuss_tf = tf.fit_transform(document)
    words = tf.get_feature_names()
    print(words)
    print(discuss_tf)

### N-gram 特征提取 ###

自己来实现了一个N-gram提取方法，代码如下：

def getNgram(sen,n):
        leng = len(sen)
        res = []
        for i in range(leng-n+1):
            resOne = []
            for j in range(n):
                resOne.append(sen[i+j])
            res.append(resOne)
        return res
        
    sen = ["我","喜欢","中国","杭州"]
    res = getNgram(sen,3)
    print(res)

其中sen是切词后的列表，可以用[jieba分析工具][jieba]

### 参考博客 ###

[TF-IDF方法提取文本特征–TfidfVectorizer 工具][TF-IDF_TfidfVectorizer]  
[unigram][]

[jieba]: https://blog.csdn.net/randompeople/article/details/73927943
[TF-IDF_TfidfVectorizer]: https://blog.csdn.net/randompeople/article/details/84196199
[unigram]: https://baike.baidu.com/item/unigram/8675709

发表评论取消回复

表情：

评论列表（有 0 条评论，196人围观）

还没有评论，来说两句吧...

相关阅读

相关特征工程-特征提取：字典特征提取、文本特征提取、jieba分词处理、Tf-idf文本特征提取

![20191009191333910.png][][日萌社][Link 1] [人工智能AI：Keras PyTorch MXNet TensorFlow Paddle

野性酷女/ 2023年07月08日 16:22/ 0 赞/ 71 阅读

相关 sklearn 特征提取，字典特征提取，文本特征抽提取

sklearn安装在linux或windows终端输入 pip3 install Scikit-learn 安装较慢则替换源 pip config

ゞ浴缸里的玫瑰/ 2023年02月21日 09:20/ 0 赞/ 18 阅读

相关特征工程之特征提取

特征工程之特征提取应用DictVectorizer实现对类别特征进行数值化、离散化应用流程分析应用CountVectoriz

Dear 丶/ 2022年12月28日 11:26/ 0 赞/ 187 阅读

相关图像特征提取（纹理特征）

为了将图像处理中的理论知识运用到通信理论中，所以学习了图像特征提取的部分内容。运用网络和书籍查阅了相关资料，作此总结。纹理特征（一）特点

水深无声/ 2022年07月15日 01:48/ 0 赞/ 304 阅读

相关图像特征提取（纹理特征）

为了将图像处理中的理论知识运用到通信理论中，所以学习了图像特征提取的部分内容。运用网络和书籍查阅了相关资料，作此总结。纹理特征（一）特点

爱被打了一巴掌/ 2022年07月15日 01:48/ 0 赞/ 290 阅读

相关图像特征提取(颜色特征)

为了将图像处理中的理论知识运用到通信理论中，所以学习了图像特征提取的部分内容。运用网络和书籍查阅了相关资料，作此总结。 1.特征的定义特征提取是计

╰半橙微兮°/ 2022年07月15日 01:34/ 0 赞/ 686 阅读

相关目标检测的图像特征提取之（二）LBP特征

LBP（Local Binary Pattern，局部二值模式）是一种用来描述图像局部纹理特征的算子；它具有旋转不变性和灰度不变性等显著的优点。它是首先由T. Ojala, M

朴灿烈づ我的快乐病毒、/ 2022年06月16日 09:36/ 0 赞/ 503 阅读

相关图像特征提取（二）——SIFT算法详解

转载自:http://blog.csdn.net/zddblog/article/details/7521424尺度不变特征变换匹配算法详解 Scale Invariant

太过爱你忘了你带给我的痛/ 2022年05月20日 00:11/ 0 赞/ 368 阅读

相关 DatawhaleChina -任务一 IMDB数据集+THUCNews数据集

预备任务 tensorflow 早已安装好，都有跑模型，莫烦先生的视频也都看了，基础知识有了解，都很OK。 IMDB数据集下载和探索整体思路：特征

你的名字/ 2022年02月02日 15:29/ 0 赞/ 331 阅读

相关 DatawhaleChina -任务二通用特征提取+数据处理

利用TF-idf对数据进行处理这也是一个小例子。 document = ["I have a pen.", "I have a

以你之姓@/ 2022年02月01日 02:27/ 0 赞/ 197 阅读