k折交叉验证python代码_对python pandas数据帧进行K折交叉验证 - NLTK分类

柔情只为你懂 2022-11-05 00:52 169阅读 0赞

我想使用10倍交叉验证来评估nltk分类模型 . 这是pandas数据框架命名：data(有10k行和10个类)

特性：hello\_variant，goodbye\_variant，wh\_question，yesNo\_question，conjuction\_start，No\_of\_tokens

![YarQK.jpg][]

我尝试下面的代码 . 但它给出了一个错误

extract\_features = data.drop(\['class'\],axis=1)

documents = data\['class'\]

import nltk

from sklearn import cross\_validation

training\_set = nltk.classify.apply\_features(extract\_features, documents)

cv = cross\_validation.KFold(len(training\_set), n\_folds=10, shuffle=False, random\_state=None)

for traincv, testcv in cv:

classifier = nltk.NaiveBayesClassifier.train(training\_set\[traincv\[0\]:traincv\[len(traincv)-1\]\])

print 'accuracy:', nltk.classify.util.accuracy(classifier, training\_set\[testcv\[0\]:testcv\[len(testcv)-1\]\])

错误：

> --------------------------------------------------------------------------- ValueError Traceback (most recent call

> last) in ()

> 1 import nltk

> 2 from sklearn import cross\_validation

> ----> 3 training\_set = nltk.classify.apply\_features(extract\_features, documents)

> 4 cv = cross\_validation.KFold(len(training\_set), n\_folds=10, shuffle=False, random\_state=None)

> 5

>

> C:\\Users\\SampathR\\Anaconda2\\envs\\dato-env\\lib\\site-packages\\nltk\\classify\\util.pyc

> in apply\_features(feature\_func, toks, labeled)

> 60 """

> 61 if labeled is None:

> ---> 62 labeled = toks and isinstance(toks\[0\], (tuple, list))

> 63 if labeled:

> 64 def lazy\_func(labeled\_token):

>

> C:\\Users\\SampathR\\Anaconda2\\envs\\dato-env\\lib\\site-packages\\pandas\\core\\generic.pyc

> in \_\_nonzero\_\_(self)

> 712 raise ValueError("The truth value of a \{0\} is ambiguous. "

> 713 "Use a.empty, a.bool(), a.item(), a.any() or a.all()."

> --> 714 .format(self.\_\_class\_\_.\_\_name\_\_))

> 715

> 716 \_\_bool\_\_ = \_\_nonzero\_\_

>

> ValueError: The truth value of a Series is ambiguous. Use a.empty,

> a.bool(), a.item(), a.any() or a.all().

此外，我想获得语料库(类)中每个对话行为的精确度，回忆率和F分数，以及分类器的准确性和混淆矩阵 . NLTK有什么方法可以计算出来吗？ (除了sklearn)

[YarQK.jpg]: https://i.stack.imgur.com/YarQK.jpg

发表评论取消回复

表情：

评论列表（有 0 条评论，169人围观）

还没有评论，来说两句吧...

相关阅读

相关机器学习——K折交叉验证

文章目录 * K折交叉验证 * sklearn中的K折交叉验证 * sklearn中的GridSearchCV * 你的首个（过拟合）POI 标识符的...

心已赠人/ 2024年04月19日 15:54/ 0 赞/ 79 阅读

相关 Keras入门（八）K折交叉验证

在文章[Keras入门（一）搭建深度神经网络（DNN）解决多分类问题][Keras_DNN]中，笔者介绍了如何搭建DNN模型来解决IRIS数据集的多分类问题。本文

一时失言乱红尘/ 2023年01月10日 14:35/ 0 赞/ 336 阅读

相关 k折交叉验证python代码_对python pandas数据帧进行K折交叉验证 - NLTK分类

我想使用10倍交叉验证来评估nltk分类模型 . 这是pandas数据框架命名：data(有10k行和10个类) 特性：hello\_variant，goodbye\_var

柔情只为你懂/ 2022年11月05日 00:52/ 0 赞/ 170 阅读

相关【机器学习】Ｋ折交叉验证StratifiedKFold的解析与使用

作用分层的K折交叉验证器。提供训练/测试索引以将数据拆分为训练/测试集。此交叉验证对象是KFold的变体，它返回分层的折痕。折叠是通过保留每个类别的样品百分

蔚落/ 2022年10月30日 14:28/ 0 赞/ 241 阅读

相关【20210922】【机器/深度学习】K折交叉验证（k-fold cross validation）

一、K折交叉验证详解１.　原理交叉验证的核心思想在于对数据集进行多次划分，对多次评估的结果取平均，从而消除单次划分时数据划分不平衡造成的不良影响。它只是一种划分

傷城~/ 2022年09月12日 06:46/ 0 赞/ 201 阅读

相关 k-折交叉验证(k-fold crossValidation)

k-重交叉验证(k-fold crossValidation)：在机器学习中，将数据集A 分为训练集（training set）B和测试集（testset）C，在样本量不充

冷不防/ 2022年06月07日 06:57/ 0 赞/ 205 阅读

相关 k-折交叉验证(k-fold CrossValidation)

在机器学习中，将数据集A分为训练集（training set）B和测试集（test set）C，在样本量不充足的情况下，为了充分利用数据集对算法效果进行测试，将数据集A

ゞ浴缸里的玫瑰/ 2022年05月31日 00:11/ 0 赞/ 195 阅读

相关 python实现 K折交叉验证/hold out

holdout 将训练集分为train，validation 测试集保持不变 holdout缺点：模型性能评估对训练集的划分极其敏感ｋ折交叉验证 [skle

爱被打了一巴掌/ 2022年05月12日 12:48/ 0 赞/ 288 阅读

相关 10折交叉验证深入理解

交叉验证（Cross Validation），有的时候也称作循环估计（Rotation Estimation），是一种统计学上将数据样本切割成较小子集的实用方法，该理论是由Se

r囧r小猫/ 2022年04月02日 05:41/ 0 赞/ 450 阅读

相关 S折交叉验证(S-fold cross validation)

S折交叉验证(S-fold cross validation) 觉得有用的话,欢迎一起讨论相互学习~[Follow Me][] 仅为个人观点，欢迎讨论 > 参

我不是女神ヾ/ 2021年12月23日 05:05/ 0 赞/ 246 阅读