获取python运行输出的数据并解析存为dataFrame

朱雀 2023-02-21 14:21 189阅读 0赞

在学习xg的 时候，想画学习曲线，但无奈没有没有这个 evals\_result\_

AttributeError: 'Booster' object has no attribute 'evals_result_'

因为不是用的分类器或者回归器，而且是使用的train而不是fit进行训练的，看过源码fit才有evals\_result\_这个，导致训练后没有这个，但是又想获取学习曲线，因此肯定还需要获取训练数据。

运行的结果 上面有数据，于是就想自己解析屏幕的数据试一下，屏幕可以看到有我们迭代过程的数据，因此想直接获取屏幕上的数据，思维比较low但是简单粗暴。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3pob3VfNDM4_size_16_color_FFFFFF_t_70][]

接下来分两步完成：

1)获取屏幕数据

注：这里的main.py就是自己之前执行的python文件

2)解析文件数据:

ln=0
    lst=dict()
    for line in lines:
    	if line.strip().startswith('[{}]	train-auc:'.format(ln)):
    		if ln not in lst.keys():
    			lst.setdefault(ln, {})
    		tmp = line.split('\t')
    		t1=tmp[1].split(':')
    		t2=tmp[2].split(':')
    		if str(t1[0]) not in lst[ln].keys():
    			lst[ln].setdefault(str(t1[0]), 0)
    		if str(t2[0]) not in lst[ln].keys():
    			lst[ln].setdefault(str(t2[0]), 0)
    		lst[ln][str(t1[0])]=t1[1]
    		lst[ln][str(t2[0])]=t2[1]
    		ln+=1
    json_df=pd.DataFrame(pd.DataFrame(lst).values.T, index=pd.DataFrame(lst).columns, columns=pd.DataFrame(lst).index).reset_index()
    json_df.columns=['numIter','eval-auc','train-auc']
    print(json_df)

整体代码：

import subprocess
    import  pandas as pd
    top_info = subprocess.Popen(["python", "main.py"], stdout=subprocess.PIPE)
    out, err = top_info.communicate()
    out_info = out.decode('unicode-escape')
    lines=out_info.split('\n')
    
    ln=0
    lst=dict()
    for line in lines:
            if line.strip().startswith('[{}]        train-auc:'.format(ln)):
                    if ln not in lst.keys():
                            lst.setdefault(ln, {})
                    tmp = line.split('\t')
                    t1=tmp[1].split(':')
                    t2=tmp[2].split(':')
                    if str(t1[0]) not in lst[ln].keys():
                            lst[ln].setdefault(str(t1[0]), 0)
                    if str(t2[0]) not in lst[ln].keys():
                            lst[ln].setdefault(str(t2[0]), 0)
                    lst[ln][str(t1[0])]=t1[1]
                    lst[ln][str(t2[0])]=t2[1]
                    ln+=1
    json_df=pd.DataFrame(pd.DataFrame(lst).values.T, index=pd.DataFrame(lst).columns, columns=pd.DataFrame(lst).index).reset_index()
    json_df.columns=['numIter','eval-auc','train-auc']
    print(json_df)

看下效果：

![20200701110236828.png][]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3pob3VfNDM4_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20200701105305378.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3pob3VfNDM4,size_16,color_FFFFFF,t_70
[20200701110236828.png]: https://img-blog.csdnimg.cn/20200701110236828.png