个人总结-乱七八糟踩坑

た入场券 2022-01-10 08:05 305阅读 0赞

# 错误集锦 #

## tomcat ##

*  tomcat无法启动：注释远程调试

`tomcat/bin/catalina.sh` 中的 `#CATALINA_OPTS="-Xdebug -Xrunjdwp:transport=dt_socket,address=19000,server=y,suspend=n"`

--------------------

## mysql ##

*  连接服务器 `mysql -uusername -p1234556 -hdb.org --port=5003`

--------------------

## visualbox 配置 ##

*  配置Ubuntu server 固定ip

1.  为了配置访问外部网路以及和宿主机互联，在vb `管理->主机网络管理器->手动配置网卡`\->配置仅主机网络属性：ip和网络掩码
2.  具体虚拟机（如ubuntu）,`设置->网络->网卡1` 选择`网络地址转换(NAT)`，`混杂模式（全部允许）`, `网卡2`：选择仅主机网络
3.  启动虚拟主机，配置ip: `sudo vim /etc/network/interfaces`,配置如下

# This file describes the network interfaces available on your system
    # and how to activate them. For more information, see interfaces(5).
    
    # The loopback network interface
    auto lo
    iface lo inet loopback
    
    # The primary network interface
    auto eth0
    iface eth0 inet dhcp
    
    auto eth1
    iface eth1 inet static
    address 192.168.1.101
    netmask 255.255.255.0
    复制代码

1.  配置域名解析DNS `sudo vim /etc/resolvconf/resolv.conf.d/base`

# 根据个人电脑设置
    # ipconfig /all windows查看
    nameserver      8.8.8.8
    复制代码

1.  `sudo reboot` 重启即可

--------------------

## windows ##

### 指令 ###

*  端口查看：`netstat -aon | findstr 16661`
 *  任务kill：`taskkill /F /PID 14560`

--------------------

## linux ##

### 指令 ###

*  获取日期：`date +%Y%m%d -d '+1 day/min'`，转换成时间戳`date -d '2013-2-22 22:14' +%s`, 时间戳转换成日期`date -d @1512088011 +'%Y%m%d'`
 *  查看端口：`netstat -aon`
 *  `lsof -p` (list open file)：查看进程使用的文件，-p指定pid

### q&s ###

> `awk -F"\t" '{if($2 == "1"){print $1}}' | less`，无法匹配出数据

> grep 后面 跟less/more不会对查询结果标红

--------------------

## fe ##

*  修改css后页面没有刷新
    
    缓存问题，可以在css加载语句的后面添加?v=1.0.0让浏览器重新加载资源。
 *  js find 过滤器
    
    `var rs = extObj.find("tr[role!='head'][role!='foot']");` 实现多重条件选择

--------------------

## idea ##

*  Jetty 热部署
    
    1.  pom 文件
    
        <plugin>
            <groupId>org.mortbay.jetty</groupId>
            <artifactId>jetty-maven-plugin</artifactId>
            <configuration>
                <scanIntervalSeconds>1</scanIntervalSeconds> 
                <stopPort>9977</stopPort>
                <stopKey>foo</stopKey> <scanIntervalSeconds>0</scanIntervalSeconds>
                <connectors>
                    <connector implementation="org.eclipse.jetty.server.nio.SelectChannelConnector">   
                        <port>8080</port>
                        <maxIdleTime>60000</maxIdleTime>
                    </connector>
                </connectors>
                <webAppConfig>
                <contextPath>/</contextPath>
                </webAppConfig>
            </configuration>
        </plugin>
        复制代码
    
    1.  `ctrl+shift+f9` 重新build当前文件 `ctrl+f9` 重新build整个目录
    2.  project structure -> Modules paths 设置build的class文件目录（**注意放到web项目的目录下面，如target\\nss\\WEB-INF\\classes**）
 *

--------------------

## java ##

### q&s ###

> **问题**：

2017-10-25 21:52:17,528 FATAL [main] org.apache.hadoop.mapred.YarnChild: Error running child : java.lang.OutOfMemoryError: Direct buffer memory
    复制代码

**解决**： reduce 阶段，申请使用操作系统的内存，没有控制好，出现了内存泄露，导致的内存溢出。申请内存超过8192MB和不能被1024MB整除的资源请求

### jvm ###

*  `-Xmx` Java Heap最大值，默认值为物理内存的1/4，最佳设值应该视物理内存大小及计算机内其他内存开销而定；
 *  `-Xms` Java Heap初始值，Server端JVM最好将-Xms和-Xmx设为相同值，开发测试机JVM可以保留默认值；
 *  `-Xmn` Java Heap Young区大小，不熟悉最好保留默认值；
 *  `-Xss` 每个线程的Stack大小，不熟悉最好保留默认值；

--------------------

## hadoop ##

### notice ###

*  Map和Reduce阶段不能对集合进行写操作。即使写了在reduce阶段也读不出来。
    
    map和reduce会在不同的服务器上操作，全局变量无法生效。 1、通过Configuration保存String变量； 2、在reduce或者map阶段读取小文件存入内存，进行操作。
 *  reduce阶段，**==Iterable的迭代只能遍历一次==**，第二次遍历后没有数据，所以会造成结果匹配错误。所以应该先将数据保存，再遍历。
 *  set class 要在set configuration之后这样才会保存配置
 *  如果reduce的Value不输出值得话，返回类型用NullWritable.get()，这样可以保证文件中在key的后面不会出现tab
 *  Mapper Reducer类的子类要是static，否则会报初始化错误
 *  ==对于MR的return要谨慎使用，防止跳出，部分结果无法输出==

### hdfs 操作指令 ###

*  hadoop fs -stat \[option\] hdfsfilepath

%b：打印文件大小（目录为0）
    %n：打印文件名
    %o：打印block size （我们要的值）
    %r：打印备份数
    %y：打印UTC日期 yyyy-MM-dd HH:mm:ss
    %Y：打印自1970年1月1日以来的UTC微秒数
    %F：目录打印directory, 文件打印regular file
    复制代码

*  hadoop job -status jobid job\_1509011180094\_5418072
    
    结果说明：

Uber job : false-----uber模式:false，Uber模式简单地可以理解成JVM重用。
    以Uber模式运行MR作业，所有的Map Tasks和Reduce Tasks将会在ApplicationMaster所在的容器（container）中运行，
    也就是说整个MR作业运行的过程只会启动AM container，因为不需要启动
    mapper 和reducercontainers，所以AM不需要和远程containers通信，整个过程简单了。
    
    Number of maps: 13702 -----map总数:
    Number of reduces: 500 -----reduces总数
    map() completion: 1.0  
    reduce() completion: 1.0  
    Job state: SUCCEEDED -----job状态  
    retired: false  
    reason for failure: -----failure原因  
    
    Counters: 58 -----counter总数  
        File System Counters -----这个group表示job与文件系统交互的读写统计
            FILE: Number of bytes read=0 -----job读取本地文件系统的文件字节数。假定我们当前map的输入数
            据都来自于HDFS，那么在map阶段，这个数据应该是0。但reduce在在执
            行前，它的输入数据是经过Shuffle的merge后存储在reduce端本地磁盘
            中，所以这个数据就是所有reduce的总输入字节数。
            FILE: Number of bytes written=5654852533 -----map的中间结果都会spill到本地磁盘中，在map执行完后，形成
            最终的spill文件。所以map端这里的数据就表示MapTask往本地磁盘
            中共写了多少字节。与Map端相对应的是，reduce端在Shuffle时，会
            不断拉取Map端的中间结果，然后做merge并不断spill到自己的本地
            磁盘中。最终形成一个单独文件，这个文件就是reduce的输入文件。
            FILE: Number of read operations=0 -----
            FILE: Number of large read operations=0
            FILE: Number of write operations=0
            HDFS: Number of bytes read=3560544443952 -----job执行过程中，累计写入HDFS的数据大小，整个job执行过程中
            ，只有map端运行时，才会从HDFS读取数据，这些数据不限于源文件
            内容，还包括所有map的split元数据。所以这个值应该比
            FileInputFormatCounter.BYTES_READ要略大些。
            HDFS: Number of bytes written=317076139 -----Reduce的最终结果都会写入HDFS，就是一个Job执行结果的总量。
            HDFS: Number of read operations=70010
            HDFS: Number of large read operations=0
            HDFS: Number of write operations=4491
            VIEWFS: Number of bytes read=0
            VIEWFS: Number of bytes written=0
            VIEWFS: Number of read operations=0
            VIEWFS: Number of large read operations=0
            VIEWFS: Number of write operations=0
            
        Job Counters -----这个group描述与job调度相关的统计
            Killed map tasks=4
            Launched map tasks=13706 -----此job启动了多少个map task
            Launched reduce tasks=500 -----此job启动了多少个reduce task
            Data-local map tasks=13043 -----Job在被调度时，如果启动了一个data-local(源文件的副本在执行map task的TaskTracker本地)
            Rack-local map tasks=663 ----- 处理的文件不在map task节点上
            Total time spent by all maps in occupied slots (ms)=437335720 -----所有map task占用slot的总时间，包含执行时间和创建/销毁子JVM的时间
            Total time spent by all reduces in occupied slots (ms)=83963148 -----
            Total time spent by all map tasks (ms)=218667860
            Total time spent by all reduce tasks (ms)=27987716
            Total vcore-seconds taken by all map tasks=218667860
            Total vcore-seconds taken by all reduce tasks=27987716
            Total megabyte-seconds taken by all map tasks=557165707280
            Total megabyte-seconds taken by all reduce tasks=128631542736
            
        Map-Reduce Framework -----这个Countergroup包含了相当多的job执行细节数据。
        这里需要有个概念认识是：一般情况下，record就表示一行数据，
        而相对的byte表示这行数据的大小是多少，这里的group
        表示经过reduce merge后像这样的输入形式{
        "aaa",[5,2,8,...]}
            "Map input records=4486906030" -----所有MapTask从HDFS读取的文件总行数
            Map output records=93940285 -----MapTask的直接输出record是多少，就是在map方法中调用
            context.write的次数，也就是未经过Combine时的原生输出条数。
            Map output bytes=5011599765 -----Map的输出结果key/value都会被序列化到内存缓冲区中，
            所以这里的bytes指序列化后的最终字节之和。
            Map output materialized bytes=3532812262 -----map 输出物化到磁盘的数据量，
            也就是reduce shuffle的数据量
            Input split bytes=2839207
            "Combine input records=93940285" -----Combiner是为了尽量减少需要拉取和移动的数据
            "Combine output records=79274144" -----经过Combiner后，相同key的数据经过压缩，
            在map端自己解决了很多重复数据，表示最终在map端中间
            文件中的所有条目数
            Reduce input groups=13757989 -----Reduce总共读取了多少个这样的groups，
            等于reduce处理的key个数
            "Reduce shuffle bytes=3532812262" -----Reduce端的copy线程总共从map端抓去了多少的中间数据
            ，表示各个MapTask最终的中间文件总和。
            "Reduce input records=79274144" -----如果有Combiner的话，那么这里的数值就会等于Map端
            Combiner运算后的最后条数，如果没有，那么就会等于Map的输出条数
            Reduce output records=0 -----所有reduce执行后输出的总条目数
            "Spilled Records=79274144" -----spill过程在map和reduce端都会发生，
            这里统计的是总共从内存往磁盘中spill了多少条数据。
            Shuffled Maps =6851000 -----每个reduce几乎都得从所有Map端拉取数据，
            每个copy线程拉取成功一个map的数据，那么增1，
            所以它的总数基本等于reduce number*(map number - fiald)
            Failed Shuffles=0 -----copy线程在抓取map端中间数据时，
            如果因为网络连接异常或是IO异常，所引起的Shuffle错误次数。
            "Merged Map outputs=6851000" -----记录着Shuffle过程中总共经历了多少次merge动作
            "GC time elapsed (ms)=2890881"
            CPU time spent (ms)=299372980 -----job运行使用的cpu时间，是衡量任务的计算量
            总结：任务运行使用的CPU时间=counter:
            "Map-Reduce Framework:CPU time spent (ms)"
            Physical memory (bytes) snapshot=12848748335104 -----进程的当前物理内存使用大小
            Virtual memory (bytes) snapshot=45156357689344 -----进程的当前虚拟内存使用大小
            Total committed heap usage (bytes)=31420302491648 -----获取jvm的当前堆大小
            
         SHUFFLECOUNTER
            SHUFFLE_IDLE_TIME=21427585
            SHUFFLE_TOTAL_TIME=25507722
            
        HIVE
            CREATED_FILES=1
                
        Shuffle Errors -----这组内描述Shuffle过程中的各种错误情况发生次数，
        基本定位于Shuffle阶段copy线程抓取map端中间数据时的各种错误。
            BAD_ID=0 -----每个map都有一个ID，
            如attempt_201109020150_0254_m_000000_0，
            如果reduce的copy线程抓取过来的元数据中的这个ID不是标准格式，
            那么此Counter会增加。
            CONNECTION=0 -----表示copy线程建立到map端的连接有误。
            IO_ERROR=0 -----Reduce的copy线程如果在抓取map端数据时出现IOException，
            那么这个值会相应增加。
            WRONG_LENGTH=0 -----map端的那个中间结果是有压缩好的有格式数据，
            它有两个length信息：元数据大小和压缩后数据大小。
            如果这两个length信息传输的有误，那么此Counter会增加。
            WRONG_MAP=0 -----每个copy线程当然是有目的的：为某个reduce抓取
            某些map的中间结果，如果当前抓取的map数据不是copy
            线程之前定义好的map，那么就表示把数据拉错了。
            WRONG_REDUCE=0 -----与上述描述一致，如果抓取的数据表示它不是
            为此reduce而准备的，那还是拉错数据了。
            DESERIALIZE_ERRORS=0
            
        File Input Format Counters 
                    Bytes Read=0
                    
        File Output Format Counters 
                    Bytes Written=0
    复制代码

### hadoop优化 ###

#### mr job 流程 ####

#### map ####

#### shuffle ####

*  io.sort.mb:100m
    
    1.  存储map中间数据的缓存默认大小,当map任务产生了非常大的中间数据时可以适当调大该参数,使缓存能容纳更多的map中间数据，而不至于大频率的IO磁盘,当系统性能的瓶颈在磁盘IO的速度上,可以适当的调大此参数来减少频繁的IO带来的性能障碍。
    2.  查看日志，spill次数多说明设置太低。（根据map的输出量进行设置）
 *  io.sort.spill.percent:80%
    
    达到一定百分比，从后台进程对buffer进行排序，然后spill到磁盘。如果map的输出基本有序可以适当提高这个阈值。
 *  io.sort.factor:10
    
    1.  最多能有多少并行的stream向merge文件中写入
    2.  当一个map task执行完之后，本地磁盘上(mapred.local.dir)有若干个spill文件，map task最后做的一件事就是执行merge sort，把这些spill文件合成一个文件（partition），有时候我们会自定义partition函数，就是在这个时候被调用的。
    3.  merge sort会生成两个文件，一个是数据文件，一个是index：记录每个不同的key在数据文件中的偏移量（这就是partition）
 *  min.num.spill.for.combine:3
    
    当job中设定了combiner，并且spill数最少有3个的时候， 那么combiner函数就会在merge产生结果文件之前运行。减少写入到磁盘文件的数据数量，同样是为了减少对磁盘的读写频率，有可能达到优化作业的目的。
 *  mapred.compress.map.output:false
    
    那么map在写中间结果时，就会将数据压缩后再写入磁盘，读结果时也会采用先解压后读取数据。cpu换IO
 *  mapred.map.output.compression.codec:org.apache.hadoop.io.compress.De faultCodec(GzipCodec，LzoCodec，BZip2Codec，LzmaCodec)  
    当采用map中间结果压缩的情况下，用户还可以选择压缩时采用哪种压缩格式进行压缩

#### reduce ####

#### 优化场景 ####

*  Map逻辑处理后数据被展开，写磁盘次数剧增，可以观察日志中的spill次数，调整各个参数
 *  中间结果能不展开就不展开，尽量缩小Mapper和reducer之间的数据传递
 *  处理速度很慢时候首先要怀疑Mapper和Reducer之间传输数据量过大
 *  观察GC的情况，有时候是因为内存占用量高，频繁GC，严重影响处理速
 *  适当控制mapper的数量，特别是有distribute cache的场景
 *  distribute cache
    
     *  加载的数据能不用hashmap就尽量不要用，hashmap会使得内存占用量是原数据的5-10倍。
     *  加载的数据要尽可能简单，如果有复杂的处理逻辑可以单独开辟Mapper Reducer进行一轮处理
     *  避免每次mapper都要处理一遍，尽可能减少distribute cache的数据量

### hadoop配置说明 ###

> tasktracker.http.threads：

决定作为server端的map用于提供数据传输服务的线程数  
    复制代码

> mapred.reduce.parallel.copies：

决定作为client端的reduce同时从map端拉取数据的并行度（一次同时从多少个map拉数据）
    复制代码

--------------------

## hive ##

### notice ###

*  hive 查询，字段无法进行单引号比较，如p8='2'，无法查到数据
    
    当某一字段数据全是纯数字字符串的时候，它会自动转成数字去做比较。
 *  10位的时间戳值，即1970-1-1至今的秒，可以用`from_unixtime()`转为时间，而13位的所谓毫秒的是不可以的;`from_unixtime(cast(substring(t3.time ,1,10)as BIGINT), 'yyyyMMdd HH:mm:ss')`
 *  insert overwrite/into table 只会有mapjob，没有reducejob
 *  增加reduce数目
    
    1.  set hive.exec.reducers.bytes.per.reducer=500000000;
    2.  set mapred.reduce.tasks = 15;
 *  设置reduce的文件大小  
    set hive.merge.size.per.task = 10000000; set hive.merge.mapfiles=false; set hive.groupby.skewindata=true;

### hql ###

*  desc tablename;
 *  show partitions tablename;
 *  修改表名
    
    > alter table oldname rename to newname;
 *  增加列
    
    > alter table tablename add columns (c1 type, c3 type);
 *  hive增加分区映射到文件
    
    > alter table tablename drop if exists partition(dt='20171130');  
    > alter table tablename add if not exists partition(dt='20171130') location 'path';
 *  修改表的分割字符
    
    > alter table tablename set SERDEPROPERTIES('field.delim'='\\t');
 *  修改字段顺序
    
    > alter table tablename change column cololdname colnewname coltype after colname2;

### hive 和hadoop 配置说明 ###

#### hive 配置说明 ####

#### hadoop 配置说明 ####

> mapred.compress.map.output \#\#指定map的输出是否压缩。有助于减小数据量，减小io压力，但压缩和解压有cpu成本，需要慎重选择压缩算法。

> mapred.map.output.compression.codec \#\#map输出的压缩算法

> mapred.output.compress \#\#reduce输出是否压缩

> mapred.output.compression.codec \#\#控制mapred的输出的压缩的方式

> hive.exec.compress.intermediate=true; \#\#hive中间数据压缩

> set hive.exec.compress.intermediate=true;  
> set mapred.map.output.compression.codec= org.apache.hadoop.io.compress.SnappyCodec set mapred.map.output.compression.codec=com.hadoop.compression.lzo.LzoCodec;

> set hive.exec.compress.output=false;

## hive reduce最终数据不压缩 ##

> set hive.exec.compress.output=true;  
> set mapred.output.compression.codec=org.apache.hadoop.io.compress.SnappyCodec;

> set hive.merge.smallfiles.avgsize=256000000; \#\#\#设置输出文件的平均值

### hive Job 细节优化 ###

*  map

> set mapred.min.split.size=1;  
> set mapred.max.split.size=256000000;

*  reduce

> set mapred.reduce.tasks=100;--直接指定Reduce个数  
> set mapred.exec.reducers.bytes.per.reducer=1G;

*  map 与reduce过程中

> set io.sort.mb;--增大Mapper输出buffer的大小，避免Spill的发生  
> set io.sort.factor;--一次性能够合并更多的数据  
> set sort mapred.reduce.slowstart.completed.maps=0.05;--Reduce端copy的进度  
> set mapred.reduce.parallel.copies;--可以决定作为client端的Reduce同时从Map端拉取数据的并行度

*  文件格式

> set hive.default.fileformat = SequenceFile;  
> set hive.exec.compress.output = true;

对于sequencefile，有record和block两种压缩方式可选，block压缩比更高

> set mapred.output.compression.type = BLOCK;  
> set hive.hadoop.supports.splittable.combineinputformat=true;--小文件合并

*  Job 整体优化
    
     *  job 执行模式

> set hive.exec.mode.local.auto;--自动开启local mr模式  
> set hive.exec.mode.local.auto.tasks.max;--文件数量  
> set hive.exec.mode.local.auto.inputbytes.max;--数据量大小

*  jvm重用

> set mapred.job.reuse.jvm.num.tasks=5;--一个jvm运行多次任务之后再退出

*  索引
 *  join

> set hive.auto.convert.join = true;

Hive会自动判断当前的join操作是否合适做Map join

*  数据倾斜

> set hive.map.aggr=true;  
> set hive.groupby.skewindata;

Reduce操作的时候，拿到的key并不是所有相同值给同一个Reduce，而是随机分发，然后Reduce做聚合，做完之后再做一轮MR，拿前面聚合过的数据再算结果

*  sql 整体优化
    
     *  job 并行  
        set hive.exec.parallel = true; set hive.exec.parallel.thread.number;
     *  减少Job数  
        group by 代替 join

--------------------

转载于:https://juejin.im/post/5cece703e51d455d6d53579d