C# utf-8编码时转换成shift-jis时出现乱码问题的处理

约定不等于承诺〃 2021-12-23 00:55 384阅读 0赞

最近在做项目时遇到导出CSV文件时，因客户方要求导出CSV文件一定要是shift-jis编码的CSV文件，而我们数据库存储时是unicode储存的，所以导出时会有很多?的编码，这是因为：

借住码表来解释：

<table> 
 <tbody> 
 <tr> 
 <td> Shift_JIS </td> 
 </tr> 
 <tr> 
 <td></td> 
 <td></td> 
 <td> 0 </td> 
 <td> 1 </td> 
 <td> 2 </td> 
 <td> 3 </td> 
 <td> 4 </td> 
 <td> 5 </td> 
 <td> 6 </td> 
 <td> 7 </td> 
 <td> 8 </td> 
 <td> 9 </td> 
 <td> A </td> 
 <td> B </td> 
 <td> C </td> 
 <td> D </td> 
 <td> E </td> 
 <td> F </td> 
 </tr> 
 <tr> 
 <td> 00 </td> 
 <td></td> 
 <td> NUL </td> 
 <td> SOH </td> 
 <td> STX </td> 
 <td> ETX </td> 
 <td> EOT </td> 
 <td> ENQ </td> 
 <td> ACK </td> 
 <td> BEL </td> 
 <td> BS </td> 
 <td> HT </td> 
 <td> LF </td> 
 <td> VT </td> 
 <td> FF </td> 
 <td> CR </td> 
 <td> SO </td> 
 <td> SI </td> 
 </tr> 
 <tr> 
 <td> 10 </td> 
 <td></td> 
 <td> DLE </td> 
 <td> DC1 </td> 
 <td> DC2 </td> 
 <td> DC3 </td> 
 <td> DC4 </td> 
 <td> NAK </td> 
 <td> SYN </td> 
 <td> ETB </td> 
 <td> CAN </td> 
 <td> EM </td> 
 <td> SUB </td> 
 <td> ESC </td> 
 <td> FS </td> 
 <td> GS </td> 
 <td> RS </td> 
 <td> US </td> 
 </tr> 
 <tr> 
 <td> 20 </td> 
 <td></td> 
 <td> SP </td> 
 <td> ! </td> 
 <td> " </td> 
 <td> # </td> 
 <td> $ </td> 
 <td> % </td> 
 <td> &amp; </td> 
 <td> ' </td> 
 <td> ( </td> 
 <td> ) </td> 
 <td> * </td> 
 <td> + </td> 
 <td> , </td> 
 <td> - </td> 
 <td> . </td> 
 <td> / </td> 
 </tr> 
 <tr> 
 <td> 30 </td> 
 <td></td> 
 <td> 0 </td> 
 <td> 1 </td> 
 <td> 2 </td> 
 <td> 3 </td> 
 <td> 4 </td> 
 <td> 5 </td> 
 <td> 6 </td> 
 <td> 7 </td> 
 <td> 8 </td> 
 <td> 9 </td> 
 <td> : </td> 
 <td> ; </td> 
 <td> &lt; </td> 
 <td> = </td> 
 <td> &gt; </td> 
 <td> ? </td> 
 </tr> 
 <tr> 
 <td> 40 </td> 
 <td></td> 
 <td> @ </td> 
 <td> A </td> 
 <td> B </td> 
 <td> C </td> 
 <td> D </td> 
 <td> E </td> 
 <td> F </td> 
 <td> G </td> 
 <td> H </td> 
 <td> I </td> 
 <td> J </td> 
 <td> K </td> 
 <td> L </td> 
 <td> M </td> 
 <td> N </td> 
 <td> O </td> 
 </tr> 
 <tr> 
 <td> 50 </td> 
 <td></td> 
 <td> P </td> 
 <td> Q </td> 
 <td> R </td> 
 <td> S </td> 
 <td> T </td> 
 <td> U </td> 
 <td> V </td> 
 <td> W </td> 
 <td> X </td> 
 <td> Y </td> 
 <td> Z </td> 
 <td> [ </td> 
 <td> ¥ </td> 
 <td> ] </td> 
 <td> ^ </td> 
 <td> _ </td> 
 </tr> 
 <tr> 
 <td> 60 </td> 
 <td></td> 
 <td> ` </td> 
 <td> a </td> 
 <td> b </td> 
 <td> c </td> 
 <td> d </td> 
 <td> e </td> 
 <td> f </td> 
 <td> g </td> 
 <td> h </td> 
 <td> i </td> 
 <td> j </td> 
 <td> k </td> 
 <td> l </td> 
 <td> m </td> 
 <td> n </td> 
 <td> o </td> 
 </tr> 
 <tr> 
 <td> 70 </td> 
 <td></td> 
 <td> p </td> 
 <td> q </td> 
 <td> r </td> 
 <td> s </td> 
 <td> t </td> 
 <td> u </td> 
 <td> v </td> 
 <td> w </td> 
 <td> x </td> 
 <td> y </td> 
 <td> z </td> 
 <td> { </td> 
 <td> | </td> 
 <td> } </td> 
 <td> ~ </td> 
 <td> DEL </td> 
 </tr> 
 <tr> 
 <td> 80 </td> 
 <td></td> 
 <td></td> 
 <td></td> 
 <td></td> 
 <td></td> 
 <td></td> 
 <td></td> 
 <td></td> 
 <td></td> 
 <td></td> 
 <td></td> 
 <td></td> 
 <td></td> 
 <td></td> 
 <td></td> 
 <td></td> 
 <td></td> 
 </tr> 
 <tr> 
 <td> 90 </td> 
 <td></td> 
 <td></td> 
 <td></td> 
 <td></td> 
 <td></td> 
 <td></td> 
 <td></td> 
 <td></td> 
 <td></td> 
 <td></td> 
 <td></td> 
 <td></td> 
 <td></td> 
 <td></td> 
 <td></td> 
 <td></td> 
 <td></td> 
 </tr> 
 <tr> 
 <td> A0 </td> 
 <td></td> 
 <td></td> 
 <td> ｡ </td> 
 <td> ｢ </td> 
 <td> ｣ </td> 
 <td> ､ </td> 
 <td> ･ </td> 
 <td> ｦ </td> 
 <td> ｧ </td> 
 <td> ｨ </td> 
 <td> ｩ </td> 
 <td> ｪ </td> 
 <td> ｫ </td> 
 <td> ｬ </td> 
 <td> ｭ </td> 
 <td> ｮ </td> 
 <td> ｯ </td> 
 </tr> 
 <tr> 
 <td> B0 </td> 
 <td></td> 
 <td> ｰ </td> 
 <td> ｱ </td> 
 <td> ｲ </td> 
 <td> ｳ </td> 
 <td> ｴ </td> 
 <td> ｵ </td> 
 <td> ｶ </td> 
 <td> ｷ </td> 
 <td> ｸ </td> 
 <td> ｹ </td> 
 <td> ｺ </td> 
 <td> ｻ </td> 
 <td> ｼ </td> 
 <td> ｽ </td> 
 <td> ｾ </td> 
 <td> ｿ </td> 
 </tr> 
 <tr> 
 <td> C0 </td> 
 <td></td> 
 <td> ﾀ </td> 
 <td> ﾁ </td> 
 <td> ﾂ </td> 
 <td> ﾃ </td> 
 <td> ﾄ </td> 
 <td> ﾅ </td> 
 <td> ﾆ </td> 
 <td> ﾇ </td> 
 <td> ﾈ </td> 
 <td> ﾉ </td> 
 <td> ﾊ </td> 
 <td> ﾋ </td> 
 <td> ﾌ </td> 
 <td> ﾍ </td> 
 <td> ﾎ </td> 
 <td> ﾏ </td> 
 </tr> 
 <tr> 
 <td> D0 </td> 
 <td></td> 
 <td> ﾐ </td> 
 <td> ﾑ </td> 
 <td> ﾒ </td> 
 <td> ﾓ </td> 
 <td> ﾔ </td> 
 <td> ﾕ </td> 
 <td> ﾖ </td> 
 <td> ﾗ </td> 
 <td> ﾘ </td> 
 <td> ﾙ </td> 
 <td> ﾚ </td> 
 <td> ﾛ </td> 
 <td> ﾜ </td> 
 <td> ﾝ </td> 
 <td> ﾞ </td> 
 <td> ﾟ </td> 
 </tr> 
 <tr> 
 <td> E0 </td> 
 <td></td> 
 <td></td> 
 <td></td> 
 <td></td> 
 <td></td> 
 <td></td> 
 <td></td> 
 <td></td> 
 <td></td> 
 <td></td> 
 <td></td> 
 <td></td> 
 <td></td> 
 <td></td> 
 <td></td> 
 <td></td> 
 <td></td> 
 </tr> 
 <tr> 
 <td> F0 </td> 
 <td></td> 
 <td></td> 
 <td></td> 
 <td></td> 
 <td></td> 
 <td></td> 
 <td></td> 
 <td></td> 
 <td></td> 
 <td></td> 
 <td></td> 
 <td></td> 
 <td></td> 
 <td></td> 
 <td></td> 
 <td></td> 
 <td></td> 
 </tr> 
 </tbody> 
</table>

**Shift\_JIS**是一个日本电脑系统常用的编码表。它能容纳全形及半形拉丁字母、平假名、片假名、符号及日语汉字。

它被命名为Shift\_JIS的原因，是它在放置全形字符时，要避开原本在0xA1-0xDF放置的半角假名字符。

在微软及IBM的日语电脑系统中，即使用了这个编码表。这个编码表称为**CP932**。

**字****节结****构**

以下字元在Shift\_JIS使用一个字节来表示。

ASCII字符 (0x20-0x7E)，但“/”被“¥”取代

ASCII控制字符 (0x00-0x1F、0x7F)

JIS X 0201标准内的半角标点及片假名(0xA1-0xDF)

在部分操作系统中，0xA0用来放置“不换行空格”。

以下字元在Shift\_JIS使用两个字节来表示。

JIS X 0208字集的所有字符

“第一位字节”使用0x81-0x9F、0xE0-0xEF (共47个)

“第二位字节”使用0x40-0x7E、0x80-0xFC (共188个)

使用者定义区

“第一位字节”使用0xF0-0xFC (共47个)

“第二位字节”使用0x40-0x7E、0x80-0xFC (共188个)

在Shift\_JIS编码表中，并未使用0xFD、0xFE及0xFF。

在微软及IBM的日语电脑系统中，在0xFA、0xFB及0xFC的两字节区域，加入了388个JIS X 0208没有收录的符号和汉字。

因为unicode的很多编码而shift-jis并没有用到，所以在转换时shift-jis没有对应的编码转换，所以转换成byte时都是以63来代替,即是？显示出来，因些我们要跟据原来字符串的字节码所对应的字符替换成shift-jis能显的相应字符。

我们的设计思路如下：

1、用一张转换表来处理保存要替换的编码表和字符表。

2、用两种处理方式来处理转换代码。

a:用编码来替换，有些特殊字符并没显示出字符串，但是他却是存在的，如空字符，0xa0，shift-jis里并没有对应的编码。还有一些特殊字符，如utf-8是new byte\[\] \{0xef, 0xbb,0xbf\}的空字符串。

b:在字符串转换前替换掉。如一些明显可保存的字付串。如〜替换成～,直接Replace替换掉.

问题就会随之而来，我们在表时只能保存像 0xef, 0xbb,0xbf 这样的字符串，怎么样转换成new byte\[\] \{0xef, 0xbb,0xbf\}呢？

我们处理的方式如下：

private byte[] ConvertStringToByte(string originalStr)
            {
                if (string.IsNullOrEmpty(originalStr)) return null;
                string[] originalSplit = originalStr.Split(',');            
                int originalFirstValue = 0, originalSecondValue = 0, originalThirdValue = 0;
                byte[] resultByte;
                originalFirstValue = Convert.ToInt32(originalSplit[0].Trim(), 16);
                if (originalSplit.Length == 2)
                {
                    originalSecondValue = Convert.ToInt32(originalSplit[1].Trim(), 16);
                    resultByte = new byte[] { BitConverter.GetBytes(originalFirstValue)[0], BitConverter.GetBytes(originalSecondValue)[0] };
                }
                else  if (originalSplit.Length == 3)
                {
                    originalSecondValue = Convert.ToInt32(originalSplit[1].Trim(), 16);
                    originalThirdValue = Convert.ToInt32(originalSplit[2].Trim(), 16);
                    resultByte = new byte[] { BitConverter.GetBytes(originalFirstValue)[0], BitConverter.GetBytes(originalSecondValue)[0], BitConverter.GetBytes(originalThirdValue)[0] };
                }
                else
                {
                    resultByte = new byte[] { BitConverter.GetBytes(originalFirstValue)[0] };
                }
                return resultByte;
            }

根据传入的代码转换成相应字节流。而后概据我们的处理逻辑编写代码进行替换。

代码如下:

public string ReplaceString(string content)
 {
 List<MessyCodeHandleBE> messyCodeHandleBEList = RetrieveAll();
 
 foreach (MessyCodeHandleBE entity in messyCodeHandleBEList)
 {
 if (entity.ConvertType == MessyCodeHandleConvertTypeChoices.ENCODEREPLACE)
 {
 content = content.Replace(Encoding.UTF8.GetString(ConvertStringToByte(entity.OriginalCode)), entity.ReplaceCode);
 }
 else
 {
 content = content.Replace(entity.OriginalCode, entity.ReplaceCode);
 }
 }
 return content;
 }

而一个特殊字符的编码如何取得可以跟据以下代码自己计算，代码如下：

private string ConvertToShiftJis(string content)
            {
                Encoding orginal = Encoding.GetEncoding("utf-8");
                Encoding ShiftJis = Encoding.GetEncoding("Shift-JIS");
                byte[] unf8Bytes = orginal.GetBytes(content);
                byte[] myBytes = Encoding.Convert(orginal, ShiftJis, unf8Bytes);
                string JISContent = ShiftJis.GetString(myBytes);
                return JISContent;
            }

在调试时查看其字节编码，如图:

[![image][]][image 1]

而239的16进制是0xef,187的16进制是0xbb,191的16进制是0xbf.

总结

就是查找字符串对应shift-jis编码为63时对应的byte\[\]字节是什么，再用Replace替换掉就OK了。如果你有什么新的发现，欢迎留言交流。

作者：[spring yang][]

出处：[http://www.cnblogs.com/springyangwc/][http_www.cnblogs.com_springyangwc]

本文版权归作者和博客园共有，欢迎转载，但未经作者同意必须保留此段声明，且在文章页面明显位置给出原文连接，否则保留追究法律责任的权利。

转载于:https://www.cnblogs.com/springyangwc/archive/2011/07/05/2098053.html

[image]: /images/20211220/871f7a0d25a74165a3e3827a3bd72dcc.png
[image 1]: http://images.cnblogs.com/cnblogs_com/springyangwc/201107/201107051040271461.png
[spring yang]: http://home.cnblogs.com/u/springyangwc/
[http_www.cnblogs.com_springyangwc]: http://www.cnblogs.com/springyangwc/