PHP+trim乱码,PHP 源码探秘 - 为什么 trim 会导致乱码

╰+哭是因爲堅強的太久メ 2022-11-16 01:55 83阅读 0赞

运行以下代码：$tag = "互联网产品、";

$text = rtrim($tag, "、");

print\_r($text);

我们可能以为会得到的结果是互联网产品，实际结果是互联网产�。为什么会这样呢？

科普

比如$str = "abcd";

print\_r(strlen($str)."\\n"); // 4

print\_r(mb\_strlen($str)."\\n"); // 4

$str = "周梦康";

print\_r(strlen($str)."\\n"); // 9

print\_r(mb\_strlen($str)."\\n"); // 3

mb\_系列函数是以“多个字节组成的一个字符”为颗粒度来操作的，不带mb\_则是按实际的字节数来操作的。

原理

trim 函数文档string trim ( string $str \[, string $character\_mask = " \\t\\n\\r\\0\\x0B" \] )

该函数不是多字节函数，也就是说，汉字这样的多字节字符，会拿其头或尾的单字节来和后面的$character\_mask对应的char数组进行匹配，如果在后面的数组中，则删掉，继续匹配。比如：echo ltrim("bcdf","abc"); // df

如下面的 demo 中的函数string\_print\_char所示：

、由0xe3 0x80 0x81三字节组成，

品由0xe5 0x93 0x81三字节组成。

所以在执行rtrim的时候，通过字节比对，会将0x81去掉，导致了最后出现了乱码。

源码探究

查看 PHP7 的源码，然后提炼出下面的小 demo ，方便大家一起学习，其实PHP源码的学习并不难，每天进步一点点。//

// main.c

// trim

// Created by 周梦康 on 2017/10/18.

\#include

void string\_print\_char(char \*str);

void php\_charmask(unsigned char \*input, size\_t len, char \*mask);

char \*ltrim(char \*str,char \*character\_mask);

char \*rtrim(char \*str,char \*character\_mask);

int main(int argc, char const \*argv\[\])

printf("%s\\n",ltrim("bcdf","abc"));

string\_print\_char("品"); // e5 93 81

string\_print\_char("、"); // e3 80 81

char \*str = rtrim("互联网产品、","、");

printf("%s\\n",str);

free(str);

return 0;

char \*ltrim(char \*str,char \*character\_mask)

char \*res;

char mask\[256\];

int trimmed = 0;

size\_t len = strlen(str);

php\_charmask((unsigned char\*)character\_mask, strlen(character\_mask), mask);

for (i = 0; i < len; i++) \{

if (mask\[(unsigned char)str\[i\]\]) \{

trimmed++;

\} else \{

break;

len -= trimmed;

str += trimmed;

res = (char \*) malloc(sizeof(char) \* (len+1));

memcpy(res,str,len);

return res;

char \*rtrim(char \*str,char \*character\_mask)

char \*res;

char mask\[256\];

size\_t len = strlen(str);

php\_charmask((unsigned char\*)character\_mask, strlen(character\_mask), mask);

if (len > 0) \{

i = len - 1;

do \{

if (mask\[(unsigned char)str\[i\]\]) \{

len--;

\} else \{

break;

\} while (i-- != 0);

res = (char \*) malloc(sizeof(char) \* (len+1));

memcpy(res,str,len);

return res;

void string\_print\_char(char \*str)

unsigned long l = strlen(str);

for (int i=0; i < l; i++) \{

printf("%02hhx\\t",str\[i\]);

printf("\\n");

void php\_charmask(unsigned char \*input, size\_t len, char \*mask)

unsigned char \*end;

unsigned char c;

memset(mask, 0, 256);

for (end = input+len; input < end; input++) \{

c = \*input;

mask\[c\]= 1;

如果觉得 demo 还不够清晰的，复制下来，自己执行一次吧~

C 语言基础较差的同学也不用担心，我准备后面专门写一个PHP小白学习 C 语言的系列入门短文哈。

解决方案

那么我们就依葫芦画瓢，用 php 本身的多字节函数来实现下吧：function mb\_rtrim($string, $trim, $encoding)

$mask = \[\];

$trimLength = mb\_strlen($trim, $encoding);

for ($i = 0; $i < $trimLength; $i++) \{

$item = mb\_substr($trim, $i, 1, $encoding);

$mask\[\] = $item;

$len = mb\_strlen($string, $encoding);

if ($len > 0) \{

$i = $len - 1;

do \{

$item = mb\_substr($string, $i, 1, $encoding);

if (in\_array($item, $mask)) \{

$len--;

\} else \{

break;

\} while ($i-- != 0);

return mb\_substr($string, 0, $len, $encoding);

mb\_internal\_encoding("UTF-8");

$tag = "互联网产品、";

$encoding = mb\_internal\_encoding();

print\_r(mb\_rtrim($tag, "、",$encoding));

当然你也可以使用正则来做。通过上面的函数学习，单字节函数和多字节函数，你学会了吗？

PHP7 相关源码PHP\_FUNCTION(trim)

php\_do\_trim(INTERNAL\_FUNCTION\_PARAM\_PASSTHRU, 3);

PHP\_FUNCTION(rtrim)

php\_do\_trim(INTERNAL\_FUNCTION\_PARAM\_PASSTHRU, 2);

PHP\_FUNCTION(ltrim)

php\_do\_trim(INTERNAL\_FUNCTION\_PARAM\_PASSTHRU, 1);

\}static void php\_do\_trim(INTERNAL\_FUNCTION\_PARAMETERS, int mode)

zend\_string \*str;

zend\_string \*what = NULL;

ZEND\_PARSE\_PARAMETERS\_START(1, 2)

Z\_PARAM\_STR(str)

Z\_PARAM\_OPTIONAL

Z\_PARAM\_STR(what)

ZEND\_PARSE\_PARAMETERS\_END();

ZVAL\_STR(return\_value, php\_trim(str, (what ? ZSTR\_VAL(what) : NULL), (what ? ZSTR\_LEN(what) : 0), mode));

\}PHPAPI zend\_string \*php\_trim(zend\_string \*str, char \*what, size\_t what\_len, int mode)

const char \*c = ZSTR\_VAL(str);

size\_t len = ZSTR\_LEN(str);

size\_t trimmed = 0;

char mask\[256\];

if (what) \{

if (what\_len == 1) \{

char p = \*what;

if (mode & 1) \{

for (i = 0; i < len; i++) \{

if (c\[i\] == p) \{

trimmed++;

\} else \{

break;

len -= trimmed;

c += trimmed;

if (mode & 2) \{

if (len > 0) \{

i = len - 1;

do \{

if (c\[i\] == p) \{

len--;

\} else \{

break;

\} while (i-- != 0);

\} else \{

php\_charmask((unsigned char\*)what, what\_len, mask);

if (mode & 1) \{

for (i = 0; i < len; i++) \{

if (mask\[(unsigned char)c\[i\]\]) \{

trimmed++;

\} else \{

break;

len -= trimmed;

c += trimmed;

if (mode & 2) \{

if (len > 0) \{

i = len - 1;

do \{

if (mask\[(unsigned char)c\[i\]\]) \{

len--;

\} else \{

break;

\} while (i-- != 0);

\} else \{

if (mode & 1) \{

for (i = 0; i < len; i++) \{

if ((unsigned char)c\[i\] <= ' ' &&

(c\[i\] == ' ' || c\[i\] == '\\n' || c\[i\] == '\\r' || c\[i\] == '\\t' || c\[i\] == '\\v' || c\[i\] == '\\0')) \{

trimmed++;

\} else \{

break;

len -= trimmed;

c += trimmed;

if (mode & 2) \{

if (len > 0) \{

i = len - 1;

do \{

if ((unsigned char)c\[i\] <= ' ' &&

(c\[i\] == ' ' || c\[i\] == '\\n' || c\[i\] == '\\r' || c\[i\] == '\\t' || c\[i\] == '\\v' || c\[i\] == '\\0')) \{

len--;

\} else \{

break;

\} while (i-- != 0);

if (ZSTR\_LEN(str) == len) \{

return zend\_string\_copy(str);

\} else \{

return zend\_string\_init(c, len, 0);

\}/\* \{ \{ \{ php\_charmask

\* Fills a 256-byte bytemask with input. You can specify a range like 'a..z',

\* it needs to be incrementing.

\* Returns: FAILURE/SUCCESS whether the input was correct (i.e. no range errors)

\*/

static inline int php\_charmask(unsigned char \*input, size\_t len, char \*mask)

unsigned char \*end;

unsigned char c;

int result = SUCCESS;

memset(mask, 0, 256);

for (end = input+len; input < end; input++) \{

c=\*input;

if ((input+3 < end) && input\[1\] == '.' && input\[2\] == '.'

&& input\[3\] >= c) \{

memset(mask+c, 1, input\[3\] - c + 1);

input+=3;

\} else if ((input+1 < end) && input\[0\] == '.' && input\[1\] == '.') \{

/\* Error, try to be as helpful as possible:

(a range ending/starting with '.' won't be captured here) \*/

if (end-len >= input) \{ /\* there was no 'left' char \*/

php\_error\_docref(NULL, E\_WARNING, "Invalid '..'-range, no character to the left of '..'");

result = FAILURE;

continue;

if (input+2 >= end) \{ /\* there is no 'right' char \*/

php\_error\_docref(NULL, E\_WARNING, "Invalid '..'-range, no character to the right of '..'");

result = FAILURE;

continue;

if (input\[-1\] > input\[2\]) \{ /\* wrong order \*/

php\_error\_docref(NULL, E\_WARNING, "Invalid '..'-range, '..'-range needs to be incrementing");

result = FAILURE;

continue;

/\* FIXME: better error (a..b..c is the only left possibility?) \*/

php\_error\_docref(NULL, E\_WARNING, "Invalid '..'-range");

result = FAILURE;

continue;

\} else \{

mask\[c\]=1;

return result;

/\* \}\}\} \*/

PHP+trim乱码,PHP 源码探秘 - 为什么 trim 会导致乱码

发表评论取消回复

还没有评论，来说两句吧...

相关阅读

相关 Ribbon IPing机制源码探秘

相关 PHP+trim乱码,PHP 源码探秘 - 为什么 trim 会导致乱码

相关乱码

相关 jmeter请求乱码中文乱码

相关 php mysql 查询乱码解决方法总结乱码总结 php 乱码

相关 PHP读取数据库中文乱码（数据库中没有乱码）

相关乱码

相关 PHP中文乱码

相关 jfinal 源码中文乱码解决

相关 PHP strtolower() 乱码问题