ICONV字符GB2312转换UTF8

指令:

  #iconv -f GB2312 -t UTF-8 gb1.txt >gb2.txt 

         将gb1里的编码从GB2312转化成UTF-8  并重定向到gb2.txt

  除了iconv命令,我们在linux系统下的man page的第三节还可以看到一组iconv函数。它们分别是

  iconv_t   iconv_open(const char *tocode, const char *fromcode);

  size_t    iconv(iconv_t cd,  char **inbuf,    size_t *inbytesleft,    char **outbuf,    size_t *outbytesleft);

  int        iconv_close(iconv_t cd);

  iconv_open函数用来打开一个编码转换的流,iconv函数的作用是实际进行转换,iconv_close函数的作用就是关闭这个流。实际用法参见下面的例子,下面是一个将UTF-8码转换成GBK码的例子,我们假设已经有了一个uft8编码的输入缓冲区inbuf以及这个缓冲区的长度inlen。

  iconv_t cd = iconv_open( "GBK", "UTF-8");

  char *outbuf = (char *)malloc(inlen * 4 );

  bzero( outbiuf, inlen * 4);

  char *in = inbuf;

  char *out = outbuf;

  size_t outlen = inlen *4;

  iconv(cd, &in, (size_t *)&inlen, &out,&outlen);

  outlen = strlen(outbuf);

  printf("%sn",outbuf);

  free(outbuf);

  iconv_close(cd);

  非常值得注意的地方是:iconv函数会修改参数in和参数out指针所指向的地方,也就是说,在调用iconv函数之前,我们的in和inbuf指针以及out和outbuf指针指向的是同一块内存区域,但是调用之后out指针所指向的地方就不是outbuf了,同理in指针。所以要

  char *in = inbuf;

  char *out = outbuf;

  另存一下,使用或者释放内存的时候也要使用原先的那个指针outbuf和inbuf。

 

例子:

#iconv -f gb2312 -t utf8 buy_msg.htm >buy_msg.html

将buy_msg.htm 内的字符GB2312转换为UTF8

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注