欢迎来到阿里云授权服务中心典名科技有限公司!咨询电话:023-66887777 18623333330

微信
手机版
网站地图

Linux下怎么将UTF8编码批量转换成GB2312编码

2021-09-03 14:53:29 投稿人 : admin 围观 : 277 次 0 评论

“Linux下怎么将UTF8编码批量转换成GB2312编码”,在日常操作中,相信很多人在Linux下怎么将UTF8编码批量转换成GB2312编码问题上存在疑惑,小编查阅了各式资料,整理出简单好用的操作方法,希望对大家解答”Linux下怎么将UTF8编码批量转换成GB2312编码”的疑惑有所帮助!接下来,请跟着小编一起来学习吧!

  背景

  本人在使用oracle的sqlplus批量导入UTF8编码的sql脚本时,由于不了解如何设置让sqlplus识别UTF8格式,导致出现乱码、错行等错误,而使工作无法继续,在google无果的情况下只好想办法转换编码。

  由于文件较多,手动转换太麻烦,于是想到用脚本批量转换,幸好网上相关脚本比较多,实现起来唯一的麻烦是UTF8的BOM标记。

未标题-1.jpg

  内容:

  代码如下:

  #!/bin/bash

  for loop in `find 。 -type f -name “*.sql” -print`do

  echo $loop

  mv -f $loop $loop.tmp

  dos2unix $loop.tmp

  file_check_utf8=‘file_check_utf8.log’

  sed -n ‘1l’ $loop.tmp 》$file_check_utf810. if grep ‘^\\357\\273\\277’ $file_check_utf8 》/dev/null 2》&111. then

  echo ‘UTF-8 BOM’

  sed -n -e ‘1s/^.。。//’ -e ‘w intermediate.txt’ $loop.tmp14. iconv -f UTF-8 -t GB2312 -o $loop intermediate.txt15. rm -rf intermediate.txt

  rm -rf $loop.tmp

  elif iconv -f UTF-8 -t GB2312 $loop.tmp 》/dev/null 2》&118. then

  echo ‘UTF-8’

  iconv -f UTF-8 -t GB2312 -o $loop $loop.tmp21. rm -rf $loop.tmp

  else

  echo ‘ANSI’

  mv -f $loop.tmp $loop

  fi

  rm -rf $file_check_utf8

  #模拟unix2dos,要求文本文件最后一行必须有换行符28. sed -n -e ‘s/$/\r/g’ -e ‘w ’$loop.tmp $loop29. mv -f $loop.tmp $loop

  done

  #!/bin/bash

  for loop in `find 。 -type f -name “*.sql” -print`do

  echo $loop

  mv -f $loop $loop.tmp

  dos2unix $loop.tmp

  file_check_utf8=‘file_check_utf8.log’

  sed -n ‘1l’ $loop.tmp 》$file_check_utf810. if grep ‘^\\357\\273\\277’ $file_check_utf8 》/dev/null 2》&111. then

  echo ‘UTF-8 BOM’

  sed -n -e ‘1s/^.。。//’ -e ‘w intermediate.txt’ $loop.tmp14. iconv -f UTF-8 -t GB2312 -o $loop intermediate.txt15. rm -rf intermediate.txt

  rm -rf $loop.tmp

  elif iconv -f UTF-8 -t GB2312 $loop.tmp 》/dev/null 2》&118. then

  echo ‘UTF-8’

  iconv -f UTF-8 -t GB2312 -o $loop $loop.tmp21. rm -rf $loop.tmp

  else

  echo ‘ANSI’

  mv -f $loop.tmp $loop

  fi

  rm -rf $file_check_utf8

  #模拟unix2dos,要求文本文件最后一行必须有换行符28. sed -n -e ‘s/$/\r/g’ -e ‘w ’$loop.tmp $loop29. mv -f $loop.tmp $loop

  done

  解释

  1.处理UTF8的BOM,本人没有找到好的办法,最后用sed+grep判断了一下,如果前三个字节是\\357\\273\\277,则文件必定是UTF8,用sed去掉这三个字节再转换

  2.为了避免重复或者遗漏,脚本中用iconv对没有BOM的文件尝试转换了一把,转换成功说明文件是UTF8,否则说明是ANSI也就是GB2312

  3.关于最后的sed命令,那是因为本人的系统上没有unix2dos命令,所以进行了模拟,目的是为了方便自己在windows下查看和编辑

版权声明:本站部分文章内容、图片来源于网友推荐、互联网收集整理而来,仅供大家学习参考,不代表本站立场,如有侵权,请联系站长,我们会第一时间处理!本站原创内容未经允许不得转载,或转载时需注明出处:典名科技资讯门户

相关文章

  • linux如何查看文件夹什么时候创建的
    linux如何查看文件夹什么时候创建的

    这篇文章主要介绍“linux如何查看文件夹什么时候创建的”,在日常操作中,相信很多人在linux如何查看文件夹什么时候创建的问题上存在疑惑,小编查阅了各式资料,整理出简单好用的操作方法,希望对大家解答”linux如何查看文件夹什么时候创建的...

    2022-05-23 13:46:59
  • linux中rz和sz命令不能用怎么解决
    linux中rz和sz命令不能用怎么解决

    本文小编为大家详细介绍“linux中rz和sz命令不能用怎么解决”,内容详细,步骤清晰,细节处理妥当,希望这篇“linux中rz和sz命令不能用怎么解决”文章能帮助大家解决疑惑,下面跟着小编的思路慢慢深入,一起来学习新知识吧。解决方法:1、...

    2022-05-23 13:46:59
  • linux为什么会产生zombie
    linux为什么会产生zombie

    这篇文章主要介绍了linux为什么会产生zombie的相关知识,内容详细易懂,操作简单快捷,具有一定借鉴价值,相信大家阅读完这篇linux为什么会产生zombie文章都会有所收获,下面我们一起来看看吧。linux产生zombie(僵尸进程)...

    2022-05-23 13:46:58
  • linux中unzip找不到命令怎么解决
    linux中unzip找不到命令怎么解决

    这篇文章主要讲解了“linux中unzip找不到命令怎么解决”,文中的讲解内容简单清晰,易于学习与理解,下面请大家跟着小编的思路慢慢深入,一起来研究和学习“linux中unzip找不到命令怎么解决”吧!解决方法:1、利用“yum list...

    2022-05-23 13:46:56
  • linux中grep如何查找不包含
    linux中grep如何查找不包含

    今天小编给大家分享一下linux中grep如何查找不包含的相关知识点,内容详细,逻辑清晰,相信大部分人都还太了解这方面的知识,所以分享这篇文章给大家参考一下,希望大家阅读完这篇文章后有所收获,下面我们一起来了解一下吧。在linux中,可以利...

    2022-05-23 13:46:56
  • linux中h文件指的是什么
    linux中h文件指的是什么

    这篇文章主要介绍“linux中h文件指的是什么”,在日常操作中,相信很多人在linux中h文件指的是什么问题上存在疑惑,小编查阅了各式资料,整理出简单好用的操作方法,希望对大家解答”linux中h文件指的是什么”的疑惑有所帮助!接下来,请跟...

    2022-05-23 13:46:55
  • linux如何查询mysql的用户
    linux如何查询mysql的用户

    这篇文章主要介绍“linux如何查询mysql的用户”,在日常操作中,相信很多人在linux如何查询mysql的用户问题上存在疑惑,小编查阅了各式资料,整理出简单好用的操作方法,希望对大家解答”linux如何查询mysql的用户”的疑惑有所...

    2022-05-23 13:46:55
  • linux中awk和sed有哪些区别
    linux中awk和sed有哪些区别

    这篇文章主要讲解了“linux中awk和sed有哪些区别”,文中的讲解内容简单清晰,易于学习与理解,下面请大家跟着小编的思路慢慢深入,一起来研究和学习“linux中awk和sed有哪些区别”吧!linux中awk和sed的区别:1、sed是...

    2022-05-23 13:46:55
  • linux中fork和exec有哪些区别
    linux中fork和exec有哪些区别

    这篇文章主要介绍“linux中fork和exec有哪些区别”,在日常操作中,相信很多人在linux中fork和exec有哪些区别问题上存在疑惑,小编查阅了各式资料,整理出简单好用的操作方法,希望对大家解答”linux中fork和exec有哪...

    2022-05-23 13:46:54
  • linux中有没有access函数
    linux中有没有access函数

    这篇“linux中有没有access函数”文章的知识点大部分人都不太理解,所以小编给大家总结了以下内容,内容详细,步骤清晰,具有一定的借鉴价值,希望大家阅读完这篇文章能有所收获,下面我们一起来看看这篇“linux中有没有access函数”文...

    2022-05-23 13:46:53
发表评论