Tunnel上传遇到字符[NUL]问题

  • 时间:
  • 浏览:0

使用法律法律依据: 可不时需切换到Hex模式,输入00,再切换回来。

模拟生产环境下数据格式,再现异常情景:

源数据在Linux Centos6.5平台上vim打开请况如下:

补救思路:

疑问描述:

疑问导致 :

源数据在windows平台上Notepad++打开请况如下

字符在Linux平台上用vim编辑器打开后显示^@,用sed命令将^@替加上空

在一行中若有另一一另2个逗号,表明在里面有另一一另2个缺失值,test.txt文本测试数据如下:

补充另一一另2个知识点:

在使用Tunnel将生产环境下的文本数据上传到ODPS表过程中,但是 源数据一点字段为NUL或^@,报错无法正确读取,异常是:导入数据列与目标表中列不匹配(not match).

find . -type f -name 文件名 -exec ./changerepository.sh {} /;

(使用notepad++打开16进制文件,一点单击菜单栏的‘H’按钮,即可转换,但是 想转回来,再按一次‘H’按钮)

但是 你可否 备份直接替换加上参数-i

其中\x00表示二位十六进制

但是 是但是 生产环境下业务时需,无效数据打上NUL字符或^@标记

201207092314,,rubbyhao

想法律法律依据把源数据中处于NUL或^@过滤或替加上空值。