189 8069 5689
这篇文章主要介绍“hive数据怎么迁移”，在日常操作中，相信很多人在hive数据怎么迁移问题上存在疑惑，小编查阅了各式资料，整理出简单好用的操作方法，希望对大家解答”hive数据怎么迁移”的疑惑有所帮助！接下来，请跟着小编一起来学习吧！
这篇文章主要介绍“hive数据怎么迁移”，在日常操作中，相信很多人在hive数据怎么迁移问题上存在疑惑，小编查阅了各式资料，整理出简单好用的操作方法，希望对大家解答”hive数据怎么迁移”的疑惑有所帮助！接下来，请跟着小编一起来学习吧！
为南昌县等地区用户提供了全套网页设计制作服务，及南昌县网站建设行业解决方案。主营业务为成都网站制作、成都网站设计、南昌县网站设计，以传统方式定制建设网站，并提供域名空间备案等一条龙服务，秉承以专业、用心的态度为用户提供真诚的服务。我们深信只要达到每一位用户的要求，就会得到认可，从而选择与我们长期合作。这样，我们也可以走得更远！
hive数据迁移，cdh4u5的hive中数据迁移到cdh6.1的hive中，由于distcp不能使用，需要手动导出数据
on hadoop4
cd /tmp/test/people_payment_log
hadoop fs -get /data/warehouse/userdb.db/people_payment/hour=201309* .
hadoop fs -get /data/warehouse/userdb.db/people_payment/hour=201310* .
hadoop fs -get /data/warehouse/userdb.db/people_payment/hour=201311* .
hadoop fs -get /data/warehouse/userdb.db/people_payment/hour=201312* .
hadoop fs -get /data/warehouse/userdb.db/people_payment/hour=201401* .
hadoop fs -get /data/warehouse/userdb.db/people_payment/hour=201402* .
hadoop fs -get /data/warehouse/userdb.db/people_payment/hour=201403* .
cd /tmp/test
tar -czf people_payment_log.tgz people_payment_log
压缩，copy到hdp7,/home/abc/cdh/people_payment，解压缩
on hdp7,scp -Cr hadoop4:/tmp/test/people_payment_log.tgz /home/abc/cdh/people_payment
cd /home/abc/cdh/people_payment;tar -xzf people_payment_log.tgz
将数据上传到cdh6集群的people_payment表中，shell内容如下：
base_dir=/home/abc/cdh/people_payment
data_dir=$base_dir/people_payment_log
ls $data_dir >$base_dir/hour.txt
cd $data_dir
cat $base_dir/hour.txt |while read oneHour
do
echo $oneHour
hadoop fs -put $oneHour /user/hive/warehouse/userdb.db/people_payment/
done
然后需要让hive metastore知道这些分区的存在，生成分区alert语句。
base_dir=/home/abc/cdh/people_payment
cd $base_dir
echo "use userdb;">$base_dir/alert.txt
cat $base_dir/hour.txt |while read oneHour
do
realy_hour=`echo $oneHour|awk -F '=' '{print $2}'`
echo "ALTER TABLE people_payment ADD PARTITION (hour = '$realy_hour');">>$base_dir/alert.txt
done
alert.txt的内容类似
use userdb;
ALTER TABLE people_payment ADD PARTITION (hour = '2013090100');
ALTER TABLE people_payment ADD PARTITION (hour = '2013090101');
然后调用hive -f alert.txt集中进行alert partition。
直接有文件存在的话，可以用下面的方式导入hive
脚本内容如下：
base_dir=/home/abc/cdh/people_payment
data_dir=/data/login/data_login_raw
hive_db=userdb
table=user_login
ls $data_dir/a.bc.d.201408*|awk -F '.' '{print $5}'>$base_dir/hour.txt
cat $base_dir/hour.txt |while read oneHour
do
echo $oneHour
sql="use $hive_db;LOAD DATA LOCAL INPATH '$data_dir/a.bc.d.$oneHour' OVERWRITE INTO table $table partition ( hour=$oneHour);"
echo "===================================================$sql"
/home/abc/cdh/hive/bin/hive -e "$sql"
done
最好是生成一个批量的LOAD DATA LOCAL INPATH。..语句
然后hive -f调用，避免了多次启动hive client.