!/bin/sh
#获取前一天的时间
if [ ! -n "$1" ]
;then
lastValue=`date -d "-1
days" +"%Y-%m-%d %H:%M:%S"`
else
lastValue=$1
fi
#增量导入业务库中的live_record表信息
echo
"--------------------导入live_record表信息开始---------------------"
sqoop import --connect
jdbc:mysql://192.168.1.202:3306/live \
--username
XXXXX\
--password XXXXX
\
--table live_record
\
--columns
id,user_id,live_room,live_category,live_title,live_cover,live_status,location_city_code,location_city_name,feature,start_date,end_date,persistent_id,online_count,view_count,peak_count,replay_second,live_order,status,gmt_created,gmt_modified,close_date
\
--target-dir
/user/hive/warehouse/yimay.db/yw_live_record \
--null-string '\\N'
\
--hive-drop-import-delims \
--fields-terminated-by
'\0001' \
--lines-terminated-by
'\n' \
--incremental
lastmodified \
--check-column
gmt_created \
--merge-key id \
--last-value
"${lastValue}" \
--hive-overwrite
\
--create-hive-table
\
--hive-table
yw_live_record
echo