用户名:
密 码: 记住
您当前的位置:首页 > 网络编程 > mysql教程

将mysql数据导入hive方法实例

时间:2015-01-23  来源:西部数据  作者:西部数据

live是一个不错的数据库管理工具,下面我来介绍把mysql数据导入hive方法,有需要了解的同学可参考.

下面是从mysql将数据导入hive的实例.

–hive-import 表示导入到hive,–create-hive-table表示创建hive表,–hive-table指定hive的表名.

  1. [zhouhh@Hadoop46 ~]$ sqoop import --connect jdbc:mysql://Hadoop48/toplists --verbose -m 1 --username root --hive-overwrite --direct --table award --hive-import --create-hive-table --hive-table mysql_award --fields-terminated-by 't' --lines-terminated-by 'n' --append 
  2. 12/07/20 16:02:23 INFO manager.MySQLManager: Preparing to use a MySQL streaming resultset. 
  3. 12/07/20 16:02:23 INFO tool.CodeGenTool: Beginning code generation 
  4. 12/07/20 16:02:23 INFO manager.SqlManager: Executing SQL statement: SELECT t.* FROM `award` AS t LIMIT 1 
  5. 12/07/20 16:02:24 INFO orm.CompilationManager: HADOOP_HOME is /home/zhouhh/hadoop-1.0.0/libexec/.. 

注:/tmp/sqoop-zhouhh/compile/2fe3efbc94924ad6391b948ef8f8254f/award.java使用或覆盖了已过时的 API.

注:有关详细信息,请使用 -Xlint:deprecation 重新编译.

  1. 12/07/20 16:02:25 ERROR orm.CompilationManager: Could not rename /tmp/sqoop-zhouhh/compile/2fe3efbc94924ad6391b948ef8f8254f/award.java to /home/zhouhh/./award.java 
  2. 12/07/20 16:02:25 INFO orm.CompilationManager: Writing jar file: /tmp/sqoop-zhouhh/compile/2fe3efbc94924ad6391b948ef8f8254f/award.jar 
  3. 12/07/20 16:02:25 INFO manager.DirectMySQLManager: Beginning mysqldump fast path import 
  4. 12/07/20 16:02:25 INFO mapreduce.ImportJobBase: Beginning import of award 
  5. 12/07/20 16:02:27 INFO mapred.JobClient: Running job: job_201207191159_0322 
  6. 12/07/20 16:02:28 INFO mapred.JobClient:  map 0% reduce 0% 
  7. 12/07/20 16:02:41 INFO mapred.JobClient:  map 100% reduce 0% 
  8. 12/07/20 16:02:46 INFO mapred.JobClient: Job complete: job_201207191159_0322 
  9. 12/07/20 16:02:46 INFO mapred.JobClient: Counters: 18 
  10. 12/07/20 16:02:46 INFO mapred.JobClient:   Job Counters 
  11. 12/07/20 16:02:46 INFO mapred.JobClient:     SLOTS_MILLIS_MAPS=12849 
  12. 12/07/20 16:02:46 INFO mapred.JobClient:     Total time spent by all reduces waiting after reserving slots (ms)=0 
  13. 12/07/20 16:02:46 INFO mapred.JobClient:     Total time spent by all maps waiting after reserving slots (ms)=0 
  14. 12/07/20 16:02:46 INFO mapred.JobClient:     Launched map tasks=1 
  15. 12/07/20 16:02:46 INFO mapred.JobClient:     SLOTS_MILLIS_REDUCES=0 
  16. 12/07/20 16:02:46 INFO mapred.JobClient:   File Output Format Counters 
  17. 12/07/20 16:02:46 INFO mapred.JobClient:     Bytes Written=208 
  18. 12/07/20 16:02:46 INFO mapred.JobClient:   FileSystemCounters 
  19. 12/07/20 16:02:46 INFO mapred.JobClient:     HDFS_BYTES_READ=87 
  20. 12/07/20 16:02:46 INFO mapred.JobClient:     FILE_BYTES_WRITTEN=30543 
  21. 12/07/20 16:02:46 INFO mapred.JobClient:     HDFS_BYTES_WRITTEN=208 
  22. 12/07/20 16:02:46 INFO mapred.JobClient:   File Input Format Counters 
  23. 12/07/20 16:02:46 INFO mapred.JobClient:     Bytes Read=0 
  24. 12/07/20 16:02:46 INFO mapred.JobClient:   Map-Reduce Framework 
  25. 12/07/20 16:02:46 INFO mapred.JobClient:     Map input records=1 
  26. 12/07/20 16:02:46 INFO mapred.JobClient:     Physical memory (bytes) snapshot=78295040 
  27. 12/07/20 16:02:46 INFO mapred.JobClient:     Spilled Records=0 
  28. 12/07/20 16:02:46 INFO mapred.JobClient:     CPU time spent (ms)=440 
  29. 12/07/20 16:02:46 INFO mapred.JobClient:     Total committed heap usage (bytes)=56623104 
  30. 12/07/20 16:02:46 INFO mapred.JobClient:     Virtual memory (bytes) snapshot=901132288 
  31. 12/07/20 16:02:46 INFO mapred.JobClient:     Map output records=44 
  32. 12/07/20 16:02:46 INFO mapred.JobClient:     SPLIT_RAW_BYTES=87 
  33. 12/07/20 16:02:46 INFO mapreduce.ImportJobBase: Transferred 208 bytes in 20.349 seconds (10.2216 bytes/sec) 
  34. 12/07/20 16:02:46 INFO mapreduce.ImportJobBase: Retrieved 44 records. 
  35. 12/07/20 16:02:46 INFO util.AppendUtils: Creating missing output directory - award 
  36. 12/07/20 16:02:46 INFO hive.HiveImport: Removing temporary files from import process: award/_logs 
  37. 12/07/20 16:02:46 INFO hive.HiveImport: Loading uploaded data into Hive 
  38. 12/07/20 16:02:46 INFO manager.SqlManager: Executing SQL statement: SELECT t.* FROM `award` AS t LIMIT 1 
  39. 12/07/20 16:02:48 INFO hive.HiveImport: WARNING: org.apache.hadoop.metrics.jvm.EventCounter is deprecated. Please use org.apache.hadoop.log.metrics.EventCounter in all the log4j.properties files. 
  40. 12/07/20 16:02:48 INFO hive.HiveImport: Logging initialized using configuration in jar:file:/home/zhouhh/hive-0.8.1/lib/hive-common-0.8.1.jar!/hive-log4j.properties 
  41. 12/07/20 16:02:48 INFO hive.HiveImport: Hive history file=/home/zhouhh/hive-0.8.1/logs/hive_job_log_zhouhh_201207201602_1448253330.txt 
  42. 12/07/20 16:02:53 INFO hive.HiveImport: OK 
  43. 12/07/20 16:02:53 INFO hive.HiveImport: Time taken: 4.322 seconds 
  44. 12/07/20 16:02:53 INFO hive.HiveImport: Loading data to table default.mysql_award 
  45. 12/07/20 16:02:53 INFO hive.HiveImport: Deleted hdfs://Hadoop46:9200/user/hive/warehouse/mysql_award 
  46. 12/07/20 16:02:53 INFO hive.HiveImport: OK 
  47. 12/07/20 16:02:53 INFO hive.HiveImport: Time taken: 0.28 seconds 
  48. 12/07/20 16:02:53 INFO hive.HiveImport: Hive import complete. 

到hive中查询,已经成功导入数据,代码如下:

  1. hive> select * from mysql_award; 
  2. OK 
  3. 2012-04-27 06:55:00:402713629   5947    433203828       2       4027102 402713629       1001    NULL    715878221 内容内容A ios 
  4. 2012-04-27 06:55:00:406788559   778     433203930       19      4017780 406788559       1001    1       13835155880       亲牛牛旦旦      android 
  5. Time taken: 0.368 seconds  --phpfensi.com 

hive>由于基于utf8,所以没有遇到乱码问题.

来顶一下
返回首页
返回首页
推荐资讯
WiFi太不安全:7岁女孩11分钟内入侵公共网络 WiFi太不安全:7岁女孩11分钟内入侵近期刚刚发布研究说WiFi网络能获得人们手机里多少私人信息,
不服跑个分?人工智能也出现“刷分”乱象 不服跑个分?人工智能也出现“刷分2014年,人工智能领域突然爆发,成为了科研和科技创业的热门
相关文章
栏目更新
栏目热门