用户名:
密 码: 记住
您当前的位置:首页 > 网络编程 > php教程

php mysql百万级数据去除重复数据

时间:2015-01-23  来源:西部数据  作者:西部数据
  1. <?php 
  2. //定义一个数组,用于存放排重后的结果  
  3. $result = array();  
  4. //读取uid列表文件  
  5. $fp = fopen('test.txt''r'); 
  6.  
  7. while(!feof($fp))  
  8. {  
  9. $uid = fgets($fp);  
  10. $uid = trim($uid);  
  11. $uid = trim($uid" ");  
  12. $uid = trim($uid" "); 
  13.  
  14. if($uid == '')  
  15. {  
  16. continue;  
  17. }  
  18. //以uid为key去看该值是否存在  
  19. if(emptyempty($result[$uid]))  
  20. {  
  21. $result[$uid] = 1;  
  22. }  
  23.  
  24. fclose($fp); 
  25.  
  26. //将结果保存到文件  
  27. $content = '';  
  28. foreach($result as $k => $v)  
  29. {  
  30. $content .= $k." ";  
  31. }  
  32. $fp = fopen('result.txt''w');  
  33. fwrite($fp$content);  
  34. fclose($fp);  
  35. ?>   
  36.  
  37.  
  38. <?php  
  39. //定义数组,用于存放排重后的结果  
  40. $result = array();  
  41. //读取第一个uid列表文件,放入$result_1  
  42. $fp = fopen('test_1.txt''r');  
  43. while(!feof($fp))  
  44. {  
  45. $uid = fgets($fp);  
  46. $uid = trim($uid);  
  47. $uid = trim($uid" ");  
  48. $uid = trim($uid" ");  
  49. if($uid == '')  
  50. {  
  51. continue;  
  52. }  
  53. //以uid为key写入$result,如有重复就会覆盖  
  54. $result[$uid] = 1;  
  55. }  
  56. fclose($fp);  
  57. //读取第二个uid列表文件,并进行排重操作  
  58. $fp = fopen('test_2.txt''r');  
  59. while(!feof($fp))  
  60. {  
  61. $uid = fgets($fp);  
  62. $uid = trim($uid);  
  63. $uid = trim($uid" ");  
  64. $uid = trim($uid" ");  
  65. if($uid == '')  
  66. {  
  67. continue;  
  68. }  
  69. //以uid为key去看该值是否存在  
  70. if(emptyempty($result[$uid]))  
  71. //开源代码phpfensi.com 
  72. $result[$uid] = 1;  
  73. }  
  74. }  
  75. fclose($fp);  
  76. //$result里保存的就排重以后的结果,可以输出到文件,代码省略  
  77. ?>
来顶一下
返回首页
返回首页
推荐资讯
WiFi太不安全:7岁女孩11分钟内入侵公共网络 WiFi太不安全:7岁女孩11分钟内入侵近期刚刚发布研究说WiFi网络能获得人们手机里多少私人信息,
不服跑个分?人工智能也出现“刷分”乱象 不服跑个分?人工智能也出现“刷分2014年,人工智能领域突然爆发,成为了科研和科技创业的热门
相关文章
    无相关信息
栏目更新
栏目热门