php mysql百万级数据去除重复数据

1. <?php 
2. //定义一个数组，用于存放排重后的结果  
3. $result = array();  
4. //读取uid列表文件  
5. $fp = fopen('test.txt', 'r'); 
6.  
7. while(!feof($fp))  
8. {  
9. $uid = fgets($fp);  
10. $uid = trim($uid);  
11. $uid = trim($uid, " ");  
12. $uid = trim($uid, " "); 
13.  
14. if($uid == '')  
15. {  
16. continue;  
17. }  
18. //以uid为key去看该值是否存在  
19. if(emptyempty($result[$uid]))  
20. {  
21. $result[$uid] = 1;  
22. }  
23. } 
24.  
25. fclose($fp); 
26.  
27. //将结果保存到文件  
28. $content = '';  
29. foreach($result as $k => $v)  
30. {  
31. $content .= $k." ";  
32. }  
33. $fp = fopen('result.txt', 'w');  
34. fwrite($fp, $content);  
35. fclose($fp);  
36. ?>　　 
37.  
38.  
39. <?php  
40. //定义数组，用于存放排重后的结果  
41. $result = array();  
42. //读取第一个uid列表文件，放入$result_1  
43. $fp = fopen('test_1.txt', 'r');  
44. while(!feof($fp))  
45. {  
46. $uid = fgets($fp);  
47. $uid = trim($uid);  
48. $uid = trim($uid, " ");  
49. $uid = trim($uid, " ");  
50. if($uid == '')  
51. {  
52. continue;  
53. }  
54. //以uid为key写入$result，如有重复就会覆盖  
55. $result[$uid] = 1;  
56. }  
57. fclose($fp);  
58. //读取第二个uid列表文件，并进行排重操作  
59. $fp = fopen('test_2.txt', 'r');  
60. while(!feof($fp))  
61. {  
62. $uid = fgets($fp);  
63. $uid = trim($uid);  
64. $uid = trim($uid, " ");  
65. $uid = trim($uid, " ");  
66. if($uid == '')  
67. {  
68. continue;  
69. }  
70. //以uid为key去看该值是否存在  
71. if(emptyempty($result[$uid]))  
72. { //开源代码phpfensi.com 
73. $result[$uid] = 1;  
74. }  
75. }  
76. fclose($fp);  
77. //$result里保存的就排重以后的结果，可以输出到文件，代码省略  
78. ?>