Sau một thời gian miệt mài, chăm chỉ đi gom UID của tặp khách hàng tiềm năng bằng phần mềm quét UID, bạn đã có trong tay 1 tệp UID ngon lành để chạy kết bạn tự động. Tuy nhiên, trong tệp UID đó chắc chắn sẽ có những UID trùng do bạn quét từ nhiều nguồn khác nhau. Giải pháp là bạn có thể lọc trùng UID bằng phần mềm Excel, nhưng cách này chỉ phù hợp với tệp vài trăm k UID trở lại. Để lọc trùng tệp UID lớn đến vài triệu UID thì bạn làm cách nào. TaiDV sẽ hướng dẩn cho các bạn cả 2 cách lọc trùng UID này để bạn sử dụng trong công việc của mình
Lọc UID trùng bằng excel
Cách này phù hợp với tệp nhỏ 100k UID trở lại
- Vào phần mềm Excel
- Copy UID vào trong 1 cột
- Làm từng bước như hình dưới để lọc trùng UID: Vào phần Data -> Chọn cột muốn lọc trùng -> Remove Duplicates -> OK
- Và Bùm, dữ liệu đã được lọc trùng, lưu file lại thôi
Lọc trùng dữ liệu UID file lớn (>10 triệu dòng)
- Tạo file notepad mới, pass code dưới này vào.
……
echo off
setlocal enabledelayedexpansion
set inputfile=text1.txt
set outputfile=text2.txt
echo File to be processed
echo.
type %inputfile%
echo.
if exist sorted.txt del sorted.txt
sort %inputfile% /O sorted.txt
if exist %outputfile% del %outputfile%
set lastline=
for /f “delims==” %%L in (sorted.txt) do (
set thisline=%%L
if not “!thisline!”==”!lastline!” echo !thisline!>>%outputfile%
set lastline=%%L
)
del sorted.txt
echo Duplicates removed:
echo.
type %outputfile%
…….
- text1.txt chính là tên file cần lọc trùng
- text2.txt là file sau khi đã được lọc trùng
Chú ý: File code nằm cùng thư mục với file cần lọc. Sau khi sửa file xong, đổi txt thành đuôi .bat bấm vào chạy và chờ tùy vào độ lớn của file cần lọc trùng. Test file 16 triệu UID thì thời gian chờ gần 2 tiếng để xuất ra file mới.
Lọc UID bị trùng là việc làm đơn giản với các bạn biết sử dụng tool hay am hiểu về code nhưng thực sự vất vả với những bạn tay ngang, không hiểu nhiều về tin học, đặc biệt là việc lọc trùng những file UID lớn càng khó khăn hơn. Hy vọng với 2 cách hướng dẩn lọc trùng UID trên sẽ giúp các bạn nhẹ nhàng hơn trong xử lý những công việc liên quan. Chúc các bạn thành công!
