Прочие базы данных

[SDFnik]

Всем привет, подскажите, чем можно собрать такое кол-во файлов в 1

imho, единственно правильным способом будет предложенный SDFnik

copy *.csv all.csv

все прочие могут привести к появлению в результирующем файле нечитаемых символов или ? в строках

другой вопрос, что полученный файл будет грузить ресурсы при чтении и обработке, данные стоит разбить на части, если не по регионам, то по хотя бы по размеру

Так стояла задача скопировать ВСЕ файлы csv в один.
Если нужно скопировать несколько файлов в один, то делаем так:
copy 1.csv+2.csv+3.csv 123.csv
В файле 123.csv будет скопировано содержимое файлов 1.csv, 2.csv и 3.csv.

Если нужно рассортировать по регионам:
findstr /M "Nigeria" *.csv > nigeria.txt

В файле nigeria.txt будет список файлов, где встречается слово "Nigeria", например:
23.csv
47.csv
91.csv

В любом редакторе в файле nigeria.txt заменяем знак переноса строки на "+":
23.csv+47.csv+91.csv
и редактируем получившуюся строку:
copy 23.csv+47.csv+91.csv Nigeria_linkedin.txt
меняем расширение файла nigeria.txt на bat или cmd и запускаем.
В получившимся файле Nigeria_linkedin.txt будут товарищи негры из Nigeria (тамбовский волк им товарищ).

[SDFnik]

Офтопик

единственно правильным способом будет

научиться пользоваться линуксом, где есть простые cat, cut, sed и awk которые закрывают любые вопросы с обработкой текстовых данных любого размера

Все уже украдено придумано до нас (С).
Есть порт утилит unix под Windows:
[External Link Removed for Guests]
[External Link Removed for Guests]
Сам пользуюсь sed под виндой для поиска-замены в больших текстовых файлах.

[SDFnik]

Офтопик

единственно правильным способом будет

научиться пользоваться линуксом, где есть простые cat, cut, sed и awk которые закрывают любые вопросы с обработкой текстовых данных любого размера

Я под виндой cygwin использую. Очень удобно

В комплект не только Cygwin, но и MSYS2, Active Perl, MINGW входят unix утилиты.

[ttm]

Прошу уважаемое сообщество обратить внимание на miller.
[External Link Removed for Guests]

[LibVik]

Так стояла задача скопировать ВСЕ файлы csv в один.

Моё замечание относительно размера было для FamilyTheRapy
А реализацию сортировки сделал бы через Total Commander
Найти с учётом текста, перенести в папку,
склейка / сopy *.csv all.csv /

[LibVik]

У меня NPD в сжатом виде - 50 Gb (files NPD202401.7z, NPD202402.7z), в распакованном - 284 Gb (files ssn.txt, ssn2.txt).

это уже подчищенная версия
в оригинале выгдядит так

► Показать

"935660414","RHONDA","LUDEEN","YOUNG","RHONDA L YOUNGRUSSELL","RHONDA LUDEEN YOUNG-RUSSELL","RHONDA LUDEEN RUSSELL","325744816","No","19651111","6233362689","6235350015","","[email protected]","[email protected]","[email protected]","12438","W","SCOTTS","DR","","EL MIRAGE","AZ","85335","","20130801","20140228"
"935660415","RHONDA","LUDEEN","YOUNG","RHONDA L YOUNGRUSSELL","RHONDA LUDEEN YOUNG-RUSSELL","RHONDA LUDEEN RUSSELL","325744816","No","19651111","6233362689","6235350015","","[email protected]","[email protected]","[email protected]","1405","S","122ND","AVE","","AVONDALE","AZ","85323","","20060201","20130725"
"935660416","RHONDA","LUDEEN","YOUNG","RHONDA L YOUNGRUSSELL","RHONDA LUDEEN YOUNG-RUSSELL","RHONDA LUDEEN RUSSELL","325744816","No","19651111","6233362689","6235350015","","[email protected]","[email protected]","[email protected]","4504","W","PLEASANT","LN","","LAVEEN","AZ","85339","","20130330","20130724"
"935660417","RHONDA","LUDEEN","YOUNG","RHONDA L YOUNGRUSSELL","RHONDA LUDEEN YOUNG-RUSSELL","RHONDA LUDEEN RUSSELL","325744816","No","19651111","6233362689","6235350015","","[email protected]","[email protected]","[email protected]","149","","AUBURN","WAY","","VACAVILLE","CA","95688","","20120303","20130329"
"935660418","RHONDA","LUDEEN","YOUNG","RHONDA L YOUNGRUSSELL","RHONDA LUDEEN YOUNG-RUSSELL","RHONDA LUDEEN RUSSELL","325744816","No","19651111","6233362689","6235350015","","[email protected]","[email protected]","[email protected]","1212","","PO Box","","","EL MIRAGE","AZ","85335","","20111031","20130106"
"935660419","RHONDA","LUDEEN","YOUNG","RHONDA L YOUNGRUSSELL","RHONDA LUDEEN YOUNG-RUSSELL","RHONDA LUDEEN RUSSELL","325744816","No","19651111","6233362689","6235350015","","[email protected]","[email protected]","[email protected]","16235","W","CARIBBEAN","LN","","SURPRISE","AZ","85379","","20100721","20110227"
"935660420","RHONDA","LUDEEN","YOUNG","RHONDA L YOUNGRUSSELL","RHONDA LUDEEN YOUNG-RUSSELL","RHONDA LUDEEN RUSSELL","325744816","No","19651111","6233362689","6235350015","","[email protected]","[email protected]","[email protected]","12851","W","BUCKEYE","RD","","AVONDALE","AZ","85323","105","20091129","20100720"
"935660421","RHONDA","LUDEEN","YOUNG","RHONDA L YOUNGRUSSELL","RHONDA LUDEEN YOUNG-RUSSELL","RHONDA LUDEEN RUSSELL","325744816","No","19651111","6233362689","6235350015","","[email protected]","[email protected]","[email protected]","12721","W","RING","WAY","","EL MIRAGE","AZ","85335","","20100630","20100630"
"935660422","RHONDA","LUDEEN","YOUNG","RHONDA L YOUNGRUSSELL","RHONDA LUDEEN YOUNG-RUSSELL","RHONDA LUDEEN RUSSELL","325744816","No","19651111","6233362689","6235350015","","[email protected]","[email protected]","[email protected]","9525","","R","PLZ","","OMAHA","NE","68127","203","200308","20090801"
"935660423","RHONDA","LUDEEN","YOUNG","RHONDA L YOUNGRUSSELL","RHONDA LUDEEN YOUNG-RUSSELL","RHONDA LUDEEN RUSSELL","325744816","No","19651111","6233362689","6235350015","","[email protected]","[email protected]","[email protected]","9525","","R","PLZ","","OMAHA","NE","68127","","20040203","20040203"
"935660424","RONDA","MICHELLE","ZARCO","RONDA MICHELLE RUSSELL","RHONDA MICHELLE RUSSELL","RHONDA MICHELLE ZARCO","527378980","No","19671104","5208362797","5203712309","","[email protected]","[email protected]","[email protected]","10733","","PO Box","","","BAPCHULE","AZ","85121","","20050311","20221230"
"935660425","RONDA","MICHELLE","ZARCO","RONDA MICHELLE RUSSELL","RHONDA MICHELLE RUSSELL","RHONDA MICHELLE ZARCO","527378980","No","19671104","5204263600","5208362797","5203712309","[email protected]","[email protected]","[email protected]","1650","N","KADOTA","AVE","","CASA GRANDE","AZ","85122","103","20090504","20221202"
"935660426","RONDA","MICHELLE","ZARCO","RONDA MICHELLE RUSSELL","RHONDA MICHELLE RUSSELL","RHONDA MICHELLE ZARCO","527378980","No","19671104","5204263600","5208362797","5203712309","[email protected]","[email protected]","[email protected]","1650","N","KADOTA","AVE","","CASA GRANDE","AZ","85122","","20090806","20210928"
"935660427","RONDA","MICHELLE","ZARCO","RONDA MICHELLE RUSSELL","RHONDA MICHELLE RUSSELL","RHONDA MICHELLE ZARCO","527378980","No","19671104","5208362797","5203712309","","[email protected]","[email protected]","[email protected]","201","W","JAHNS","PL","","CASA GRANDE","AZ","85122","","20061101","20221102"
"935660428","RONDA","MICHELLE","ZARCO","RONDA MICHELLE RUSSELL","RHONDA MICHELLE RUSSELL","RHONDA MICHELLE ZARCO","527378980","No","19671104","5208362797","5203712309","","[email protected]","[email protected]","[email protected]","3391","W","MASHHAD","","","BAPCHULE","AZ","85121","","20180605","20180605"
"935660429","RONDA","MICHELLE","ZARCO","RONDA MICHELLE RUSSELL","RHONDA MICHELLE RUSSELL","RHONDA MICHELLE ZARCO","527378980","No","19671104","5208362797","5203712309","","[email protected]","[email protected]","[email protected]","1997","","PO Box","","","SACATON","AZ","85147","","19921101","20170401"
"935660430","RONDA","MICHELLE","ZARCO","RONDA MICHELLE RUSSELL","RHONDA MICHELLE RUSSELL","RHONDA MICHELLE ZARCO","527378980","No","19671104","5208362797","5203712309","","[email protected]","[email protected]","[email protected]","44885","W","MCDAVID","RD","","MARICOPA","AZ","85139","","20131204","20131204"
"935660431","RONDA","MICHELLE","ZARCO","RONDA MICHELLE RUSSELL","RHONDA MICHELLE RUSSELL","RHONDA MICHELLE ZARCO","527378980","No","19671104","5208362797","5203712309","","[email protected]","[email protected]","[email protected]","3085","","GATEWAY","BLVD","","PRESCOTT","AZ","86303","","20130726","20130726"
"935660432","RONDA","MICHELLE","ZARCO","RONDA MICHELLE RUSSELL","RHONDA MICHELLE RUSSELL","RHONDA MICHELLE ZARCO","527378980","No","19671104","5208362797","5203712309","","[email protected]","[email protected]","[email protected]","10991","","PO Box","","","BAPCHULE","AZ","85121","","19901201","20120804"
"935660433","RONDA","MICHELLE","ZARCO","RONDA MICHELLE RUSSELL","RHONDA MICHELLE RUSSELL","RHONDA MICHELLE ZARCO","527378980","No","19671104","5208362797","5203712309","","[email protected]","[email protected]","[email protected]","1461","","PO Box","","","SACATON","AZ","85147","","19910301","20090731"

А как такое чистить?

удалить индекс, слить в одну строку по SSN, удалить повтор имени
там Unique SSN: 239545219
Unique SSN: 159658869

[Burg0mister]

При таких объёмах файлов, лимитирующим фактором будет скорость чтения-записи на диск - нужен быстрый твердотельный винт.

Если сливать адреса вместе, могут очень длинные строки получиться:

Спойлер

ID,firstname,lastname,middlename,name_suff,dob,address,city,county_name,st,zip,phone1,aka1fullname,aka2fullname,aka3fullname,StartDat,alt1DOB,alt2DOB,alt3DOB,ssn
25717441,EDWARD,FOMENKO,G,,,701 S RIVER HEIGHTS DR,POST FALLS,KOOTENAI,ID,83854,,,,,,,,,518398509
28294620,EDWARD,FOMENKO,G,,19390901,701 S RIVER HEIGHT DR,POST FALLS,KOOTENAI,ID,83854,,,,,,,,,518398509
28294621,EDWARD,FOMENKO,G,,19390901,PO BOX 1241,HAYDEN,KOOTENAI,ID,83835,,,,,,,,,518398509
28294622,EDWARD,FOMENKO,G,,19390901,PO BOX 2301,HAYDEN,KOOTENAI,ID,83835,,,,,,,,,518398509
28294623,EDWARD,FOMENKO,G,,19390901,213 E 3RD AVE,POST FALLS,KOOTENAI,ID,83854,,,,,,,,,518398509
28294624,EDWARD,FOMENKO,G,,19390901,831 E MILES AVE,HAYDEN,KOOTENAI,ID,83835,,,,,,,,,518398509
30116342,EDWARD,FOMENKO,G,,19700701,800 S MAJESTIC VIEW DR,POST FALLS,KOOTENAI,ID,83854,2087779658,,,,,,,,518398509
30116343,EDWARD,FOMENKO,G,,19700701,701 S RIVER HEIGHT DR,POST FALLS,KOOTENAI,ID,83854,8167417598,,,,,,,,518398509
33592521,EDWARD,FOMENKO,G,,,213 E 3 RD AVE,POST FALLS,KOOTENAI,ID,83854,,,,,,,,,518398509
33875737,EDWARD,FOMENKO,G,,19700701,800 S MAJESTIC VIEW DR,POST FALLS,KOOTENAI,ID,83854,2087732446,,,,,,,,518398509
33988293,EDWARD,FOMENKO,G,,,701 S RIVER HEIGHT DR,POST FALLS,KOOTENAI,ID,83854,,,,,,,,,518398509
33988294,EDWARD,FOMENKO,G,,,PO BOX 1241,HAYDEN,KOOTENAI,ID,83835,,,,,,,,,518398509
33988295,EDWARD,FOMENKO,G,,,PO BOX 2301,HAYDEN,KOOTENAI,ID,83835,,,,,,,,,518398509
33988296,EDWARD,FOMENKO,G,,,213 E 3RD AVE,POST FALLS,KOOTENAI,ID,83854,,,,,,,,,518398509
33988297,EDWARD,FOMENKO,G,,,831 E MILES AVE,HAYDEN,KOOTENAI,ID,83835,,,,,,,,,518398509

15 адресов, 3 телефона (2087779658, 8167417598, 2087732446), 2 даты рождения (19390901, 19700701), 1 SSN.

Если не загонять текст в базу, можно использовать поиск в консоли, например:
find ",JOHN,RIPPER," ssn.txt > output.txt
(При установки NTFS сжатия, занимаемый размер текстовых файлов на диске уменьшается раза в полтора.)

в линукс можно попробовать ещё так:
7z e -so NPD202401.7z -p'[External Link Removed for Guests]' 2>/dev/null | rg -i ",JOHN,RIPPER," > search.txt

Приветствую! Да это понятно, что можно и ГРЕП использовать, и есть куча софта для создания нереляционной СУБД на коленке, как ведомственные так и свободные программы со своими плюсами и минусами. Однако если не чистить - объемы получаются огромные, это надо прямиком по США работать чтобы такое хранить иначе никаких запасов дисков не хватит. Да и десяток таких баз без чистки превратит со временем поиск в очень томительное и рутинное занятие.
С замечанием на счет диска согласен, а еще оперативки много надо, остальное менее критично даже при использовании сложных регулярных выражений.

Достаточно выборочно сверить с Московсим ДИТом...

Ходят слухи, что существует две версии ДИТ, здорового человека и больная. Где-то в Березах выкладывали обновленную версию, но руки проверить еще не дошли. Ставшая пабликом ранее версия была с искажениями, не ориентируйся на нее. Я тоже так пару раз пролетел с поиском по этой базе, хотя на этапе конвертирования сверял и так удачно попалось видимо, что несколько строк было верных.
Похоже там не все номера попортили, а как уже бывало с другими, например только 6 поменяли на 3.

На один из теневых форумов выложили базу профилей соцсети ВКонтакте и назвали это "крупной утечкой данных".

На самом деле ни о какой утечке данных речь, конечно, не идет. Выложенная база содержит информацию, полученную с помощью запросов к официальному API социальной сети, а не в результате ее взлома.

Всего в файле 390,425,718 строк, содержащих: имя/фамилию (так, как указано в профиле), ссылку на фотографию, пол, идентификатор профиля и город/страну (если указано в профиле). Вся эта информация является публично доступной и пользователи сами разместили ее у себя в открытых профилях.

Утверждается, что данные собраны в сентябре 2024.
Скрытый текст

Парсинг очень полезный, пригодится, спасибо! Но хочу отметить что данные там примерно за 2018-2019 год, нашел аккаунты, которые с тех пор были удалены, и аватарки там сохранены как раз плюс минус тех времен.

Возможно jewibev прав и это даже 2017

[SDFnik]

Так стояла задача скопировать ВСЕ файлы csv в один.

Моё замечание относительно размера было для FamilyTheRapy
А реализацию сортировки сделал бы через Total Commander
Найти с учётом текста, перенести в папку,
склейка / сopy *.csv all.csv /

Поиск в TotalCommander - удобная вещь, пользуюсь не только для нахождения текста, но и HEX-code в dll и exe для поиска сигнатур некоторых защит (FlexNET / FlexLM), с последующим пропатчиванием.
Findstr из комплекта Windows имеет возможность поиска строк по списку из файла (опция /G:файл_списка.txt).
Например, если хотим сделать выборку по всей Африке, в файл list.txt помещаем название всех стран Африки (например из вики) и запускаем:
findstr /M /G:list.txt *.csv > Africa.txt
В Africa.txt будет список всех файлов, в которых присутствует хотя бы одна строка из list.txt .

[SDFnik]

Приветствую! ...
Однако если не чистить - объемы получаются огромные, это надо прямиком по США работать чтобы такое хранить иначе никаких запасов дисков не хватит.

Приветствую!
Да уж, действительно, дисков не напасёшься:
- 5 лет назад купил 4 TB, думал, надолго хватит - ЩАЗ ...
- в начале года купил 16 TB, думал, надолго хватит - ЩАЗ ...
Да и нужда в база по usa - сомнительна (для меня - вообще одноразовая:
найти десяток однокурсников и десяток знакомых по аспирантуре, ставших колбасными эмигрантами).

[SDFnik]

У меня NPD в сжатом виде - 50 Gb (files NPD202401.7z, NPD202402.7z), в распакованном - 284 Gb (files ssn.txt, ssn2.txt).

это уже подчищенная версия
в оригинале выгдядит так

► Показать

"935660414","RHONDA","LUDEEN","YOUNG","RHONDA L YOUNGRUSSELL","RHONDA LUDEEN YOUNG-RUSSELL","RHONDA LUDEEN RUSSELL","325744816","No","19651111","6233362689","6235350015","","[email protected]","[email protected]","[email protected]","12438","W","SCOTTS","DR","","EL MIRAGE","AZ","85335","","20130801","20140228"
"935660415","RHONDA","LUDEEN","YOUNG","RHONDA L YOUNGRUSSELL","RHONDA LUDEEN YOUNG-RUSSELL","RHONDA LUDEEN RUSSELL","325744816","No","19651111","6233362689","6235350015","","[email protected]","[email protected]","[email protected]","1405","S","122ND","AVE","","AVONDALE","AZ","85323","","20060201","20130725"
"935660416","RHONDA","LUDEEN","YOUNG","RHONDA L YOUNGRUSSELL","RHONDA LUDEEN YOUNG-RUSSELL","RHONDA LUDEEN RUSSELL","325744816","No","19651111","6233362689","6235350015","","[email protected]","[email protected]","[email protected]","4504","W","PLEASANT","LN","","LAVEEN","AZ","85339","","20130330","20130724"
"935660417","RHONDA","LUDEEN","YOUNG","RHONDA L YOUNGRUSSELL","RHONDA LUDEEN YOUNG-RUSSELL","RHONDA LUDEEN RUSSELL","325744816","No","19651111","6233362689","6235350015","","[email protected]","[email protected]","[email protected]","149","","AUBURN","WAY","","VACAVILLE","CA","95688","","20120303","20130329"
"935660418","RHONDA","LUDEEN","YOUNG","RHONDA L YOUNGRUSSELL","RHONDA LUDEEN YOUNG-RUSSELL","RHONDA LUDEEN RUSSELL","325744816","No","19651111","6233362689","6235350015","","[email protected]","[email protected]","[email protected]","1212","","PO Box","","","EL MIRAGE","AZ","85335","","20111031","20130106"
"935660419","RHONDA","LUDEEN","YOUNG","RHONDA L YOUNGRUSSELL","RHONDA LUDEEN YOUNG-RUSSELL","RHONDA LUDEEN RUSSELL","325744816","No","19651111","6233362689","6235350015","","[email protected]","[email protected]","[email protected]","16235","W","CARIBBEAN","LN","","SURPRISE","AZ","85379","","20100721","20110227"
"935660420","RHONDA","LUDEEN","YOUNG","RHONDA L YOUNGRUSSELL","RHONDA LUDEEN YOUNG-RUSSELL","RHONDA LUDEEN RUSSELL","325744816","No","19651111","6233362689","6235350015","","[email protected]","[email protected]","[email protected]","12851","W","BUCKEYE","RD","","AVONDALE","AZ","85323","105","20091129","20100720"
"935660421","RHONDA","LUDEEN","YOUNG","RHONDA L YOUNGRUSSELL","RHONDA LUDEEN YOUNG-RUSSELL","RHONDA LUDEEN RUSSELL","325744816","No","19651111","6233362689","6235350015","","[email protected]","[email protected]","[email protected]","12721","W","RING","WAY","","EL MIRAGE","AZ","85335","","20100630","20100630"
"935660422","RHONDA","LUDEEN","YOUNG","RHONDA L YOUNGRUSSELL","RHONDA LUDEEN YOUNG-RUSSELL","RHONDA LUDEEN RUSSELL","325744816","No","19651111","6233362689","6235350015","","[email protected]","[email protected]","[email protected]","9525","","R","PLZ","","OMAHA","NE","68127","203","200308","20090801"
"935660423","RHONDA","LUDEEN","YOUNG","RHONDA L YOUNGRUSSELL","RHONDA LUDEEN YOUNG-RUSSELL","RHONDA LUDEEN RUSSELL","325744816","No","19651111","6233362689","6235350015","","[email protected]","[email protected]","[email protected]","9525","","R","PLZ","","OMAHA","NE","68127","","20040203","20040203"
"935660424","RONDA","MICHELLE","ZARCO","RONDA MICHELLE RUSSELL","RHONDA MICHELLE RUSSELL","RHONDA MICHELLE ZARCO","527378980","No","19671104","5208362797","5203712309","","[email protected]","[email protected]","[email protected]","10733","","PO Box","","","BAPCHULE","AZ","85121","","20050311","20221230"
"935660425","RONDA","MICHELLE","ZARCO","RONDA MICHELLE RUSSELL","RHONDA MICHELLE RUSSELL","RHONDA MICHELLE ZARCO","527378980","No","19671104","5204263600","5208362797","5203712309","[email protected]","[email protected]","[email protected]","1650","N","KADOTA","AVE","","CASA GRANDE","AZ","85122","103","20090504","20221202"
"935660426","RONDA","MICHELLE","ZARCO","RONDA MICHELLE RUSSELL","RHONDA MICHELLE RUSSELL","RHONDA MICHELLE ZARCO","527378980","No","19671104","5204263600","5208362797","5203712309","[email protected]","[email protected]","[email protected]","1650","N","KADOTA","AVE","","CASA GRANDE","AZ","85122","","20090806","20210928"
"935660427","RONDA","MICHELLE","ZARCO","RONDA MICHELLE RUSSELL","RHONDA MICHELLE RUSSELL","RHONDA MICHELLE ZARCO","527378980","No","19671104","5208362797","5203712309","","[email protected]","[email protected]","[email protected]","201","W","JAHNS","PL","","CASA GRANDE","AZ","85122","","20061101","20221102"
"935660428","RONDA","MICHELLE","ZARCO","RONDA MICHELLE RUSSELL","RHONDA MICHELLE RUSSELL","RHONDA MICHELLE ZARCO","527378980","No","19671104","5208362797","5203712309","","[email protected]","[email protected]","[email protected]","3391","W","MASHHAD","","","BAPCHULE","AZ","85121","","20180605","20180605"
"935660429","RONDA","MICHELLE","ZARCO","RONDA MICHELLE RUSSELL","RHONDA MICHELLE RUSSELL","RHONDA MICHELLE ZARCO","527378980","No","19671104","5208362797","5203712309","","[email protected]","[email protected]","[email protected]","1997","","PO Box","","","SACATON","AZ","85147","","19921101","20170401"
"935660430","RONDA","MICHELLE","ZARCO","RONDA MICHELLE RUSSELL","RHONDA MICHELLE RUSSELL","RHONDA MICHELLE ZARCO","527378980","No","19671104","5208362797","5203712309","","[email protected]","[email protected]","[email protected]","44885","W","MCDAVID","RD","","MARICOPA","AZ","85139","","20131204","20131204"
"935660431","RONDA","MICHELLE","ZARCO","RONDA MICHELLE RUSSELL","RHONDA MICHELLE RUSSELL","RHONDA MICHELLE ZARCO","527378980","No","19671104","5208362797","5203712309","","[email protected]","[email protected]","[email protected]","3085","","GATEWAY","BLVD","","PRESCOTT","AZ","86303","","20130726","20130726"
"935660432","RONDA","MICHELLE","ZARCO","RONDA MICHELLE RUSSELL","RHONDA MICHELLE RUSSELL","RHONDA MICHELLE ZARCO","527378980","No","19671104","5208362797","5203712309","","[email protected]","[email protected]","[email protected]","10991","","PO Box","","","BAPCHULE","AZ","85121","","19901201","20120804"
"935660433","RONDA","MICHELLE","ZARCO","RONDA MICHELLE RUSSELL","RHONDA MICHELLE RUSSELL","RHONDA MICHELLE ZARCO","527378980","No","19671104","5208362797","5203712309","","[email protected]","[email protected]","[email protected]","1461","","PO Box","","","SACATON","AZ","85147","","19910301","20090731"

А как такое чистить?

удалить индекс, слить в одну строку по SSN, удалить повтор имени
там Unique SSN: 239545219
Unique SSN: 159658869

Да, Вы правы, это база чищенная, полная - мне попадалась 100 Gb сжатая.
Но зачем нужна полная, если есть почищенная (другой вопрос - как почищена и от чего).
Да и с базой непонятки:

Спойлер

...
Специалисты Atlas Data Privacy Corp. проанализировали украденные данные и сообщили, что в них содержится 272 миллиона уникальных SSN. Большинство записей включают имя, SSN и домашний адрес, причем 26% записей также содержат номера телефонов. Интересно, что значительная часть данных относится к умершим людям, причем средний возраст пострадавших – 70 лет.
В июле утекшие данные стали доступны широкому кругу лиц, и NPD уведомила клиентов о компрометации данных. Особое внимание привлекло то, что в утечке не содержались данные тех людей, которые ранее отказались от сбора и обработки данных, что подтвердило легальность действий компании. NPD утверждает, что сотрудничает с правоохранительными органами и проводит расследование, обещая уведомить пользователей о дальнейших изменениях в ситуации.
Несмотря на всю серьёзность инцидента, точное происхождение данных остаётся неясным. Хакеры, участвовавшие в распространении информации, регулярно публиковали новые фрагменты данных, но общий объём данных не соответствовал заявленным 4 ТБ. Кроме того, обнаружились совпадения с предыдущими утечками данных из других источников, что вызвало подозрения, что часть данных могла быть собрана из различных источников, включая NPD.
Особенно тревожным оказалось то, что некоторые данные содержали недостоверную информацию. Например, в базе данных присутствовали записи с неправильными датами рождения и несоответствующими именами. Это создавало дополнительные сложности для тех, кто пытался оценить масштабы утечки и её последствия.
...

Подробнее: [External Link Removed for Guests]