Прочие базы данных

[Search]

Скрытый текст

А что мешает частями собирать? Разбейте на пару заходов и будет Вам счастье))) Так то Emeditor очень мощный инструмент.

было бы не плохо при наличии у вас свободного времени и желания, мануал по работе почитать, если будет время и желание. как говорится, век живи, век учись.

Не совсем понял камень в чей огород, но больше времени ушло на распаковку и запаковку. Для того чтобы собрать, мощный компьютер не нужен (16 гб ДДР3 хватило с головой), при объединении нет необходимости их все открывать, основной вопрос как его теперь обрабатывать?)))
Может кому пригодится, склеилось вроде нормально:

Спойлер

[External Link Removed for Guests]

[FamilyTheRapy]

Crunchbase 1.2m

 Скрытый текст. Для просмотра нужно быть [Local Link Removed for Guests] и иметь благодарностей: 1

 Скрытый текст. Для просмотра нужно быть [Local Link Removed for Guests] и иметь благодарностей: 1

[Gorg]

Не совсем понял камень в чей огород, но больше времени ушло на распаковку и запаковку. Для того чтобы собрать, мощный компьютер не нужен (16 гб ДДР3 хватило с головой)

Да вас хрен поймёшь, один говорит 32 гига DDR5 не вывозит - [External Link Removed for Guests] , а тут DDR3 да ещё и 16...

[barabas66]

Ждем кто сможет 830 Гб. MS SQL базы 1С расковырять.

вот, кстати, минутка юмора.
заскринил в этой worldclass рабочий стол безопасника.
некая ирина игоревна при посещении клуба плюнула прямо в харю другому члену клуба во время тренировки, и сказала, что имела на это полное право.
а тигран ашотович тырил монету из шкафчиков клиентов.
жизнь у физкультурников бьёт ключом)

[External Link Removed for Guests]

[User10902]

Перевёл базу WorldClass.ru 2024 в читаемый CSV.

Самая свежая дата регистрации в утечке датируется 16.10.2023, 2.208.087 строчек
Внутри: ФИО, Дата рождения, Почта, Все телефоны, Серия/Номер паспорта, Дата выдачи, Кем выдан, Код-подразделения, Дата регистрации

Ссылка на скачивание: [External Link Removed for Guests] (рекомендованный)

[Burg0mister]

Не совсем понял камень в чей огород, но больше времени ушло на распаковку и запаковку. Для того чтобы собрать, мощный компьютер не нужен (16 гб ДДР3 хватило с головой)

Да вас хрен поймёшь, один говорит 32 гига DDR5 не вывозит - [External Link Removed for Guests] , а тут DDR3 да ещё и 16...

Зависит от версии Emeditor, его настроек, количества и наполнения файлов. Последняя версия Emeditor хорошо работает с многоядерными системами но при этом хочет больше памяти. Если не так настроить файл подкачки и выдать ему все ядра, тогда и оперативной памяти станет нехватать. При размещении кэша на HDD наверное еще и заметно медленнее будет обрабатывать.
На похожих конфигурациях легко делил большой файл на 60000 мелких и потом из них дергал нужные мне строчки собирая их в новую базу {все это с помощью лишь Emeditor}, но там общий обьем был не более 20 гигабайт.

Еще нужно учитывать что часто такой софт при склейке файлов теряет символ новой строки на последней строчке каждого файла. Из-за этого получается такое.

Файл 1
1_Маша
2_Даша
3_Наташа

Файл 2
1_Коля
2_Петя
3_Дима

Склеенный файл
1_Маша
2_Даша
3_Наташа1_Коля
2_Петя
3_Дима

Когда файл маленький найти и разобрать такое не сложно но если он у вас будет 200 гигабайт и таких склеек сотни тысяч, уже можно запариться даже правильно применяя регулярные выражения.

[Burg0mister]

Ждем кто сможет 830 Гб. MS SQL базы 1С расковырять.

вот, кстати, минутка юмора.
заскринил в этой worldclass рабочий стол безопасника.
некая ирина игоревна при посещении клуба плюнула прямо в харю другому члену клуба во время тренировки, и сказала, что имела на это полное право.
а тигран ашотович тырил монету из шкафчиков клиентов.
жизнь у физкультурников бьёт ключом)

[External Link Removed for Guests]

Можете экспортировать этот список в текст? Не самая плохая база негатива получится

[barabas66]

Можете экспортировать этот список в текст? Не самая плохая база негатива получится

не, из этого списка база не получится - в нём всего 95 записей.
есть ещё список с заявлениями о кражах на 522 строки.
экспортировать-то не проблема, но без привязки к пользователям и сотрудникам это особого смысла не имеет.
разгребу работу, буду делать конверт, тогда и посмотрю, засовывать ли все эти мелочи в базу.

[sergeiii]

Перевёл базу WorldClass.ru 2024 в читаемый CSV.

Самая свежая дата регистрации в утечке датируется 16.10.2023, 2.208.087 строчек
Внутри: ФИО, Дата рождения, Почта, Все телефоны, Серия/Номер паспорта, Дата выдачи, Кем выдан, Код-подразделения, Дата регистрации

Ссылка на скачивание: [External Link Removed for Guests] (рекомендованный)

-почистил (не всё,но старался)
-телефоны "причесал"
-строчки которые "поплыли" поправил (возможно не все)
-явный мусор убрал
-строки,где содержался только номер телефона убрал
-2 059 176 строк
- CSV

пасс рекомендованный
[External Link Removed for Guests]

[LibVik]

Да, Вы правы, это база чищенная, полная - мне попадалась 100 Gb сжатая.
Но зачем нужна полная, если есть почищенная (другой вопрос - как почищена и от чего).

получается практически для всего
взял даму у которой записей в количестве

► Показать

"935660399","RHONDA","LUDEEN","YOUNG","RHONDA L YOUNGRUSSELL","RHONDA LUDEEN YOUNG-RUSSELL","RHONDA LUDEEN RUSSELL","325744816","No","19651111","6233362689","6235350015","","[email protected]","[email protected]","[email protected]","2625","E","ALVARO","TRL","","CASA GRANDE","AZ","85194","","20210611","20221230"
"935660400","RHONDA","LUDEEN","YOUNG","RHONDA L YOUNGRUSSELL","RHONDA LUDEEN YOUNG-RUSSELL","RHONDA LUDEEN RUSSELL","325744816","No","19651111","6233362689","6235350015","","[email protected]","[email protected]","[email protected]","15442","W","POST","CIR","","SURPRISE","AZ","85374","","20181117","20210708"
"935660401","RHONDA","LUDEEN","YOUNG","RHONDA L YOUNGRUSSELL","RHONDA LUDEEN YOUNG-RUSSELL","RHONDA LUDEEN RUSSELL","325744816","No","19651111","6233362689","6235350015","","[email protected]","[email protected]","[email protected]","15442","W","POST","CIR","","SURPRISE","AZ","85374","5","20180831","20181116"
"935660402","RHONDA","LUDEEN","YOUNG","RHONDA L YOUNGRUSSELL","RHONDA LUDEEN YOUNG-RUSSELL","RHONDA LUDEEN RUSSELL","325744816","No","19651111","6239774068","6233362689","6235350015","[email protected]","[email protected]","[email protected]","10702","W","CHERRY HILLS","DR","W","SUN CITY","AZ","85351","","20090730","20210227"
"935660403","RHONDA","LUDEEN","YOUNG","RHONDA L YOUNGRUSSELL","RHONDA LUDEEN YOUNG-RUSSELL","RHONDA LUDEEN RUSSELL","325744816","No","19651111","6233362689","6235350015","","[email protected]","[email protected]","[email protected]","12441","N","113TH","AVE","","YOUNGTOWN","AZ","85363","","20140118","20200814"
"935660404","RHONDA","LUDEEN","YOUNG","RHONDA L YOUNGRUSSELL","RHONDA LUDEEN YOUNG-RUSSELL","RHONDA LUDEEN RUSSELL","325744816","No","19651111","6233362689","6235350015","","[email protected]","[email protected]","[email protected]","12441","N","113TH","AVE","","YOUNGTOWN","AZ","85363","5","20140301","20190603"
"935660405","RHONDA","LUDEEN","YOUNG","RHONDA L YOUNGRUSSELL","RHONDA LUDEEN YOUNG-RUSSELL","RHONDA LUDEEN RUSSELL","325744816","No","19651111","6233362689","6235350015","","[email protected]","[email protected]","[email protected]","12426","W","SAINT MORITZ","LN","","EL MIRAGE","AZ","85335","","20120829","20181112"
"935660406","RHONDA","LUDEEN","YOUNG","RHONDA L YOUNGRUSSELL","RHONDA LUDEEN YOUNG-RUSSELL","RHONDA LUDEEN RUSSELL","325744816","No","19651111","6233362689","6235350015","","[email protected]","[email protected]","[email protected]","17927","N","PARKVIEW","PL","","SURPRISE","AZ","85374","104","20180531","20180601"
"935660407","RHONDA","LUDEEN","YOUNG","RHONDA L YOUNGRUSSELL","RHONDA LUDEEN YOUNG-RUSSELL","RHONDA LUDEEN RUSSELL","325744816","No","19651111","6233362689","6235350015","","[email protected]","[email protected]","[email protected]","17927","N","PARKVIEW","PL","","SURPRISE","AZ","85374","10107","20180408","20180409"
"935660408","RHONDA","LUDEEN","YOUNG","RHONDA L YOUNGRUSSELL","RHONDA LUDEEN YOUNG-RUSSELL","RHONDA LUDEEN RUSSELL","325744816","No","19651111","6233362689","6235350015","","[email protected]","[email protected]","[email protected]","17927","N","PARKVIEW","PL","","SURPRISE","AZ","85374","10104","20171031","20180830"
"935660409","RHONDA","LUDEEN","YOUNG","RHONDA L YOUNGRUSSELL","RHONDA LUDEEN YOUNG-RUSSELL","RHONDA LUDEEN RUSSELL","325744816","No","19651111","6233362689","6235350015","","[email protected]","[email protected]","[email protected]","17927","N","PARKVIEW","PL","","SURPRISE","AZ","85374","","",""
"935660410","RHONDA","LUDEEN","YOUNG","RHONDA L YOUNGRUSSELL","RHONDA LUDEEN YOUNG-RUSSELL","RHONDA LUDEEN RUSSELL","325744816","No","19651111","6233362689","6235350015","","[email protected]","[email protected]","[email protected]","12737","W","SWEETWATER","AVE","","EL MIRAGE","AZ","85335","","20151031","20171030"
"935660411","RHONDA","LUDEEN","YOUNG","RHONDA L YOUNGRUSSELL","RHONDA LUDEEN YOUNG-RUSSELL","RHONDA LUDEEN RUSSELL","325744816","No","19651111","6233362689","6235350015","","[email protected]","[email protected]","[email protected]","10147","","ARMSTRONG","PLZ","","OMAHA","NE","68134","","20040920","201607"
"935660412","RHONDA","LUDEEN","YOUNG","RHONDA L YOUNGRUSSELL","RHONDA LUDEEN YOUNG-RUSSELL","RHONDA LUDEEN RUSSELL","325744816","No","19651111","6233362689","6235350015","","[email protected]","[email protected]","[email protected]","12721","W","GREENWAY","RD","","EL MIRAGE","AZ","85335","","20101203","20150216"
"935660413","RHONDA","LUDEEN","YOUNG","RHONDA L YOUNGRUSSELL","RHONDA LUDEEN YOUNG-RUSSELL","RHONDA LUDEEN RUSSELL","325744816","No","19651111","6233362689","6235350015","","[email protected]","[email protected]","[email protected]","12721","W","GREENWAY RD LOT 25","","","EL MIRAGE","AZ","85335","","20101027","20150204"
"935660414","RHONDA","LUDEEN","YOUNG","RHONDA L YOUNGRUSSELL","RHONDA LUDEEN YOUNG-RUSSELL","RHONDA LUDEEN RUSSELL","325744816","No","19651111","6233362689","6235350015","","[email protected]","[email protected]","[email protected]","12438","W","SCOTTS","DR","","EL MIRAGE","AZ","85335","","20130801","20140228"
"935660415","RHONDA","LUDEEN","YOUNG","RHONDA L YOUNGRUSSELL","RHONDA LUDEEN YOUNG-RUSSELL","RHONDA LUDEEN RUSSELL","325744816","No","19651111","6233362689","6235350015","","[email protected]","[email protected]","[email protected]","1405","S","122ND","AVE","","AVONDALE","AZ","85323","","20060201","20130725"
"935660416","RHONDA","LUDEEN","YOUNG","RHONDA L YOUNGRUSSELL","RHONDA LUDEEN YOUNG-RUSSELL","RHONDA LUDEEN RUSSELL","325744816","No","19651111","6233362689","6235350015","","[email protected]","[email protected]","[email protected]","4504","W","PLEASANT","LN","","LAVEEN","AZ","85339","","20130330","20130724"
"935660417","RHONDA","LUDEEN","YOUNG","RHONDA L YOUNGRUSSELL","RHONDA LUDEEN YOUNG-RUSSELL","RHONDA LUDEEN RUSSELL","325744816","No","19651111","6233362689","6235350015","","[email protected]","[email protected]","[email protected]","149","","AUBURN","WAY","","VACAVILLE","CA","95688","","20120303","20130329"
"935660418","RHONDA","LUDEEN","YOUNG","RHONDA L YOUNGRUSSELL","RHONDA LUDEEN YOUNG-RUSSELL","RHONDA LUDEEN RUSSELL","325744816","No","19651111","6233362689","6235350015","","[email protected]","[email protected]","[email protected]","1212","","PO Box","","","EL MIRAGE","AZ","85335","","20111031","20130106"
"935660419","RHONDA","LUDEEN","YOUNG","RHONDA L YOUNGRUSSELL","RHONDA LUDEEN YOUNG-RUSSELL","RHONDA LUDEEN RUSSELL","325744816","No","19651111","6233362689","6235350015","","[email protected]","[email protected]","[email protected]","16235","W","CARIBBEAN","LN","","SURPRISE","AZ","85379","","20100721","20110227"
"935660420","RHONDA","LUDEEN","YOUNG","RHONDA L YOUNGRUSSELL","RHONDA LUDEEN YOUNG-RUSSELL","RHONDA LUDEEN RUSSELL","325744816","No","19651111","6233362689","6235350015","","[email protected]","[email protected]","[email protected]","12851","W","BUCKEYE","RD","","AVONDALE","AZ","85323","105","20091129","20100720"
"935660421","RHONDA","LUDEEN","YOUNG","RHONDA L YOUNGRUSSELL","RHONDA LUDEEN YOUNG-RUSSELL","RHONDA LUDEEN RUSSELL","325744816","No","19651111","6233362689","6235350015","","[email protected]","[email protected]","[email protected]","12721","W","RING","WAY","","EL MIRAGE","AZ","85335","","20100630","20100630"
"935660422","RHONDA","LUDEEN","YOUNG","RHONDA L YOUNGRUSSELL","RHONDA LUDEEN YOUNG-RUSSELL","RHONDA LUDEEN RUSSELL","325744816","No","19651111","6233362689","6235350015","","[email protected]","[email protected]","[email protected]","9525","","R","PLZ","","OMAHA","NE","68127","203","200308","20090801"
"935660423","RHONDA","LUDEEN","YOUNG","RHONDA L YOUNGRUSSELL","RHONDA LUDEEN YOUNG-RUSSELL","RHONDA LUDEEN RUSSELL","325744816","No","19651111","6233362689","6235350015","","[email protected]","[email protected]","[email protected]","9525","","R","PLZ","","OMAHA","NE","68127","","20040203","20040203"

в краткой нашлось 2 записи,
но нет полного имени, mail, phone, адрес без периода и алрес на 2009 год

► Показать

строчка из полного NPD с последним адресом на 30.12.2022
"RHONDA L YOUNGRUSSELL","RHONDA LUDEEN YOUNG-RUSSELL","RHONDA LUDEEN RUSSELL",
"325744816","No","19651111","6233362689","6235350015","","[email protected]","[email protected]","[email protected]","2625","E","ALVARO","TRL","","CASA GRANDE","AZ","85194","","20210611","20221230"

строчка из краткого NPD без даты (в полном OMAHA,...,NE это периоды 2003-2016)
70053613,RHONDA,YOUNG,L,,,2527 CALDWELL ST,OMAHA,DOUGLAS,NE,68131,,,,,,,,,325744816

строчка из краткого NPD (2009)
165103415,RHONDA,YOUNG,,,,1405 S 122ND AVE,AVONDALE,MARICOPA,AZ,85323,,,,,200902,,,,325744816

Наиболее полным написанием имени в формате "first middle last name" с девичьей фамилией будет: RHONDA LUDEEN YOUNG-RUSSELL