возрожденное сообщество

[Local Link Removed for Guests] писал(а): [Local Link Removed for Guests]28 сен 2024, 12:49
[Local Link Removed for Guests] писал(а): [Local Link Removed for Guests]27 сен 2024, 19:14
[Local Link Removed for Guests] писал(а): [Local Link Removed for Guests]27 сен 2024, 16:34 Скрытый текст
А что мешает частями собирать? Разбейте на пару заходов и будет Вам счастье))) Так то Emeditor очень мощный инструмент.
было бы не плохо при наличии у вас свободного времени и желания, мануал по работе почитать, если будет время и желание. как говорится, век живи, век учись.

Не совсем понял камень в чей огород, но больше времени ушло на распаковку и запаковку. Для того чтобы собрать, мощный компьютер не нужен (16 гб ДДР3 хватило с головой), при объединении нет необходимости их все открывать, основной вопрос как его теперь обрабатывать?)))
Может кому пригодится, склеилось вроде нормально:

Спойлер

[External Link Removed for Guests]

Crunchbase 1.2m

Скрытый текст. Для просмотра нужно быть [Local Link Removed for Guests] и иметь благодарностей: 1

[Local Link Removed for Guests] писал(а): [Local Link Removed for Guests]01 окт 2024, 05:41 Не совсем понял камень в чей огород, но больше времени ушло на распаковку и запаковку. Для того чтобы собрать, мощный компьютер не нужен (16 гб ДДР3 хватило с головой)

Да вас хрен поймёшь, один говорит 32 гига DDR5 не вывозит - [External Link Removed for Guests] , а тут DDR3 да ещё и 16...

[Local Link Removed for Guests] писал(а): [Local Link Removed for Guests]30 сен 2024, 06:35 Ждем кто сможет 830 Гб. MS SQL базы 1С расковырять.

вот, кстати, минутка юмора.
заскринил в этой worldclass рабочий стол безопасника.
некая ирина игоревна при посещении клуба плюнула прямо в харю другому члену клуба во время тренировки, и сказала, что имела на это полное право.
а тигран ашотович тырил монету из шкафчиков клиентов.
жизнь у физкультурников бьёт ключом)

[External Link Removed for Guests]

Перевёл базу WorldClass.ru 2024 в читаемый CSV.

Самая свежая дата регистрации в утечке датируется 16.10.2023, 2.208.087 строчек
Внутри: ФИО, Дата рождения, Почта, Все телефоны, Серия/Номер паспорта, Дата выдачи, Кем выдан, Код-подразделения, Дата регистрации

Ссылка на скачивание: [External Link Removed for Guests] (рекомендованный)

[Local Link Removed for Guests] писал(а): [Local Link Removed for Guests]01 окт 2024, 20:02
[Local Link Removed for Guests] писал(а): [Local Link Removed for Guests]01 окт 2024, 05:41 Не совсем понял камень в чей огород, но больше времени ушло на распаковку и запаковку. Для того чтобы собрать, мощный компьютер не нужен (16 гб ДДР3 хватило с головой)
Да вас хрен поймёшь, один говорит 32 гига DDR5 не вывозит - [External Link Removed for Guests] , а тут DDR3 да ещё и 16...

Зависит от версии Emeditor, его настроек, количества и наполнения файлов. Последняя версия Emeditor хорошо работает с многоядерными системами но при этом хочет больше памяти. Если не так настроить файл подкачки и выдать ему все ядра, тогда и оперативной памяти станет нехватать. При размещении кэша на HDD наверное еще и заметно медленнее будет обрабатывать.
На похожих конфигурациях легко делил большой файл на 60000 мелких и потом из них дергал нужные мне строчки собирая их в новую базу {все это с помощью лишь Emeditor}, но там общий обьем был не более 20 гигабайт.

Еще нужно учитывать что часто такой софт при склейке файлов теряет символ новой строки на последней строчке каждого файла. Из-за этого получается такое.

Файл 1
1_Маша
2_Даша
3_Наташа

Файл 2
1_Коля
2_Петя
3_Дима

Склеенный файл
1_Маша
2_Даша
3_Наташа1_Коля
2_Петя
3_Дима

Когда файл маленький найти и разобрать такое не сложно но если он у вас будет 200 гигабайт и таких склеек сотни тысяч, уже можно запариться даже правильно применяя регулярные выражения.

[Local Link Removed for Guests] писал(а): [Local Link Removed for Guests]01 окт 2024, 21:49
[Local Link Removed for Guests] писал(а): [Local Link Removed for Guests]30 сен 2024, 06:35 Ждем кто сможет 830 Гб. MS SQL базы 1С расковырять.
вот, кстати, минутка юмора.
заскринил в этой worldclass рабочий стол безопасника.
некая ирина игоревна при посещении клуба плюнула прямо в харю другому члену клуба во время тренировки, и сказала, что имела на это полное право.
а тигран ашотович тырил монету из шкафчиков клиентов.
жизнь у физкультурников бьёт ключом)

[External Link Removed for Guests]

Можете экспортировать этот список в текст? Не самая плохая база негатива получится

[Local Link Removed for Guests] писал(а): [Local Link Removed for Guests]02 окт 2024, 13:33 Можете экспортировать этот список в текст? Не самая плохая база негатива получится

не, из этого списка база не получится - в нём всего 95 записей.
есть ещё список с заявлениями о кражах на 522 строки.
экспортировать-то не проблема, но без привязки к пользователям и сотрудникам это особого смысла не имеет.
разгребу работу, буду делать конверт, тогда и посмотрю, засовывать ли все эти мелочи в базу.

[Local Link Removed for Guests] писал(а): [Local Link Removed for Guests]02 окт 2024, 07:21 Перевёл базу WorldClass.ru 2024 в читаемый CSV.

Самая свежая дата регистрации в утечке датируется 16.10.2023, 2.208.087 строчек
Внутри: ФИО, Дата рождения, Почта, Все телефоны, Серия/Номер паспорта, Дата выдачи, Кем выдан, Код-подразделения, Дата регистрации

Ссылка на скачивание: [External Link Removed for Guests] (рекомендованный)

-почистил (не всё,но старался)
-телефоны "причесал"
-строчки которые "поплыли" поправил (возможно не все)
-явный мусор убрал
-строки,где содержался только номер телефона убрал
-2 059 176 строк
- CSV

пасс рекомендованный
[External Link Removed for Guests]

[Local Link Removed for Guests] писал(а): [Local Link Removed for Guests]17 сен 2024, 16:09 Да, Вы правы, это база чищенная, полная - мне попадалась 100 Gb сжатая.
Но зачем нужна полная, если есть почищенная (другой вопрос - как почищена и от чего).

получается практически для всего
взял даму у которой записей в количестве

► Показать

в краткой нашлось 2 записи,
но нет полного имени, mail, phone, адрес без периода и алрес на 2009 год

► Показать

возрожденное сообщество

Прочие базы данных

Re: Прочие базы данных

Crunchbase 1.2m B2B

Re: Прочие базы данных

Re: Прочие базы данных

Re: Прочие базы данных

Re: Прочие базы данных

Re: Прочие базы данных

Re: Прочие базы данных

Re: Прочие базы данных

Re: NationalPublicData