Прочие базы данных

все, что касается обмена базами данных, программы для работы с ними и пр.

Модераторы: konkar, deicide

Ответить
User10902
профи
Сообщения: 177
Зарегистрирован: 30 окт 2023, 16:36
Благодарил (а): 138 раз
Поблагодарили: 511 раз

Re: Прочие базы данных

Сообщение User10902 »

База данных прописки по Ростовской Области за май 2017 года

Всего 5.353.821 записей

Внутри ФИО;Дата рождения;Место рождения;АДРЕС;ПАСПОРТ;ИНН;СНИЛС;ТЕЛЕФОН;ИНФ

 Скрытый текст. Для просмотра нужно поблагодарить автора за это сообщение
Аватара пользователя
Gorg
профи
Сообщения: 164
Зарегистрирован: 01 май 2022, 18:24
Благодарил (а): 194 раза
Поблагодарили: 196 раз

Re: Прочие базы данных

Сообщение Gorg »

[Local Link Removed for Guests] писал(а): [Local Link Removed for Guests]21 авг 2025, 03:51 Как же ты эти благодарности выдрачиваешь
@sandro123 да тут в пору добавить не только палец вверх/вниз, но ещё и реакцию клоуна :D :lol: :mrgreen:
User10902
профи
Сообщения: 177
Зарегистрирован: 30 окт 2023, 16:36
Благодарил (а): 138 раз
Поблагодарили: 511 раз

Re: Прочие базы данных

Сообщение User10902 »

База данных hh.ru [парсинг через API яндекса]

Дата парсинга: 08.11.2023, 17.065 записей

 Скрытый текст. Для просмотра нужно поблагодарить автора за это сообщение
Аватара пользователя
лёва
профи
Сообщения: 240
Зарегистрирован: 02 дек 2021, 07:21
Благодарил (а): 498 раз
Поблагодарили: 803 раза

Re: Прочие базы данных

Сообщение лёва »

[Local Link Removed for Guests] писал(а): [Local Link Removed for Guests]21 авг 2025, 08:56
[Local Link Removed for Guests] писал(а): [Local Link Removed for Guests]21 авг 2025, 03:51 Как же ты эти благодарности выдрачиваешь
@sandro123 да тут в пору добавить не только палец вверх/вниз, но ещё и реакцию клоуна :D :lol: :mrgreen:
Донаты за просмотр ссылки
Аватара пользователя
лёва
профи
Сообщения: 240
Зарегистрирован: 02 дек 2021, 07:21
Благодарил (а): 498 раз
Поблагодарили: 803 раза

Re: Прочие базы данных

Сообщение лёва »

[Local Link Removed for Guests] писал(а): [Local Link Removed for Guests]20 авг 2025, 21:54
[Local Link Removed for Guests] писал(а): [Local Link Removed for Guests]20 авг 2025, 16:46
[Local Link Removed for Guests] писал(а): [Local Link Removed for Guests]20 авг 2025, 16:04 В телеге выложили архивы на 31,5 гига с заявленной актуальностью 2024, тут 1,5 гига и 2023 год
Никто не сравнивал эти две версии?
В тг json формат, и вес там 500+ гб, не хочется сравнивать. Скорее всего там raw база
То что я посмотрел, там вес в распаковке 1.1ТБ!, и актуальность заявлена с 31.12.2023 по 25.12.2024 (17 файлов разбитые по датам)
В вашей версии выложенной тут (за что спасибо!) период охвата с 12.06.2023 по 31.12.2023.
Так что по идее это 2 разных! куска одной базы.
Ждем героя , кто осилит конвертнуть 1ТБ данных json ;)
Из базы, что в формате csv, путем простой чистки осталось 13 с половинкой лямов. И это еще без фанатизма, дубли еще есть.
Аватара пользователя
Burg0mister
профи
Сообщения: 366
Зарегистрирован: 19 июл 2022, 17:07
Благодарил (а): 2075 раз
Поблагодарили: 771 раз

Re: Прочие базы данных

Сообщение Burg0mister »

[Local Link Removed for Guests] писал(а): [Local Link Removed for Guests]20 авг 2025, 21:54 То что я посмотрел, там вес в распаковке 1.1ТБ!, и актуальность заявлена с 31.12.2023 по 25.12.2024 (17 файлов разбитые по датам)
В вашей версии выложенной тут (за что спасибо!) период охвата с 12.06.2023 по 31.12.2023.
Так что по идее это 2 разных! куска одной базы.
Ждем героя , кто осилит конвертнуть 1ТБ данных json ;)
Если бы это был не json я бы купил SSD и попробовал разобрать, но связываться с json таких размеров совсем нет желания. Оставил до лучших времен этот архив.
В очередной раз убедился в том, что json нерациональный, неудобный формат хранения данных. 50-60 миллионов строк со стандартным набором данных, а места занимает столько как будто там все население планеты собрано.
Спойлер
Если на раздачи ставлю личный пароль - делюсь им безвозмездно, так же он есть и у администрации! Приму в дар БД с контактами, ФИО, адресами по СНГ/РФ. Интересуют: Современные ГИБДД, банки, блэклисты банков, телефоны, спецучет и т. п.
Аватара пользователя
Burg0mister
профи
Сообщения: 366
Зарегистрирован: 19 июл 2022, 17:07
Благодарил (а): 2075 раз
Поблагодарили: 771 раз

Re: Прочие базы данных

Сообщение Burg0mister »

Доброе утро, уважаемые любители яблок и пособники американской разведки.
Сегодня у нас в меню, как вы догадались, яблоки, вареные, печеные, жареные и даже электрические. Принес вам свою версию разбора утечки re-store, всех таблиц, в которых было хоть что-то подходящее для обработки, в том числе разобрал и таблицу b_sale_order_props_value, которая весила больше 40 гигабайт {она в двух версиях. ниже обьяснил отличия}.

Методика и правила обработки стандартные для моих конвертов:
Кодировка - Win-1251 кириллица
Разделитель - вертикальная черта |
Мусор в виде кавычек и т.п. убран
Хэши паролей и подобное удалено
Телефоны приведены к единому виду
Вес папки в архиве/распакованной - 371МБ\1.47ГБ

Строк в файлах {с учетом шапки}:
b_user 4.176.080
usedesk_tickets 307.658
b_sale_order_props_value 3.661.622
b_sale_order_props_value_MINI_(без_GID_YID_Useragent_отсорт_без_дат_заказаов) 3.472.476
b_form_result_answer 567

Постарался убрать пустые строчки во всех таблицах, но оставил тестовые, и немного мусора, чтобы вам небыло скучно.
В таблице b_sale_order_props_value повторяются адреса, но они указаны не много по разному, не стал это исправлять и пытаться сводить в один столбец.
В таблице b_user привел в человеческий вид столбец с адресами, разобрал там xml, удалил несуществующие почтовые адреса типа noemail, удалил строки без реальных почт и телефонов, поэтому там теперь не 6 миллионов строк, а 4

ВАЖНО!
В архиве есть файл b_sale_order_props_value_MINI_(без_GID_YID_Useragent_отсорт_без_дат_заказаов)
Это версия b_sale_order_props_value той самой таблички на 40 гигабайт, но в совсем минимизированном виде, без идентификаторов Яндекса и Гугла, без данных о браузере, в ней отсортированы дубли без учета даты и номера заказа, таким образом удалось заметно сократить занимаемое место.
Если этот файл удалить, и оставить большую версию, или удалить большлую и оставить МИНИ, тогда папка с базой будет занимать еще меньше места. Выбирайте более удобный для себя вариант.

Сэмплы {по несколько строчек из разных мест в каждой табличке}:
Спойлер
Скрытый текст
Для просмотра скрытого текста необходимо быть авторизованным пользователем.

Пароль:
phreaker.in

Ссылки:
► Показать
Приятного аппетита!
Спойлер
Если на раздачи ставлю личный пароль - делюсь им безвозмездно, так же он есть и у администрации! Приму в дар БД с контактами, ФИО, адресами по СНГ/РФ. Интересуют: Современные ГИБДД, банки, блэклисты банков, телефоны, спецучет и т. п.
Аватара пользователя
tor4
профи
Сообщения: 109
Зарегистрирован: 19 янв 2025, 18:03
Откуда: Escape from tor.
Благодарил (а): 44 раза
Поблагодарили: 219 раз

Re: Прочие базы данных

Сообщение tor4 »

[Local Link Removed for Guests] писал(а): [Local Link Removed for Guests]21 авг 2025, 04:24
Так что по идее это 2 разных! куска одной базы.
Ждем героя , кто осилит конвертнуть 1ТБ данных json ;)
вот бы еще ссылку на тг канал кинули бы, может герой нашелся быстрее ;)
[External Link Removed for Guests] - Первоисточник слива.
TOR - pixeldrain.com

MADE WITH LOVE♥️
Route
местный
Сообщения: 41
Зарегистрирован: 31 июл 2025, 19:38
Благодарил (а): 14 раз
Поблагодарили: 406 раз

Re: Прочие базы данных

Сообщение Route »

Специально для phreaker.

Газон-трава (gazon-trava.ru), заказы, пользователи
Дата: 21 Августа, 2025
Последний заказ: 1755771907 (Thu Aug 21 2025 10:25:07)
Формат: csv
Строк: g_orders.csv = 26,972; g_orders2.csv = 9,301; g_users1.csv = 5,711
Есть: Адрес, почта, номер телефона, имя
Sample + columns:
- g_orders.csv
Спойлер
id,date,name,text,comment,email,phone,adress
57,1419774120,Валерий,<blank>,хотел встречу у метро отказ,<blank>,89267984522, метро Дмитрия Донского
58,1419775260,Роман,<blank>,00000088511,<blank>,89096564392, Софьи Ковалевской 12 к2 подъезд 3 кВ 113
59,1419763380,Алексей,<blank>,88451.вв,[email protected],8916 6808461, Москва Годовикова 9/9М. Алексеевская по рабочим дням с 10 до 17
- g_orders2.csv (архив)
Спойлер
id,date,name,email,notes,phone,surname,patronymic,delivery_address,delivery_price
33110,1435228978, Лидия Алексеевна,[email protected],<blank>,89096353903,<blank>,<blank>,"москва, пр-т Вернадского, дом 93 кв 89",0.00
33111,1435233662,константин,[email protected],жна консультация и доставка на 29.06.15 с11-20 ч.,965\\4345311,ищуков,эдуардович,солнцевский проспект10.кв150,0.00
33111,1435233662,константин,[email protected],жна консультация и доставка на 29.06.15 с11-20 ч.,965\\4345311,ищуков,эдуардович,солнцевский проспект10.кв150,0.00
- g_users1.csv
Спойлер
5211,Татьяна,<blank>,<blank>,[email protected],zakazchik,(915) 135-75-80,Фетисова,a43fb6e4f75595ef00af6ea684d7c105,<blank>,1336747466
5212,Мария,<blank>,<blank>,[email protected],MariaVarankina,89226632496,Варанкина,9f70c90ca94ad50e6f562b6326fdfc31,Александровна,1336770300
5213,елена,<blank>,<blank>,[email protected],bessalova_elena,89098308405,Власова,e718c1a12b9da91f9ca42f69dc7f79ab,николаевна,1336801444
 Скрытый текст. Для просмотра нужно поблагодарить автора за это сообщение
Search
профи
Сообщения: 63
Зарегистрирован: 08 июн 2022, 11:56
Благодарил (а): 23 раза
Поблагодарили: 110 раз

Re: Прочие базы данных

Сообщение Search »

[Local Link Removed for Guests]
По старому топику собрал свой вариант, только добрался :lol:
может кому будет полезно
записей 43,937,127
► Показать
 Скрытый текст. Для просмотра нужно [Local Link Removed for Guests]
Ответить