возрожденное сообщество

[Local Link Removed for Guests] писал(а): [Local Link Removed for Guests]02 дек 2022, 09:38 РФ ФЛ Сотрудники Билайн 11.2022
Тип банка: Cronos
Общее количество записей в банке: 328`501

База :beeline-cleaned
Состав полей базы
1|ФИО|Т|80|||
3|Телефон|Т|50|||
4|mail|Т|29|||
5|Городской телефон|Т|50|||
6|Городской телефон 2|Т|50|||
7|должность|Т|28|||

База :beeline-all
Состав полей базы
1|Email1 address|Т|172|||
3|Full name ENG|Т|13|||
5|Home2 telephone number|Т|22|||
6|Home telephone number|Т|21|||
7|Job title|Т|29|||
8|FIO|Т|11|||
9|Mobiletelephonenumber|Т|21|||
10|Other fax number|Т|16|||
11|Pager number|Т|12|||
12|Primarytelephonenumber|Т|22|||

[External Link Removed for Guests]
рекомендованный

за исходники спасибо Olkaddott

[Local Link Removed for Guests] писал(а): [Local Link Removed for Guests]02 дек 2022, 11:19 Пишут, что сильно пересакается с Билайн-2015

[Local Link Removed for Guests] писал(а): [Local Link Removed for Guests]02 дек 2022, 13:00

[Local Link Removed for Guests] писал(а): [Local Link Removed for Guests]02 дек 2022, 11:19 Пишут, что сильно пересакается с Билайн-2015

Интересненько. Теоретически ничего там пересекаться не может. 2015 это база клиентов ШПД, а здесь выгрузка внутренних аккаунтов сотрудников из сетевого каталога. Связи нет никакой.

[Local Link Removed for Guests] писал(а): [Local Link Removed for Guests]03 дек 2022, 02:12 Всем доброго дня!
Недавно в одном из телеграм-каналов, который на этом форуме известен {его админы публикуют много интересных баз, но бывает что они либо фейковые, либо мусорные}, был залит SQL-файл с информацией полученной путём парсинга аккаунтов социальной сети Вконтакте.

► Показать

В оригинале файл весил более 7 гигабайт и содержал много лишней информации {не в шапке, а в каждой строке были данные о её столбцах}.
Я решил минимизировать этот файл и опубликовать здесь.

Что сделано:
1-Убраны данные из каждой строки и перенесены в первую, одну строчку;
2-Убраны столбцы о стране проживания {по городу понятно, в основном это Москва и Питер};
3-Убраны столбцы с указанием половой принадлежности;
4-Изменён формат отображения даты рождения на привычный нам вид дд.мм.гггг;
5-В прямых ссылках на фото пользователя убраны ссылки на стандартную заглушку с фотоаппаратом/собакой, если у пользователя не была установлена вообще никакая фотография;
6-Сокращены названия городов указанных в большинстве строк: Санкт-Петербург - СПБ, Москва - Мск;
7-Сокращены значения семейного положения Женат, Замужем - Ж и З соответственно, значение "Скрыто" убрано, вместо него - пусто;
8-К цифровым значениям идентификаторов приписал буквы id, ранее там были только цифры {в моей поисковой системе это важно, у себя можете их удалить, это уменьшит размер и может ускорить поиск};
8-Убраны ставшие ненужными при переводе из SQL в TXT кавычки, скобки и прочие символы.

Перечисленные выше действия позволили заметно сократить размер базы.

Технические данные:
Формат: txt
Кодировка: Win-1251 кириллица
Разделитель: Вертикальная черта |
Количество строк: 16.105.306
Вес файла в архиве/распакованного: 1.14ГБ/2.82ГБ

Оставшиеся в файле поля:
ИД
ИМЯ
ФАМИЛИЯ
ГОРОД
ПРЯМАЯ ССЫЛКА НА ФОТО
СЕМ. ПОЛОЖЕНИЕ
ДАТА РОЖДЕНИЯ
РОДНОЙ ГОРОД

Ссылка на архив:

Спойлер

Скрытый текст

Для просмотра скрытого текста необходимо быть авторизованным пользователем.

Пароль:
phreaker.info

P. S.
Вот бы такой парсинг по всей стране, да ещё за несколько лет.
Существует бот с похожим функционалом, который выдаёт данные похоже по всем аккаунтам Вконтакте за десяток лет.
К сожалению, администрация бота на сделку не идёт и свои базы не выдаст.

► Показать

[Local Link Removed for Guests] писал(а): [Local Link Removed for Guests]03 дек 2022, 11:00 с соседней ветки
спасибо Burg0mister !!!

[Local Link Removed for Guests] писал(а): [Local Link Removed for Guests]03 дек 2022, 02:12 Всем доброго дня!
Недавно в одном из телеграм-каналов, который на этом форуме известен {его админы публикуют много интересных баз, но бывает что они либо фейковые, либо мусорные}, был залит SQL-файл с информацией полученной путём парсинга аккаунтов социальной сети Вконтакте.

► Показать

В оригинале файл весил более 7 гигабайт и содержал много лишней информации {не в шапке, а в каждой строке были данные о её столбцах}.
Я решил минимизировать этот файл и опубликовать здесь.

Что сделано:
1-Убраны данные из каждой строки и перенесены в первую, одну строчку;
2-Убраны столбцы о стране проживания {по городу понятно, в основном это Москва и Питер};
3-Убраны столбцы с указанием половой принадлежности;
4-Изменён формат отображения даты рождения на привычный нам вид дд.мм.гггг;
5-В прямых ссылках на фото пользователя убраны ссылки на стандартную заглушку с фотоаппаратом/собакой, если у пользователя не была установлена вообще никакая фотография;
6-Сокращены названия городов указанных в большинстве строк: Санкт-Петербург - СПБ, Москва - Мск;
7-Сокращены значения семейного положения Женат, Замужем - Ж и З соответственно, значение "Скрыто" убрано, вместо него - пусто;
8-К цифровым значениям идентификаторов приписал буквы id, ранее там были только цифры {в моей поисковой системе это важно, у себя можете их удалить, это уменьшит размер и может ускорить поиск};
8-Убраны ставшие ненужными при переводе из SQL в TXT кавычки, скобки и прочие символы.

Перечисленные выше действия позволили заметно сократить размер базы.

Технические данные:
Формат: txt
Кодировка: Win-1251 кириллица
Разделитель: Вертикальная черта |
Количество строк: 16.105.306
Вес файла в архиве/распакованного: 1.14ГБ/2.82ГБ

Оставшиеся в файле поля:
ИД
ИМЯ
ФАМИЛИЯ
ГОРОД
ПРЯМАЯ ССЫЛКА НА ФОТО
СЕМ. ПОЛОЖЕНИЕ
ДАТА РОЖДЕНИЯ
РОДНОЙ ГОРОД

Ссылка на архив:

Спойлер

Скрытый текст

Для просмотра скрытого текста необходимо быть авторизованным пользователем.

Пароль:
phreaker.info

P. S.
Вот бы такой парсинг по всей стране, да ещё за несколько лет.
Существует бот с похожим функционалом, который выдаёт данные похоже по всем аккаунтам Вконтакте за десяток лет.
К сожалению, администрация бота на сделку не идёт и свои базы не выдаст.

► Показать

загнал в 6.4
Наименование банка: ВКонтакте парсинг 16м
Общее количество записей в банке: 16`105`306
Состав полей базы
N поля| Название поля|Тип|Длина поля|Словарь|Статус|Связь с базами
0|Системный номер|Ц|10|||
1|ИД|Т|226|||
2|ИМЯ|Т|10|||
3|ФАМИЛИЯ|Т|15|||
4|ГОРОД|Т|6|||
5|ПРЯМАЯ ССЫЛКА НА ФОТО|Т|182|||
6|СЕМ. ПОЛОЖЕНИЕ|Т|4|||
7|ДАТА РОЖДЕНИЯ|Т|10|||
8|РОДНОЙ ГОРОД|Т|3|||
[External Link Removed for Guests]
пасс-phreaker.info

[Local Link Removed for Guests] писал(а): [Local Link Removed for Guests]04 дек 2022, 09:10 Сейчас есть открытый запрос который позволяет спарсить не весь Вконтакте ( 800 млн) но примерно 200-300 млн можно спарсить.
Я займусь этим делом , и загоню в кронос.
Немного отошёл от форума не было возможности выйти на связь.
По возможность пару базу также переведу в латиницу с кирилиц, ожидайте)

[Local Link Removed for Guests] писал(а): [Local Link Removed for Guests]04 дек 2022, 19:48

[Local Link Removed for Guests] писал(а): [Local Link Removed for Guests]04 дек 2022, 09:10 Сейчас есть открытый запрос который позволяет спарсить не весь Вконтакте ( 800 млн) но примерно 200-300 млн можно спарсить.
Я займусь этим делом , и загоню в кронос.
Немного отошёл от форума не было возможности выйти на связь.
По возможность пару базу также переведу в латиницу с кирилиц, ожидайте)

А я всё думаю чего это Вконтакты колбасит уже с неделю наверное. Видимо народ потихоньку себе начинает базы собирать
Было бы круто, в будущем должно помочь в различных поисках и расследованиях. Бот, о котором я ранее упомянул - местами очень полезен, когда парсинг за несколько лет поднимаешь и можешь посмотреть прошлые имена, в 2014 Вася был, а теперь Антонина, чудесные преобразования Да ещё и старые фото привязаны, включая те случаи, когда аккаунта сейчас уже вообще нет.