Страница 24 из 96

Re: Прочие базы данных

Добавлено: 13 авг 2022, 18:26
broyury
Members of the European Parliament
поля: "id","schema","name","aliases","birth_date","countries","addresses","identifiers","sanctions","phones","emails","dataset","first_seen","last_seen"
706 записей
формат CSV с разделителем ","
[External Link Removed for Guests]
пароля нет

Re: Прочие базы данных

Добавлено: 13 авг 2022, 18:57
broyury
national-level cabinet members in world governments that is publicly maintained by the CIA
поля: "id","schema","name","aliases","birth_date","countries","addresses","identifiers","sanctions","phones","emails","dataset","first_seen","last_seen"
4878 записей
формат CSV с разделителем ","
[External Link Removed for Guests]
пароль личный

Re: Прочие базы данных

Добавлено: 13 авг 2022, 22:08
corex
[Local Link Removed for Guests] писал(а): [Local Link Removed for Guests]13 авг 2022, 18:57 члены кабинета министров национального уровня в мировых правительствах, которые публично поддерживаются ЦРУ
Простите, но это уже перебор. Какое мировое правительство и министры национального уровня? Не искажайте открытые данные, которые вы копипастите то под личным паролем, то без пароля из одного известного ресурса. Если не из одного, не мучайтесь, я добавлю другие ссылки.
Облегчу задачу копирования и вставки:
[External Link Removed for Guests]
Без мистификаций о мировом правительстве и министрах национального уровня, которых поддерживает ЦРУ публично.
Приведите мне хотя бы один пример мирового правительства, министра национального уровня, которого поддерживает ЦРУ публично? Если вы госдепартамент, дип.аппарат, консул. миссию и USAID не путаете с ЦРУ.
Что бы немножко расширить ваш кругозор, я дам еще одну ссылку.
[External Link Removed for Guests]
Если это будет пользоваться популярностью, пишите, что бы вы хотели из открытых данных мировых, поделюсь чем смогу.

Re: Прочие базы данных

Добавлено: 14 авг 2022, 06:24
broyury
[Local Link Removed for Guests] писал(а): [Local Link Removed for Guests]13 авг 2022, 22:08
[Local Link Removed for Guests] писал(а): [Local Link Removed for Guests]13 авг 2022, 18:57 члены кабинета министров национального уровня в мировых правительствах, которые публично поддерживаются ЦРУ
Простите, но это уже перебор. Какое мировое правительство и министры национального уровня? Не искажайте открытые данные, которые вы копипастите то под личным паролем, то без пароля из одного известного ресурса. Если не из одного, не мучайтесь, я добавлю другие ссылки.
Облегчу задачу копирования и вставки:
[External Link Removed for Guests]
Без мистификаций о мировом правительстве и министрах национального уровня, которых поддерживает ЦРУ публично.
Приведите мне хотя бы один пример мирового правительства, министра национального уровня, которого поддерживает ЦРУ публично? Если вы госдепартамент, дип.аппарат, консул. миссию и USAID не путаете с ЦРУ.
Что бы немножко расширить ваш кругозор, я дам еще одну ссылку.
[External Link Removed for Guests]
Если это будет пользоваться популярностью, пишите, что бы вы хотели из открытых данных мировых, поделюсь чем смогу.
google переводчик именно так перевел... national-level cabinet members in world governments that is publicly maintained by the CIA.
Согласен, некорректный перевод. Уберу его и оставлю оригинальное название на английском.
Кстати, вот описание датасета:
The CIA publishes and updates the online directory of World Leaders and Cabinet Members of Foreign Governments weekly. The directory is intended to be used primarily as a reference aid and includes as many governments of the world as is considered practical, some of them not officially recognized by the United States. Regimes with which the United States has no diplomatic exchanges are indicated by the initials NDE. Governments are listed according to the most commonly used version of each country’s name. The spelling of the personal names in this directory follows transliteration systems generally agreed upon by US Government agencies, except in the cases in which officials have stated a preference for alternate spellings of their names.

P.S. ресурсов много, за всеми не уследишь, если у вас есть время можете тоже покопипастить сюда.

База avtoto.ru 500к

Добавлено: 14 авг 2022, 13:31
Weggio894
 Скрытый текст. Для просмотра нужно быть [Local Link Removed for Guests] и иметь сообщений: 1

Клиенты интернет-магазина автозачастей АвтоЗС (autozs.ru) 14.08.2022 г

Добавлено: 14 авг 2022, 16:00
Volchara46
Под конверт в Cronos
 Скрытый текст. Для просмотра нужно быть [Local Link Removed for Guests] и иметь сообщений: 1

Re: Прочие базы данных

Добавлено: 14 авг 2022, 22:30
Burg0mister
[Local Link Removed for Guests] писал(а): [Local Link Removed for Guests]11 авг 2022, 12:03 Mehlsine и Лёва, ого, спасибо Вам большое!!! Уважение и почёт :!:
Думаю что в хозяйстве эта база пригодится :)

От себя хочу пополнить наши коллективные запасы переработанной версией vseprodumano.club, которую выше опубликовал ttm.
Из этого файла размером в 2 с лишним гигабайта удалось вытащить по-моему 6 таблиц, которые потом подчистил и объединил в 4 файла общим весом в 10.7 мегабайт.
Всем доброй ночи!
Стало мне стыдно за результат этой работы, поэтому решил переделать.

ЧТО СДЕЛАНО:
-Теперь столбцы не уезжают и всё на месте;
-Убрал большую часть тестовых записей, откровенного мусора и дублей;
-Нормализовал даты рождения - дд-мм-гггг;
-Большую часть телефонов привёл к единому виду;
-Расстановку столбцов сделал логически более правильной Фамилия|Имя|Отчество|ДР|Почта|Телефон|Договор/Адрес;
-Файлов стало меньше, один из них {на 10K} практически полностью дублировал другой, поэтому сил их и почистил дубли.

Разделитель: вертикальная черта |

Что ещё можно сделать:
-Там ещё есть мусор и кривые, пустые записи , ФИО и телефоны;
-Если удалить столбец с договорами и просеять дубли - получится убрать ещё пару тысяч строк.

Что смущает:
В файле с датами рождения 100 тысяч строчек, а в двух других файлах около 70 тысяч строк с данными пользователей.
Причём если их слить, подозреваю что там дублями половина будет идти.
Значит есть вероятность, что где-то я пропустил ещё 1-2 таблицы с пользовательскими данными.

Благодарности:
-Огромная благодарность AKPM за подсказку некоторых очень полезных регулярных выражений!
-И не менее огромная благодарность ещё одному пользователю, ник которого не знаю могу ли я назвать, но в личных сообщениях он дал мне несколько отличных советов!
-Спасибо Вам всем за терпение, я ещё учусь, но постараюсь чтобы в будущем качество очистки повышалось!

ССЫЛКА НА АРХИВ:
Скрытый текст
Для просмотра скрытого текста необходимо быть авторизованным пользователем.
Пароль: phreaker.info

Re: База avtoto.ru 500к

Добавлено: 16 авг 2022, 13:45
tarelka
[Local Link Removed for Guests] писал(а): [Local Link Removed for Guests]14 авг 2022, 13:31 Скрытый текст
 Скрытый текст. Для просмотра нужно быть [Local Link Removed for Guests] и иметь сообщений: 1

Re: Прочие базы данных

Добавлено: 16 авг 2022, 17:44
broyury
20.Polish list of persons and entities subject to sanctions
поля: "id","schema","name","aliases","birth_date","countries","addresses","identifiers","sanctions","phones","emails","dataset","first_seen","last_seen"
50 записей
формат CSV с разделителем ","
[External Link Removed for Guests]
пароля нет

Re: Прочие базы данных

Добавлено: 16 авг 2022, 17:44
broyury
21.Список Росфинмониторинга по противодействию финансированию распространения оружия массового уничтожения
поля: "id","schema","name","aliases","birth_date","countries","addresses","identifiers","sanctions","phones","emails","dataset","first_seen","last_seen"
240 записей
формат CSV с разделителем ","
[External Link Removed for Guests]
пароля нет