возрожденное сообщество

[Local Link Removed for Guests] писал(а): [Local Link Removed for Guests]12 июн 2024, 13:44 Скрытый текст
Enjoy!

Ждём-с конверт в Кронос!

попался под руку массив из необработанных pochta_kartoteka.csv на 9М строк.
начал проверять даты выдачи паспортов и рождения для определения приблизительной актуализации, смотрю есть даты рождения типа 2028 года.. сначала подумал, это какой то генерированный компилят, потом проверил такой человек существует но дата рождения по факту 1928.
так что имейте ввиду, по ходу кривая выгрузка, но в целом попадаются валидные данные и телефоны, которых не было по другим источникам.

База директоров РФ с мобильными телефонами - 2024

Общее количество записей: 4.621.924 (без повторов)

Состав базы: Название компании, ИНН, КПП, адрес, ФИО руководителя, вид деятельности, телефоны городские, мобильные телефоны, email, сайт, выручка, стоимость, регион.

Компаний с мобильным телефоном и инфой о директоре: 878.924

Регион - все регионы и города России.

База разбита по федеральным округам (в 9 файлах).

Актуальность: 2024 г.

Формат: excel

[External Link Removed for Guests]

Пароль личный только для активных участников форума

[Local Link Removed for Guests] писал(а): [Local Link Removed for Guests]12 июн 2024, 13:44 dbo.mnoSource не выгружал, там действительно ошибка вывода текста в имени файла (где-то вместо текста картинку всунули видимо и все пошло по ...)

бля, рука-лицо.
никаких ошибок в таблице mnoSource нету.
эта таблица содержит поле Filename со стандартным типом данных BLOB(CLOB), в котором содержатся обычные .TXT файлы.
а в эих файлах таблицы вида:

Код: [Local Link Removed for Guests]

"Cистемный номер";"Номер страхового полиса";"Вид происшествия";"Фамилия";"Имя";"Отчество";"Пол";"Дата рождения";"Объект страхования";"Отношение к происшествию";"Особые отметки";"Дата происшествия";
"4390023";"ЕЕЕ 0394566076";"8000";"Лебедев";"Игорь";"Александрович";"М";"10.09.1984";"А018РМ76";"4";"";"20.12.2016";
"4390112";"ЕЕЕ 0394674246";"8000";"Ефремов";"Дмитрий";"Михайлович";"М";"03.07.1986";"М405ТУ71";"4";"";"06.12.2016";
"4390112";"ЕЕЕ 0394674246";"8000";"Черепанова";"Ульяна";"Геннадьевна";"Ж";"30.10.1985";"Е105УМ77";"8";"";"06.12.2016";
"4390126";"ЕЕЕ 0723567306";"8000";"КРЫЛОВА";"КРИСТИНА";"ИГОРЕВНА";"М";"10.05.1992";"88";"7";"";"24.12.2016";
"4390127";"ЕЕЕ 0381710024";"8000";"Солонович";"Андрей";"Анатольевич";"М";"13.06.1970";"WDD2130421A031244";"3";"";"29.12.2016";
"4390135";"ЕЕЕ 0384965173";"8000";"Лопарева";"Валерия";"Аркадьевна";"М";"14.06.1992";"А273РН77";"4";"";"25.12.2016";
..................................................

таких записей там 92173.
если нужно, я эту байду залью.

вообще, конечно, букварь нужно знать. если кто решил заняться БД даже на любительском уровне, то почитайте хотя бы основы работы с RDBMS и SQL, без этого никуда.

[Local Link Removed for Guests] писал(а): [Local Link Removed for Guests]12 июн 2024, 21:12
[Local Link Removed for Guests] писал(а): [Local Link Removed for Guests]12 июн 2024, 13:44 dbo.mnoSource не выгружал, там действительно ошибка вывода текста в имени файла (где-то вместо текста картинку всунули видимо и все пошло по ...)
бля, рука-лицо.
никаких ошибок в таблице mnoSource нету.
эта таблица содержит поле Filename со стандартным типом данных BLOB(CLOB), в котором содержатся обычные .TXT файлы.
а в эих файлах таблицы вида:
Код: [Local Link Removed for Guests]
"Cистемный номер";"Номер страхового полиса";"Вид происшествия";"Фамилия";"Имя";"Отчество";"Пол";"Дата рождения";"Объект страхования";"Отношение к происшествию";"Особые отметки";"Дата происшествия";
"4390023";"ЕЕЕ 0394566076";"8000";"Лебедев";"Игорь";"Александрович";"М";"10.09.1984";"А018РМ76";"4";"";"20.12.2016";
"4390112";"ЕЕЕ 0394674246";"8000";"Ефремов";"Дмитрий";"Михайлович";"М";"03.07.1986";"М405ТУ71";"4";"";"06.12.2016";
"4390112";"ЕЕЕ 0394674246";"8000";"Черепанова";"Ульяна";"Геннадьевна";"Ж";"30.10.1985";"Е105УМ77";"8";"";"06.12.2016";
"4390126";"ЕЕЕ 0723567306";"8000";"КРЫЛОВА";"КРИСТИНА";"ИГОРЕВНА";"М";"10.05.1992";"88";"7";"";"24.12.2016";
"4390127";"ЕЕЕ 0381710024";"8000";"Солонович";"Андрей";"Анатольевич";"М";"13.06.1970";"WDD2130421A031244";"3";"";"29.12.2016";
"4390135";"ЕЕЕ 0384965173";"8000";"Лопарева";"Валерия";"Аркадьевна";"М";"14.06.1992";"А273РН77";"4";"";"25.12.2016";
..................................................
таких записей там 92173.
если нужно, я эту байду залью.

вообще, конечно, букварь нужно знать. если кто решил заняться БД даже на любительском уровне, то почитайте хотя бы основы работы с RDBMS и SQL, без этого никуда.

залей конечно!!!
пытаюсь строить связи по таблицам, но както тяжело идет),жду может кто уже готовый вариант выкатит))))

[Local Link Removed for Guests] писал(а): [Local Link Removed for Guests]12 июн 2024, 21:30 залей конечно!!!
пытаюсь строить связи по таблицам, но както тяжело идет),жду может кто уже готовый вариант выкатит))))

OK, попозже залью очищенный mnoSource и папку с экстрактированными txt-файлами

тут таблица mnoSource.csv(разделитель tab) и папка attach со всеми файлами, экстрактированными из BLOB/CLOB поля Filename.
имена файлов идентичны значению поля NameOfDocument в соответствующих строках таблицы mnoSource (это даст возможность создать в кроносе поле с типом "Внешний файл", а лучше с типом "Файл", чтобы всё было красиво).

Скрытый текст

Для просмотра скрытого текста необходимо быть авторизованным пользователем.

[Local Link Removed for Guests] писал(а): [Local Link Removed for Guests]13 июн 2024, 00:31 тут таблица mnoSource.csv(разделитель tab) и папка attach со всеми файлами, экстрактированными из BLOB/CLOB поля Filename.
имена файлов идентичны значению поля NameOfDocument в соответствующих строках таблицы mnoSource (это даст возможность создать в кроносе поле с типом "Внешний файл", а лучше с типом "Файл", чтобы всё было красиво).
Скрытый текст
Для просмотра скрытого текста необходимо быть авторизованным пользователем.

спасибо огромное! как раз восстановил бэкап базы и сидел ковырял, не получалось извлечь эти файлы, только список названий выдавало..

в твоем архиве было 92 173 файла
а в базе я их вижу 11 387 673 - не получилось извлечь полностью?

там еще полно
180194 101_II4870.txt
...
11387673 ОНЛАЙН_12621498_240304145439020

учитывайте при обработке, что в структуре массива есть 2 столбца
RegistrationNumber - ГРЗ в кириллице
RN_2 - ГРЗ в латинской транслитерации

и в базе они местами напутаны

для примера "ФЛ12913122011.txt" знак "M388XE199" в латинском написании

: Screenshot_5.jpg (133.12 КБ) 38539 просмотров

там таких не мало встречается, нужно будет править по шаблону, т.к. в этом поле встречается вин, в котором как раз латиницу затрагивать не нужно

[Local Link Removed for Guests] писал(а): [Local Link Removed for Guests]13 июн 2024, 01:08 не получилось извлечь полностью?

извлечены ВСЕ существующие файлы.
остальные поля пустышки (NULL).
даже имена в поле NameOfDocument косвенно указывают на внешние относительно MSSQL сервера файлы - ОНЛАЙН_xxxxxxxx... это указатели для проги, работающей с данной БД, где эти файлы брать(на каких серверах/директориях)
большинство значений в поле NameOfDocument, которые ссылаются на отсутствующие в базе файлы, я обнулил, чтобы не мешались при конверте в кроносе и не занимали место.
около тысячи указателей на пустышки осталось - это означает, что некоторые BLOB\CLOB поля просто были пустыми.

возрожденное сообщество

Прочие базы данных ч.2 -АРХИВ

Re: Прочие базы данных

Re: Прочие базы данных

База директоров РФ с мобильными телефонами - 2024

Re: Прочие базы данных

Re: Прочие базы данных

Re: Прочие базы данных

Re: Прочие базы данных

Re: Прочие базы данных

Re: Прочие базы данных

Re: Прочие базы данных