Страница 76 из 97
Re: Базы данных Cronos
Добавлено: 06 авг 2022, 20:08
memnos
[Local Link Removed for Guests] писал(а): [Local Link Removed for Guests]06 авг 2022, 19:38
[Local Link Removed for Guests] писал(а): [Local Link Removed for Guests]06 авг 2022, 01:54Приведение в порядок поля "телефон" в почте россии заняло 50 часов непрерывной работы...
Что то многовато времени потрачено. Наверное вручную
. Это ж 6 полных рабочих дней.
Но проблемы с файлом имеются. Есть лишние переводы строк. Есть смещение полей. Например, 225 строк содержат лишние поля, в частности разбиение на отдельные поля фамильно-именной группы, из-за чего телефоны "уезжают".
Анализ представления телефонов с помощью выходных форм и формул длится не более 10 минут. Чуть более длится коррекция телефонов с помощью формул. Но не часы, тем более десятки.
ну скобки, тире и пробелы удобно коррекцией убирать. Это понятно. А вот лишние цифры - уже время надо. Выше написал.
Re: Базы данных Cronos
Добавлено: 06 авг 2022, 20:53
btrwz
[Local Link Removed for Guests] писал(а): [Local Link Removed for Guests]06 авг 2022, 20:05
...
по-сырому так делал:
IF LEN(PT15)=0 THEN GOTO W;
IF LEN(PT15)=10 THEN GOTO Y;
IF LEN(PT15)=11 THEN GOTO X;
IF LEN(PT15)=15 THEN GOTO A;
PT75:="не 11 не 15";
GOTO W;
...
Приветствую.
Такой скорости не должно быть. Либо Кронос работает криво, либо оператор GOTO слишком медленный (а это очень может быть!). Ну не на третьем пне делали же?
Проще избавится от оператора перехода и усложнить условный оператор, что-то вроде (к примеру):
@A=AV6 //Поле с телефоном.
@B:=""
IF (LEN(@A)=12) & (SUBSTR(@A,1,1)="+") THEN @B:=SUBSTR(@A,2,11)
IF (LEN(@A)=11) & (SUBSTR(@A,1,2)="89") THEN @B:=CONCAT("79",SUBSTR(@A,3,9))
IF (LEN(@A)=11) & (SUBSTR(@A,1,4)="8495") THEN @B:=CONCAT("7495",SUBSTR(@A,5,7))
IF (LEN(@A)=11) & (SUBSTR(@A,1,4)="8499") THEN @B:=CONCAT("7499",SUBSTR(@A,5,7))
IF (LEN(@A)=11) & (SUBSTR(@A,1,4)="8496") THEN @B:=CONCAT("7496",SUBSTR(@A,5,7))
IF (LEN(@A)=11) & (SUBSTR(@A,1,4)="8812") THEN @B:=CONCAT("7812",SUBSTR(@A,5,7))
IF (LEN(@A)=10) & (SUBSTR(@A,1,1)="9") THEN @B:=CONCAT("7",@A)
IF (LEN(@A)=10) & (SUBSTR(@A,1,3)="495") THEN @B:=CONCAT("7",@A)
IF (LEN(@A)=10) & (SUBSTR(@A,1,3)="499") THEN @B:=CONCAT("7",@A)
IF (LEN(@A)=10) & (SUBSTR(@A,1,3)="496") THEN @B:=CONCAT("7",@A)
IF (LEN(@A)=10) & (SUBSTR(@A,1,3)="812") THEN @B:=CONCAT("7",@A)
IF @B="" THEN @B:=AV6
AV6:=@B
Данный вариант на не "боевом" банке дал около 2,5-3 тыс. операций в секунду.
Re: Базы данных Cronos
Добавлено: 07 авг 2022, 17:35
memnos
СДЭК лайт 2022
##############################################################
Наименование банка:СДЭК лайт 2022
Формат: Cro 5
Размер банка: 909`565 Kb
Общее количество записей в банке: 8`772`905
► Показать
База :CDEK
Состав полей базы
N поля| Название поля|Тип|Длина поля|Словарь|Статус|Связь с базами
0|Системный номер|Ц|10|||
1|телефон|Т|255|||
2|Клиент|Т|255|||
3|@Email|Т|255|||
==========================
Скрытый текст. Для просмотра нужно [Local Link Removed for Guests]
Re: Базы данных Cronos
Добавлено: 07 авг 2022, 18:30
Volchara46
[Local Link Removed for Guests] писал(а): [Local Link Removed for Guests]07 авг 2022, 17:35
СДЭК лайт 2022
##############################################################
Наименование банка:СДЭК лайт 2022
Формат: Cro 5
==========================[/spoil]
Скрытый текст
В данной версии вырезано большое количество телефонов, которые есть в полной базе...
Не вижу смысла в данном варианте базы! (мое личное мнение!)
Работа 5ka.ru 2021, полный конверт
Добавлено: 07 авг 2022, 21:00
barabas66
Работа 5ka.ru 2021, полный конверт в кронос.
В моём конверте, в отличие от здесь выкладывавшихся, из дампа postgreSQL извлечены и помещены в поле
resume файлы вложений.
Это файлы резюме соискателей в форматах doc\docx\pdf, зачастую содержащие фото и другую доп. информацию.
Вложений немного, всего 707, но тем не менее.
Также в банк извлечена небольшая табличка с админ. персоналом пятёрочки.
► Показать
##############################################################
Тип банка: Cronos
Размер банка: 215`668 Kb
Общее количество записей в банке: 177`891
База :vacancy_responses
Состав полей базы
N поля| Название поля|Тип|Длина поля|Словарь|Статус|Связь с базами
0|Системный номер|Ц|10|||
1|name|Т|202|||
2|city_name|Т|24|||
3|birthdate|Д||||
4|nationality|Т|22|||
5|phone|Т|13|||
6|want_type_name|Т|19|||
7|want_position|Т|32|||
8|is_employee|Т|5|||
9|created_at|Д||||
10|region_name|Т|42|||
12|email|Т||||
13|ready_to_travel|Т||||
15|resume|Ф||||
==========================
База :adm_personal.csv
Состав полей базы
N поля| Название поля|Тип|Длина поля|Словарь|Статус|Связь с базами
0|Системный номер|Ц|10|||
1|name|Т|197|||
2|email|Т|26|||
3|password|Т|60|||
4|created_at|Д||||
5|updated_at|Д||||
6|role|Т|35|||
==========================
проиндексированы поля: name, city_name, birthdate, phone, region_name, email.
Скрытый текст
Для просмотра скрытого текста необходимо быть авторизованным пользователем.
Если есть возможность, работайте с данным банком в 6-ом кроносе, т.к. пятый кронос довольно капризно относится к полям с вложениями, и иногда сыпется ни с того ни с сего.
Программа лояльности Tele2 на 27 июня 2022
Добавлено: 08 авг 2022, 18:28
slope
Размер банка: 2`015`075 Kb
Общее количество записей в банке: 7`530`027
Состав полей базы
N поля| Название поля|Тип|Длина поля|Словарь|Статус|Связь с базами
0|Системный номер|Ц|10|||
1|Системный номер|Ц|20|||
2|ROW_ID|Т|32|||
3|CREATED|Т|23|||
4|LAST_UPD|Т|23|||
5|PROGRAM_ID|Т|32|||
6|EMAIL|Т|29|||
7|NAME|Т|23|||
8|SEX|Т|4|||
9|SEGMENT_CODE|Т||||
10|MSISDN|Т|11|||
11|BERCUT_CONTACT_ID|Т|8|||
12|QR|Т|23|||
13|QR_CODE_LINK_TYPE|Т|5|||
14|CHANNEL|Т|5|||
15|BIRTHDAY|Т||||
16|SUBS_ID|Т|8|||
17|BRANCH|Т|2|||
18|EMAIL_ACTIVATION|Т|1|||
19|SMS_SENDING|Т|1|||
20|SC_SMS|Т|1|||
21|ADMIN|Т|1|||
22|EMAIL_CASHBACK|Т|1|||
23|T2_EMPL_ID|Т||||
24|REFERRER_ID|Т||||
==========================
пароль: BsA8ro
РФ-Теле-2. Участники программы лояльности. 06.2022 г (5`662`069)
Добавлено: 08 авг 2022, 18:58
Volchara46
РФ-Теле-2. Участники программы лояльности. 06.2022 г (5`662`069)
Тип банка: Cronos
Адрес банка: R:\БАЗЫ ПОИСКА-07.2022 г\3. ТЕЛЕФОНЫ\РФ-Теле-2. Участники программы лояльности. 06.2022 г (5`662`069)\
Данные: Сжатые и зашифрованные
Индексы: Сжатые и зашифрованные
Размер банка: 493`527 Kb
Дата и время модификации: 08.08.2022 (21:35:22)
Общее количество записей в банке: 5`662`069
Состав полей базы
N поля| Название поля|Тип|Длина поля|Словарь|Статус|Связь с базами
0|Системный номер|Ц|10|||
1|Телефон|Т|11|||
2|ФИО|Т|34|||
Пароль: 1111
Oriflame.ru 09-2021 5.5M
Добавлено: 09 авг 2022, 06:12
barabas66
Oriflame.ru 09-2021 5.5M, конверт в кронос.
► Показать
##############################################################
Тип банка: Cronos
Размер банка: 1`766`900 Kb
Общее количество записей в банке: 5`422`297
База :russiaoriflame
Состав полей базы
N поля| Название поля|Тип|Длина поля|Словарь|Статус|Связь с базами
0|Системный номер|Ц|10|||
1|NAME|Т|171|||
2|BIRTH_DATE|Т|65|||
3|TELEPHONES|Т|78|||
4|EMAILs|Т|45|||
5|ADDRESSES|Т|213|||
6|PASSPORT_NUMBER|Т||||
7|V_KONTAKTE_ID|Т||||
8|FACEBOOK_ID|Т||||
==========================
проиндексировал все поля.
Скрытый текст
Для просмотра скрытого текста необходимо быть авторизованным пользователем.
Re: Oriflame.ru 09-2021 5.5M
Добавлено: 09 авг 2022, 06:47
PiMar
[Local Link Removed for Guests] писал(а): [Local Link Removed for Guests]09 авг 2022, 06:12
Oriflame.ru 09-2021 5.5M, конверт в кронос.
Спасибо. Хорошая работа.
Постараюсь сконвертировать в более подходящую структуру. Адреса, Контактные данные (телефоны, emails, соц.сети...) Потому что встречаются по несколько телефонов и адресов и они объединены.
РФ-Клиенты фирмы Oriflame.ru 09. 2021 г (1`178`336)
Добавлено: 09 авг 2022, 10:54
Volchara46
Убрал лишнее и оставил только поля интересые мне: ФИО, ДР, Email, Телефон
Построил индекс по полям Телефон и Email.
Тип банка: Cronos
Данные: Сжатые и зашифрованные
Индексы: Сжатые и зашифрованные
Размер банка: 195`821 Kb
Дата и время модификации: 09.08.2022 (13:33:01)
Общее количество записей в банке: 1`178`336
Состав полей базы
N поля| Название поля|Тип|Длина поля|Словарь|Статус|Связь с базами
0|Системный номер|Ц|10|||
1|Фамилия|Т|20|||
2|Имя, Отчество|Т|30|||
3|Дата рождения|Т|10|||
4|Email|Т|29|||
5|Телефон|Т|11|||
==========================
Пароль: 1515