возрожденное сообщество

[Local Link Removed for Guests] писал(а): [Local Link Removed for Guests]07 сен 2022, 16:02

[Local Link Removed for Guests] писал(а): [Local Link Removed for Guests]07 сен 2022, 14:07 у меня после удаления дублей осталось 633,590

Там если отсортировать записи по возрастанию увидите в поле "ФИО" вот такие вот крякозябры.
++TT+¦=иTL TL¦L¦L LT+¦TL=-¦+T=L
Я конверт делал ночью и по-моему часть из них удалил.
Поэтому в моем варианте конверта их меньше,чем в Вашем.
Все такие записи удалять я потом не стал,увидев,что в некоторых ФИО встречается и вопросительные знаки.
Ибо,впоследствии по ИИН можно идентифировать таких людей.

[Local Link Removed for Guests] писал(а): [Local Link Removed for Guests]07 сен 2022, 17:13 кракозябры бывают когда кодировку при перегоне в кронос неверную выбираешь, у меня часто пытаешься файл перегнать в кронос, а он одни кракозябры показывает, приходится в исходнике кодировку переделывать под кроносовскую (DOS, KOI8,WIN1256)
и кракозябр меньше становится
с уважением))

[Local Link Removed for Guests] писал(а): [Local Link Removed for Guests]07 сен 2022, 16:02

[Local Link Removed for Guests] писал(а): [Local Link Removed for Guests]07 сен 2022, 14:07 у меня после удаления дублей осталось 633,590

Там если отсортировать записи по возрастанию увидите в поле "ФИО" вот такие вот крякозябры.
++TT+¦=иTL TL¦L¦L LT+¦TL=-¦+T=L
Я конверт делал ночью и по-моему часть из них удалил.
Поэтому в моем варианте конверта их меньше,чем в Вашем.
Все такие записи удалять я потом не стал,увидев,что в некоторых ФИО встречается и вопросительные знаки.
Ибо,впоследствии по ИИН можно идентифировать таких людей.

[Local Link Removed for Guests] писал(а): [Local Link Removed for Guests]07 сен 2022, 17:13 сейчас перепроверил , включая исходники-ненашел крякозабры, я перегонял в кроносе 6, и там где он(кронос) не понимает символы у меня знаки вопроса
например в исходнике :ӘҚІМХАН БАХТИЯР ЕРКІНҰЛЫ
в кроносе получается : ??ІМХАН БАХТИЯР ЕРКІН?ЛЫ
кракозябры бывают когда кодировку при перегоне в кронос неверную выбираешь, у меня часто пытаешься файл перегнать в кронос, а он одни кракозябры показывает, приходится в исходнике кодировку переделывать под кроносовскую (DOS, KOI8,WIN1256)
и кракозябр меньше становится
с уважением))

[Local Link Removed for Guests] писал(а): [Local Link Removed for Guests]07 сен 2022, 18:05

[Local Link Removed for Guests] писал(а): [Local Link Removed for Guests]07 сен 2022, 17:13 сейчас перепроверил , включая исходники-ненашел крякозабры, я перегонял в кроносе 6, и там где он(кронос) не понимает символы у меня знаки вопроса
например в исходнике :ӘҚІМХАН БАХТИЯР ЕРКІНҰЛЫ
в кроносе получается : ??ІМХАН БАХТИЯР ЕРКІН?ЛЫ
кракозябры бывают когда кодировку при перегоне в кронос неверную выбираешь, у меня часто пытаешься файл перегнать в кронос, а он одни кракозябры показывает, приходится в исходнике кодировку переделывать под кроносовскую (DOS, KOI8,WIN1256)
и кракозябр меньше становится
с уважением))

Немного не так. Исходные файлы идут в Юникоде (UTF-8,16). Кронос работает с кодировкой Windows-1251. Если в исходнике встречается национальный символ (например, ӘҚ), то у него нет аналога в Windows-1251, поэтому и ставятся знаки вопроса.

[Local Link Removed for Guests] писал(а): [Local Link Removed for Guests]07 сен 2022, 17:47

[Local Link Removed for Guests] писал(а): [Local Link Removed for Guests]07 сен 2022, 17:13 кракозябры бывают когда кодировку при перегоне в кронос неверную выбираешь, у меня часто пытаешься файл перегнать в кронос, а он одни кракозябры показывает, приходится в исходнике кодировку переделывать под кроносовскую (DOS, KOI8,WIN1256)
и кракозябр меньше становится
с уважением))

Да,спс,в курсе.
Конверт делал в 5-ом кроносе кодировку выбрал под Windows.
Основной разделитель запятая.

[Local Link Removed for Guests] писал(а): [Local Link Removed for Guests]07 сен 2022, 18:16 у меня часто встречается, что файл в юникоде, и при выборе в кроносе кодировки(любой из трех), все равно кракозябры отображаются, поэтому сам исходный файл пересохраняю в одной из кодировок которые понятны кроносу (DOS, KOI ,WIN) ,и все становится норм(ну кроме нац.символов)

[Local Link Removed for Guests] писал(а): [Local Link Removed for Guests]07 сен 2022, 18:20 бывало разделитель запятая, и в самих столбцах встречались записи через запятую, кронос непонимает такого, приходилось в столбцах исправлять запятые на другой символ)))

[Local Link Removed for Guests] писал(а): [Local Link Removed for Guests]06 сен 2022, 06:58 Vk 86M, актуальность приблизительно 2012

Отличие от знаменитого VK100M - здесь есть vk id, чего очень не хватало ранее

Количество записей: 86720495
Размер файла: 4,52Гб
Формат: Кронос 5
Информация:

► Показать

Наименование банка: vk_86M_with_id

Тип банка: Cronos
Размер банка: 9`924`004 Kb
Дата и время модификации: 05.09.2022 (21:45:14)
Общее количество записей в банке: 86`720`495

Список баз:
N|Название базы|Имя|Тип|Кол-во наборов|Поле кода|Кол-во записей
1|vk_86M_with_id|VK|1|0||86720495

База :vk_86M_with_id
Состав полей базы
N поля| Название поля|Тип|Длина поля|Словарь|Статус|Связь с базами
0|Системный номер|Ц|10|||
1|vk_id|Ц|20|||
2|phone_number|Т|100|||
3|first_name|Т|100|||
4|last_name|Т|100|||
5|email|Т|200|||
6|password|Т|200|||
7|vk_seq_pn_count|Т|100|||

Ссылка: [External Link Removed for Guests]
Пароль: личный

[Local Link Removed for Guests] писал(а): [Local Link Removed for Guests]07 сен 2022, 18:16

[Local Link Removed for Guests] писал(а): [Local Link Removed for Guests]07 сен 2022, 18:05

[Local Link Removed for Guests] писал(а): [Local Link Removed for Guests]07 сен 2022, 17:13 сейчас перепроверил , включая исходники-ненашел крякозабры, я перегонял в кроносе 6, и там где он(кронос) не понимает символы у меня знаки вопроса
например в исходнике :ӘҚІМХАН БАХТИЯР ЕРКІНҰЛЫ
в кроносе получается : ??ІМХАН БАХТИЯР ЕРКІН?ЛЫ
кракозябры бывают когда кодировку при перегоне в кронос неверную выбираешь, у меня часто пытаешься файл перегнать в кронос, а он одни кракозябры показывает, приходится в исходнике кодировку переделывать под кроносовскую (DOS, KOI8,WIN1256)
и кракозябр меньше становится
с уважением))

Немного не так. Исходные файлы идут в Юникоде (UTF-8,16). Кронос работает с кодировкой Windows-1251. Если в исходнике встречается национальный символ (например, ӘҚ), то у него нет аналога в Windows-1251, поэтому и ставятся знаки вопроса.

у меня часто встречается, что файл в юникоде, и при выборе в кроносе кодировки(любой из трех), все равно кракозябры отображаются, поэтому сам исходный файл пересохраняю в одной из кодировок которые понятны кроносу (DOS, KOI ,WIN) ,и все становится норм(ну кроме нац.символов)