DataForge FAQ: ответы на вопросы о CSV, SQL и хешах

DataForge поддерживает три категории форматов. Во-первых, CSV-файлы с любыми популярными разделителями: запятая (,), точка с запятой (;), табуляция (Tab) и вертикальная черта (|). Разделитель определяется автоматически или выбирается вручную. Во-вторых, SQL-запросы диалектов MySQL, PostgreSQL, SQLite и стандарт ANSI SQL — форматтер корректно обрабатывает вложенные подзапросы, JOIN нескольких таблиц, оконные функции и конструкции WITH (CTE). В-третьих, произвольный текст для генерации хешей: MD5 (128 бит), SHA-1 (160 бит), SHA-256 (256 бит) и SHA-512 (512 бит).

DataForge анализирует первые 2000 символов загруженного файла и автоматически определяет наиболее часто встречающийся разделитель из четырёх поддерживаемых вариантов. Результат отображается в блоке статистики под полем загрузки — там вы увидите, какой разделитель был определён.

Если автоопределение сработало неверно (например, файл использует редкий разделитель или в данных много запятых внутри кавычек, которые сбивают алгоритм), выберите нужный разделитель из выпадающего списка и нажмите «Использовать текст» повторно. Для редких разделителей (например, ~ или ^) рекомендуем предварительно заменить их на стандартный с помощью текстового редактора.

DataForge корректно форматирует большинство стандартных SQL конструкций: SELECT с подзапросами, многоуровневые JOIN, GROUP BY с HAVING, оконные функции (OVER, PARTITION BY, ORDER BY), CTE (WITH ... AS), INSERT, UPDATE, DELETE и CREATE TABLE. Каждый основной блок (SELECT, FROM, WHERE, JOIN, GROUP BY, ORDER BY, LIMIT) выносится на отдельную строку, вложенные конструкции дополнительно отступают.

Нестандартные расширения диалектов (например, QUALIFY в BigQuery, CONNECT BY в Oracle, или специфичный синтаксис T-SQL) могут форматироваться не идеально. В таких случаях результат будет читаемым, но структура некоторых специфических блоков может не изменится.

Хеш-функции применяются в нескольких ключевых сценариях. Проверка целостности: скачав файл, вы можете вычислить его SHA-256 и сравнить с эталонным значением, опубликованным на официальном сайте — совпадение гарантирует, что файл не был изменён или повреждён при скачивании.

Идентификация данных: хеш уникально идентифицирует набор данных без хранения самих данных. Это используется в системах дедупликации, в Git для идентификации коммитов, в торрент-протоколе для верификации блоков. Важно: для хранения паролей в базах данных ни MD5, ни SHA-256 не подходят в чистом виде — для этого следует использовать специальные адаптивные функции (bcrypt, Argon2, PBKDF2) с солью.

Да. DataForge построен на принципе «privacy by design»: весь процессинг происходит в JavaScript-движке браузера, данные никогда не покидают ваш компьютер. Нет ни серверной части, ни аналитики, ни телеметрии — мы не собираем данные о содержимом, который вы обрабатываете.

Это означает, что вы можете безопасно работать с персональными данными (GDPR, 152-ФЗ), внутренними SQL-запросами к корпоративным базам, учётными данными и другой конфиденциальной информацией. После закрытия вкладки браузер очищает память — данные не сохраняются.

Да. DataForge использует технологию Progressive Web App (PWA): при первом открытии Service Worker кеширует все ресурсы приложения (HTML, CSS, JavaScript, шрифты). При следующих открытиях приложение загружается из кеша, не обращаясь к сети.

Вы также можете установить DataForge как приложение на компьютер или смартфон через браузерное меню «Установить приложение» — тогда оно будет доступно как нативное приложение с иконкой на рабочем столе, и работать полностью офлайн.

Для CSV-данных кнопка «Скачать» становится доступной после выполнения очистки. Файл сохраняется с оригинальным разделителем в формате .csv — вы сразу можете открыть его в Excel, Google Sheets или импортировать в базу данных.

Для SQL-форматтера и генератора хешей используйте кнопку «Копировать» — результат помещается в буфер обмена и вставляется в нужный инструмент. В будущих версиях планируется добавить скачивание SQL как .sql файла.

Все три алгоритма — это криптографические хеш-функции, которые преобразуют произвольные данные в строку фиксированной длины. Разница в длине хеша, скорости и криптостойкости.

MD5 — 128 бит (32 символа): самый быстрый, разработан в 1991 году. Имеет известные коллизии, не рекомендуется для задач безопасности. SHA-1 — 160 бит (40 символов): более надёжен чем MD5, но с 2017 года также имеет практические коллизии. SHA-256 — 256 бит (64 символа): текущий отраслевой стандарт. SHA-512 — 512 бит (128 символов): максимальная стойкость.

Да, DataForge полностью поддерживает UTF-8 и работает корректно с любыми Unicode-символами: кириллицей, иероглифами (китайскими, японскими, корейскими), арабским письмом, символами эмодзи и специальными символами. CSV-файлы с кириллическими заголовками и значениями читаются без потерь.

При генерации хешей Unicode-строки кодируются в UTF-8 перед вычислением — это соответствует стандартному поведению большинства библиотек. Например, хеш строки «Привет» будет одинаковым в DataForge и в стандартных хеш-утилитах командной строки при условии использования UTF-8 кодировки.

DataForge обрабатывает CSV-файлы полностью в оперативной памяти браузера. Практический предел зависит от браузера и доступной RAM, но большинство браузеров без затруднений справляется с файлами до 10–20 МБ (несколько сотен тысяч строк). Файлы большего размера могут потребовать больше времени на обработку.

Для предпросмотра отображаются первые 50 строк — это сделано для скорости отрисовки. Все операции очистки применяются ко всему файлу целиком, а не только к видимой части. Итоговый файл при скачивании содержит все обработанные строки.