Обмен данными xml 8.3. Автоматический обмен данными с помощью обработки "Универсальный обмен данными в формате XML", без изменения конфигурации

Практически во всех конфигурациях 1С 8 существуют предопределенные обмены между другими типовыми релизами, например с: » 1С Управление торговлей 8″, » 1С ЗУП 8″, » 1С Розница 8″. Однако что делать, если вам необходимо произвести обмен между различными конфигурациями с совершенно разной структурой метаданных? В данном случае поможет обработка «Универсальный обмен данными в формате XML » , которую можно бесплатно скачать для и

Для работы с данными обработками нам потребуются файл правил в формате xml. В нем описывается каким именно образом данные из одной информационной базы переносятся в другую. Он создается при помощи специализированной конфигурации «Конвертация данных», которая поставляется на диске, либо на сайте ИТС. Как его создать мы рассмотрим в следующей статье, а пока представим, что у нас уже он есть.В обработке существует 4 вкладки. Рассмотрим все их по порядку:

Выгрузка данных

• Первым делом указываем имя файла правил, на основании которого будет происходить выгрузка.
• Указываем имя файла данных, в который будет сохраняться вся информация.
• Можно установить галочку: сжимать полученный файл или нет.

После того как будет указан файл правил, в закладке «Выгружаемые данные» отобразятся объекты метаданных, по которым будут сохраняться данные. Также здесь можно указать период за который будет происходить выборка. Во вкладке «Параметры выгрузки» можно указать соответственно дополнительные значения. Вкладка комментарий говорит сама з а себя

Загрузка данных

В данной вкладке указывается только файл данных, так как все правила уже находятся в выгруженном файле вместе с данными. Здесь же можно установить количество элементов,которые будут загружены за одну транзакцию. На форме существуют дополнительные булевые опции, на основании которых будет происходить загрузка. Если вы хотите,чтобы при выполнении обработки были отключены все встроенные всевозможные проверки, то выберите пункт Настройка автоматической загрузки данных говорит сама за себя.

Дополнительные настройки

Вкладка дополнительные настройки позволяет более тонко настроить выполнение обработки

• Режим отладки позволяет не останавливать процедуру выгрузки или загрузки при возникновении какой-либо непредвиденной ошибки. После выполнения операции будет выведен детальный отчет.
• Для мониторинга процесса обмена можете установить флажок «Вывод информационных сообщений».
• Количество обработанных объектов для обновления статуса- определяет количество обработанных элементов после которых будет обновлены сведения в информационном окне.
• «Использовать оптимизированный формат для обмена данными (V8 — V8, версия обработки не ниже 2.0.18)» — специализированный формат,предполагающий наличия в заголовке сообщения тэг «ИнформацияОТипахДанных», позволяющий ускорить процесс выполнения.
• Использовать транзакции при выгрузке для планов обмена –при установке данного флага выгрузка будет выполняться в одной транзакции(неделимой,логически свзянной последовательности)
• Количество элементов в транзакции- определяет количество элементов, которые будут выгружены/загружены в одной транзакции. Если установлен 0, то вся процедура пройдет в одной транзакции. Такой вариант является рекомендуемым, так как сохранятся гарантия логической связанности данных.
• Выгружать объекты на которые есть права доступа- флаг,на основании которого определяются объекты для выгрузки на которые у текущего пользователя есть права доступа.
• Автоматически удалять недопустимые символы из строк для записи в XML – при установке данного пункта все записи в сообщении проверяются на валидность XML 1.0 и удаляются символы несоответствующие стандарту.
• Изменения регистрации для узлов обмена после выгрузки – определяет метод работы с регистрацией изменений данных после окончания выгрузки данных (не удалять регистрацию, полностью удалить регистрацию, удалить регистрацию только для выгруженных метаданных).
• Имя файла протокола обмена — указывается имя файла для ведения логов процедуры обмена.
• Протокол загрузки (для COM — соединения) — имя лог файла при обмене через COM-соединение.
• Дописывать данные в протокол обмена — при установке данного флага, лог файл будет дописываться,а не затираться.
• Вывод в протокол информационных сообщений — в лог файл будут добавлены не только информация об ошибках, но и информационные сообщения.
• Открывать файлы протоколов обмена после выполнения операций — флаг говорит сам за себя

Удаление данных

При ведении нескольких рабочих баз 1С порой возникает необходимость обмена данными между ними. Существует 2 способа переноса данных:

1. Перенос данных с использованием правил обмена и обработки «Обмен данными XML». Правила обмена создаются с помощью конфигурации 1С:Конвертация данных.
2. Перенос данных между похожими информационными базами обработкой «Выгрузка и загрузка данных XML».

Рассмотрим второй вариант, т.е. выгрузку и загрузку данных из/в конфигураций, в которых имеются одни и те же (идентичные), нужные нам объекты. Для этого воспользуемся внешней обработкой «Выгрузка и загрузка данных XML», которую можно .

Условие использования этой обработки следующее: В информационной базе, из которой выгружаются данные, должны присутствовать такие же объекты и с такими же реквизитами (наименование и тип данных), как и в базе, в которую производится загрузка данных.

Рассмотрим пример с переносом данных этой обработкой. Предположим, нужно перенести документы «Платёжное поручение входящее» и «Платёжное поручение исходящее». Решение этой задачи будет следующим.

Открываем внешнюю обработку «Выгрузка и загрузка данных XML» через главное меню: Файл? Открыть… На вкладке «Выгрузка» указываем файл XML, в который мы будем сохранять данные.

Затем нужно указать период, за который будем выгружать объекты данных из базы 1С и сами объекты. Нужные нам для выгрузки документы помечаем галочкой в поле структуры объектов конфигурации в столбце «Данные для выгрузки». Если в выгружаемых документах есть ссылки на элементы справочников, которых нет в другой конфигурации, то имеет смысл проставить галочки в столбце «При необходимости», чтобы эти элементы тоже выгрузились вместе с документами.

Теперь на данном шаге нужно решить, выгружать ли вместе с документами их движения по регистрам или перепровести эти документы уже в другой базе? Для перепроведения выгружаемых документов уже в другой базе можно воспользоваться обработкой «Групповая обработка справочников и документов». Если алгоритмы проведения в данных информационных базах чем-то отличаются, то галочку напротив «Выгружать с документом все его движения» ставить не следует.

Вот и всё, настройка выгрузки закончена, здесь всё просто! Нажимаем кнопку «Выгрузить данные» и ждём пока данные сохраняться в файл XML. Для более сложных выгрузок можно задавать отбор на выгружаемые объекты не только по периоду.

После выгрузки переходим во вторую базу 1С и открываем там эту же обработку. Переходим на вкладку «Загрузка» и указываем здесь тот же файл XML, в который мы выгрузили данные.

На этой вкладке ставим одну единственную галочку напротив «Продолжить загрузку объектов в случае возникновения ошибки» и нажимаем на кнопку «Загрузить данные». Остальные функции, например, использование итогов мы не рассматриваем, хотя эта функция может значительно ускорить загрузку объектов (записей по регистрам).

Автоматизированные системы управления в большинстве случаев состоят из отдельных баз данных и зачастую имеют территориально распределенную структуру. При этом правильно реализованный обмен данными - необходимое условие для эффективной работы таких систем.

Первоначальная настройка обмена при этом может потребовать ряда действий, не только в части программирования, но и консалтинга, даже если мы имеем дело с однородными источниками, как в случае с продуктами на платформе «1С:Предприятие». Почему настройка обмена 1С (или, как еще это называется - синхронизация данных в 1С 8.3) может стать самой трудоемкой и недешевой задачей проекта интеграции, рассмотрим в этой статье.

Обмен данными в среде 1С позволяет:

• Исключить двойной ввод документов;
• Автоматизировать смежные бизнес-процессы;
• Оптимизировать взаимодействие между распределенными подразделениями;
• Оперативно актуализировать данные для работы специалистов разных отделов;
• «Разграничить» разные виды учета.*

*В случае, когда данные одного вида учета существенно отличаются от другого, необходимо обеспечить конфиденциальность информации и «разграничить» информационные потоки. Например, обмен данными между 1С УТ и 1С Бухгалтерия не требует выгрузки в базу регламентного учета управленческих данных, т.е. синхронизация в 1С тут будет неполная .

Если представлять стандартный процесс реализации первичного обмена данными, когда хотя бы один из его объектов – продукт 1С, то можно выделить следующие этапы:

• Согласование состава обмена;
• Определение транспорта (протоколов обмена);
• Установка правил;
• Составление расписания.

Выявление состава обмена 1С

Объекты обмена можно условно поделить на «источник» и «приемник». При этом они могут исполнять две роли одновременно, что будет называться – двусторонним обменом. Определение источника и приемника происходит логическим путем в зависимости от необходимости или от функциональных возможностей системы.*

*Например, при интеграции «WA: Финансист» – решения для ведения финансового учета и управления процессами казначейства, разработанного на базе «1С:Предприятие», эксперты WiseAdvice рекомендуют именно его в качестве мастер-системы. Это обусловлено наличием инструментов контроля для соблюдения правил заявочной политики, а соответственно, и для обеспечения эффективности работы решения.

Далее на основе полученных и зафиксированных требований со стороны пользователей создается список данных для обмена, определяется их объем, требования к частоте обмена, прописывается процесс работы с ошибками и обработки исключительных ситуаций (коллизий).

На этом же этапе в зависимости от парка имеющихся систем и структуры предприятия определяются с форматом обмена:

Распределенная информационная база

• РИБ подразумевает обмен между идентичными конфигурациями баз данных 1С, с четкой структурой управления «главный-подчиненный» для каждой пары обмена. Являясь элементом технологической платформы, РИБ помимо данных может передавать изменения в конфигурации и административную информацию БД (но только от главного к подчиненному).

Универсальный обмен данными в 1С

• Механизм, позволяющий настроить обмен баз 1С, как с конфигурациями на платформе «1С:Предприятие», так и с системами сторонней разработки. Обмен осуществляется посредством перевода данных в универсальный xml-формат в соответствии с «Планами обмена».

EnterpriseData

• Новейшая разработка фирмы 1С, предназначенная для реализации обмена данными в формате xml между продуктами, созданными на платформе «1С:Предприятие», с любыми системами автоматизации. Применение EnterpriseData упрощает доработки, связанные с обменом. Ранее при включении в систему новой конфигурации была необходима реализация механизма импорта и экспорта данных, как для нее, так и для уже имеющихся систем. Теперь системы, поддерживающие EnterpriseData, не нуждаются в доработках, имея только одну точку «входа-выхода».

Определение транспорта (протоколов обмена)

Для системы на платформе «1С:Предприятие 8» предусмотрен широкий спектр возможностей для организации обмена с любыми информационными ресурсами посредством общепринятых универсальных стандартов (xml, текстовые файлы, Excel, ADO-соединение и т.д.). Поэтому при определении транспорта для данных обмена следует отталкиваться от возможностей базы данных сторонней системы.

Синхронизация справочников

Основным принципом эффективной синхронизации справочников является наличие одной точки ввода. Но если речь идет о работе со справочниками, исторически заполнявшимися по разным правилам, необходимо четко определить поля синхронизации для приведения обмена к «общему знаменателю».*

*На этом этапе может потребоваться проведение работ по нормализации НСИ на стороне источника данных. В зависимости от состояния справочников и их объема, процесс сопоставления элементов, распознавания, выявления ошибок и дублей, а также заполнения недостающих полей и назначение полей синхронизации, может потребовать работы целой группы экспертов, как со стороны интегратора (владельца методики нормализации НСИ), так и со стороны заказчика.

Установка правил

Возможность отображения данных систем-источников в приемниках зависит от правильно заданных правил обмена. Правила, представленные в формате xml, регулируют соответствие ключевых реквизитов объектов источника-приемника. Решение «1С:Конвертация данных» предназначено для автоматизации создания правил для реализации как единоразового обмена, так и постоянного.

Гарантирует отсутствие потерь данных при обмене План обмена. Это составная часть любой конфигурации на платформе «1С:Предприятие», полностью описывающая порядок обмена 1С: состав данных (документы с «опознавательными» реквизитами) и узлы (информационные базы приемники-передатчики), а также активацию РИБ для избранных направлений обмена.

Любое изменение данных, занесенных в План обмена, фиксируется и получает признак «измененности». До тех пор, пока измененные данные не будут соответствовать друг другу в узлах приемника-передатчика, признак сброшен не будет, и система будет рассылать контрольные сообщения в оба узла. После выгрузки данных и подтверждения их полного соответствия в обеих системах, признак сбрасывается.

Расписание обмена в 1С

Для автоматизации регулярного обмена устанавливается периодичность выгрузки данных. Частота обмена зависит от необходимости и технических возможностей. Также конфигурации на платформе «1С:Предприятие» позволяют настроить обмен данными при наступлении какого-нибудь события.

Рассмотрев стандартный процесс реализации обмена, обратим внимание на факторы, которые потребуют доработок на разных этапах:

• Не типовые, сильно доработанные конфигурации БД;
• Разные версии платформы «1С:Предприятие»;
• Давно не обновлявшиеся, не актуальные версии конфигурации;
• Объекты обмена, ранее подвергшиеся доработкам;
• Необходимость в нестандартных правилах обмена;
• Сильно различающийся набор и состав реквизитов в имеющихся справочниках.

Поскольку даже стандартные действия по реализации первичного обмена данными требуют экспертных знаний, их рекомендуется проводить при участии специалистов 1С. Только после выполнения всех вышеописанных действий следует переходить к настройке обмена в конфигурации. Рассмотрим интеграцию баз данных на примере «1С:УПП» и «1С:Розница» (по этой же схеме настраивается обмен с «1С:УТ»). Также к типовой синхронизации относится обмен УПП - УПП, характерный для масштабных систем автоматизации на крупнейших промышленных предприятиях.

В подменю «Сервис» выбираем «Обмен данными c продуктами на платформе…» (выбор прямого обмена с «Розницей» зачастую грозит ошибками на уровне COM-объектов). Обратим внимание на служебное сообщение «Данная возможность недоступна».

Чтобы решить эту проблему, необходимо выбрать «Настройку обмена данными»

…и проставить галочку. Далее сообщение об ошибке игнорируем.

В настройках синхронизации данных выбираем «Создать обмен с «Розница»…

Перед настройкой параметров подключения через локальный или сетевой каталог следует убедиться, что на диске под каталог есть место. Хотя, как правило, он не занимает более 30-50 Мб, в исключительных случаях под него может потребоваться до 600 Мб. Создать необходимый каталог можно прямо из конфигуратора.

При подключении через сетевой каталог предложения настроить подключение посредством FTP-адреса и по электронной почте игнорируем, нажимая «Далее».

В настройках вручную проставляем префиксы – условные обозначения баз (как правило, БП, УПП, РО), задаем правила и начальную дату выгрузки данных. Префикс будет указываться в названии документов, для обозначения базы, в которой они были созданы. Если правила выгрузки не будут отредактированы, данные по умолчанию будут выгружаться по всем имеющимся параметрам.

Создаем файл настройки обмена для «Розницы», чтобы не повторять свои действия. При необходимости немедленной отправки данных сразу после настройки синхронизации – проставляем галочку.

Для автоматизации процесса обмена необходимо настроить расписание.

Меню «Розница».

Проставляем галочку и выбираем «Синхронизацию».

Производим «обратную» настройку, выбирая Управление производственным предприятием.

Загружаем файл с настройками, созданный в УПП.

Проставляем галочку, адрес система подхватывает автоматически.

Действуем так же, как в УПП.

Проверочное сопоставление данных (Ручное сопоставление данных рекомендуется произвести на подготовительном этапе, поскольку эти работу могут стать самыми трудоемкими в процессе реализации обмена). Открытие окна сопоставления происходит по двойному щелчку мыши.

В случае ошибки в синхронизации «Подробно…» будет заменено на «Никогда…».

«Подробно…» открывает журнал регистрации с уточненной информацией по обмену.

Готово.

Достаточно часто в работе крупных предприятий и торговых сетей возникает необходимость в обмене данными между базами. Каждый программист и администратор по-разному решает этот вопрос. Кто-то пишет выгрузки-загрузки через промежуточные файлы таблиц, кто-то использует режим COM соединения для подключения к базе источнику. Однако, в последнее время всё большую популярность набирает собственный 1С-овский механизм под названием «Универсальный обмен данными в формате XML».

Внешний вид обработки

В Полном интерфейсе открыть обработку можно по адресу Сервис->Прочие обмены данными-> Универсальный обмен данными в формате XML.

Форма обработки (Рис.1) содержит четыре закладки:

Интерфейс каждой из закладок сильно загружен элементами, а потому требует отдельного рассмотрения.

Выгрузка данных

В самой верхней части закладки находится поле выбора файла правил обмена. Для нестандартных баз и обменов файл обмена придется создавать самому.

На следующей строке формы находятся два переключателя:

1. Выгрузка в файл обмена (Рис.2);
2. Подключение и выгрузка данных в ИБ (рис.3).

Как видно из приведенных выше рисунков, в зависимости от переключателя отличается внешний вид формы. В случае если выбран файловый вариант обмена, пользователю предлагается выбрать место нахождения файла, куда будет выполнена выгрузка и возможность его сжатия для экономии места и защиты паролем.

Вариант прямого подключения к базе-приемнику поддерживает и файловый и клиент-серверный вариант работы. В этом случае необходимо будет прописать адрес базы, заполнить поля «Пользователь» и «Пароль». Прежде чем приступить к обмену данными, желательно протестировать подключение.

Табличная часть расположенная ниже позволяет настроить отборы и остальные параметры выгрузки.

Для отладки алгоритмов и исправления ошибок можно воспользоваться встроенным в обработку обмена механизмом. Его активация производится установкой соответствующего флажка в нижней части формы. Нажатие на кнопку «Настройка отладки…» вызывает окно (Рис. 4).

Рис.4

Отличительной чертой этой формы является информативная справка в левой части макета, которая описывает каждый из трех возможных режимов отладки. В качестве файла внешней обработки с модулем может выступать любой файл формата epf.

Нажатие на кнопку «Готово» проверяет правильность и полноту заполненных данных.

В отличие от «Выгрузки», на данной закладке (Рис.5) нет табличной части, зато гораздо больше флажков, позволяющих регулировать параметры записи новых и измененных объектов.

Рис.5

В первую очередь необходимо выбрать файл, который послужит источником информации. Это можно сделать в поле ввода «Имя файла для загрузки». В случае если данные выгружались в архив, защищенный паролем, его необходимо будет ввести в соответствующее поле.

Соответствующие флажки позволяют настроить:

• Транзакцию при записи объектов (это иногда ускоряет процесс);
• Загрузку данных в режиме обмена (в этом случае все платформенные проверки, за исключением проверки при проведении документов, будут игнорироваться при записи);
• Перезапись измененных элементов;
• Установку пометки удаления для загружаемых элементов;
• Режим записи новых данных в регистр (либо по одной, либо набором);
• Обрезку незначащих символов (пробелов и табуляций) для строковых значений.

Дополнительные настройки

Как понятно из названия закладки, она содержит инструменты, использование которых позволяет точнее настроить процесс обмена. В частности:

1. Включает режим отладки;
2. Позволяет использовать транзакцию в процессе выгрузки;
3. Оптимизирует обмен между базами 8-ой версии 1С;
4. Выгружать только те объекты, которые разрешены к использованию текущему пользователю;
5. Включить протоколирование процесса обмена между базами.

Эти и некоторые другие функции включаются выставлением соответствующих флажков на форме (рис.6).

Рис.6

Удаление данных

Эта закладка используется только разработчиками в режиме отладки. Позволяет удалять из базы ненужные объекты.

Коротко о настройке правил обмена

Использование стандартного обработчика очень упрощает жизнь программистам. В то же самое время, одним из самых сложных моментов для того, кто впервые столкнулся с «Универсальным обменом данным в формате XML» является вопрос: «Где взять файл правил обмена?».

В первую очередь, для самостоятельного изготовления правил обмена, необходима специальная конфигурация, которая носит название «Конвертация данных». В ее составе есть несколько интересных файлов, которые позволяют настроить практически любой обмен между различными базами 1С 7 и 8 версий:

1. epf – необходим для выгрузки структуры метаданных для баз 1С 8;
2. epf – если конфигурация 1С 8 самописная или не стандартная, в ней может не быть обработки «Универсальный обмен данными», этот файл и есть эта обработка;
3. ert –файл содержит код для выгрузки структуры метаданных конфигураций 1С версий 7.7;
4. ert – файл обработки выгрузки-загрузки данных для семерки.

Запустив соответствующие обработки необходимо выгрузить структуры метаданных для исходной базы и базы приемника. Затем в конфигурации «Конвертация» необходимо внести информацию о конфигурациях источника и приемника в справочник «Конфигурации».

Затем в справочнике Конвертации создается элемент, содержащий информацию о направлении обмена данными. Для него можно настроить Правила обмена.

СУБД может поддерживать обмен данными в формате XML в очень простой форме - поддерживая вывод результатов запросов и ввод данных для инструкции INSERT в формате XML. При этом это требует от пользователя или программиста тщательной проработки формата генерируемых результатов запроса, чтобы он в точности соответствовал формату инструкции INSERT в принимающей базе данных. Обмен данными XML должна быть по-настоящему полезен в том случае, в случае если он более явно поддерживается СУБД.

Сегодня несколько коммерческих продуктов предлагают возможность пакетного экспорта таблиц (или результатов запроса) во внешний файл, форматированный как XML-документ. Вместе с тем, они предлагают аналогичную возможность пакетного импорта данных из файла того же типа в таблицу СУБД. Эта схема делает XML стандартным форматом представления содержимого таблиц для обмена данными.

Обратите внимание, что использование предлагаемых СУБД возможностей им­пор­та/экс­порта данных таблиц в формате XML не ограничивает их использова­ние для обмена между базами данных.

Обмен данными в формате XML - понятие и виды. Классификация и особенности категории "Обмен данными в формате XML" 2017, 2018.