SQLClub

Есть ли жизнь на MARSe?

alexejs — Fri, 10 Jul 2009 06:13:00 GMT

Давнишний постинг с sqlclub.ru, перепостуемый сюдыть (http://blogs.msdn.com/alexejs/archive/2009/07/10/marse.aspx) по причине недоступности оного.

-----------------------------------------------------------------------------------------

Вообще-то тему Марса я уже как-то затрагивал: http://sqlclub.ru/forum/viewtopic.php?t=538 J, посему сегодня под MARSом будем понимать Multiple Active Result Sets. Скорее всего, многие слышали, что да, появилась подобная фишка в 2005-м, а некоторые даже ее заюзали в своих приблудах. Для остальных этот топег дает краткое введение, че это за и почему оно надо.

Сперва смотрим, как оно было. Открываем студию, делаем какой-нибудь консольный проект и подключаем в References старенькую ADOшную (не .NET) библиотеку.

В моем случае их нашлось целых 3: две Primary Interop Assemblies в VSTO к старому и новому офису и третья в стандартных .NET-обертках. После чего пишем следующий код. Я не буду его комментировать – здесь и так все понятно: две разные команды на одной коннекции, одна выполняется один раз, другая несколько последовательно.

static void Main(string[] args)

{

ADODB.Connection cnn = new ADODB.Connection();

cnn.Open("Provider=SQLOLEDB;Server=(local);

Database=AdventureWorksLT;Integrated Security=SSPI", "", "",

(int) ADODB.ConnectOptionEnum.adConnectUnspecified);

object пустышка = Type.Missing;

ADODB.Command cmd1 = new ADODB.Command();

cmd1.CommandText = "select * from SalesLT.Product";

cmd1.ActiveConnection = cnn;

cmd1.Execute(out пустышка, ref пустышка, (int) ADODB.ExecuteOptionEnum.adOptionUnspecified);

ADODB.Command cmd2 = new ADODB.Command();

cmd2.CommandText = "select * from SalesLT.Customer";

cmd2.ActiveConnection = cnn;

for (int i = 0; i < 3; i++)

cmd2.Execute(out пустышка, ref пустышка, (int) ADODB.ExecuteOptionEnum.adOptionUnspecified);

cnn.Close();

}

Вот, говорят отдельные неустойчивые элементы, тыча приблизительно этим кодом, все работает. Все же ведь выполняется с одного соединения и еxceptionов не выкидывает. На самом деле, конечно, не с одного. Поставьте брейкпойнт на втором Execute:

И выполните из SSMS следующий запрос

select s.session_id, s.host_process_id, s.client_interface_name,

db_name(r.database_id) db_name, user_name(r.user_id) user_name, st.text sql,

r.open_resultset_count, r.open_transaction_count, s.status, r.wait_type

from sys.dm_exec_sessions s

join sys.dm_exec_requests r on s.session_id = r.session_id

outer apply sys.dm_exec_sql_text(r.sql_handle) st

where s.program_name = 'Microsoft (R) Visual Studio (R) 2008'

который позвольте мне сейчас не объяснять, чтобы не отвлекаться. Это приблизительный аналог sp_who / sp_who2, они же вирт.табл. sysprocesses. Вот, что там будет:

В VS прокрутите цикл один раз, снова встаньте на брейкпойнте. Повторите запрос в SSMS. Мы видим, что в действительности ADO втихаря открыла новое соединение под 2-й Execute:

Прокрутите цикл еще раз. Под очередное выполнение той же команды завелось еще одно соединение:

и т.д.

Так незаметно для себя можно было наплодить целую кучу соединений. Существовало два способа этого не допустить. Первый – запретить явно, поставив после открытия соединения строчку

cnn.Properties["Multiple Connections"].Value = false;

Тогда мы просто получим ошибку при попытке открытия нового рекордсета на соединении, где уже есть живой

Второй способ – следить самому и закрывать Recordset прежде, чем открывать новый на том же соединении. Т.е. примерно так:

static void Main(string[] args)

{

ADODB.Connection cnn = new ADODB.Connection();

cnn.Open("Provider=SQLOLEDB;Server=(local);Database=AdventureWorksLT;Integrated Security=SSPI",

"", "", (int)ADODB.ConnectOptionEnum.adConnectUnspecified);

object пустышка = Type.Missing;

ADODB.Command cmd1 = new ADODB.Command();

cmd1.CommandText = "select * from SalesLT.Product";

cmd1.ActiveConnection = cnn;

ADODB.Recordset rst1 = cmd1.Execute(out пустышка, ref пустышка, (int)ADODB.ExecuteOptionEnum.adOptionUnspecified);

ADODB.Command cmd2 = new ADODB.Command();

cmd2.CommandText = "select * from SalesLT.Customer";

cmd2.ActiveConnection = cnn;

ADODB.Recordset rst2;

for (int i = 0; i < 3; i++)

{

rst2 = cmd2.Execute(out пустышка, ref пустышка, (int)ADODB.ExecuteOptionEnum.adOptionUnspecified);

rst2.Close();

}

cnn.Close();

}

Изменения по сравнению с предыдущим вариантом кода выделены. Если на соединении висит результат, провайдер SQLOLEDB (да и native тоже) порождает под новую команду новое соединение в дополнение к занятому. А что делать, если вам единомоментно нужно иметь два или более рекордсетов? Ну там вы их сравниваете или производите над ними еще какие-то совместные операции. Ответ очевиден – открывать для них новые соединения, либо ADO это сделает за вас (если ему явно не запретить) . Открытие соединения дорогостоящая операция, соединение отнимает много ресурсов – это общеизвестные истины. К тому же эти дополнительные соединения не пулируются, как вы видите. Если бы после первого прохода цикла соединение вернулось в пул, на второй итерации мы бы видели по-прежнему два соединения, а не три. Короче, все плохо. Пишем следующий код:

static void Main(string[] args)

{

SqlConnection cnn = new SqlConnection("Server=(local);Database=AdventureWorksLT;" +

"Integrated Security=true;MultipleActiveResultSets=true");

cnn.Open();

SqlCommand cmd1 = new SqlCommand("select * from SalesLT.Product", cnn);

cmd1.ExecuteReader();

for (int i = 0; i < 3; i++)

{

SqlCommand cmd2 = new SqlCommand("select * from SalesLT.Customer", cnn);

cmd2.ExecuteReader();

}

cnn.Close();

}

Принципиальный момент в строке соединения выделен болдом. Опция MultipleActiveResultSets=true включает возможность иметь несколько активных рекордсетов на одном соединении. Без нее поведение будет ровно таким же, как мы наблюдали в случае ADO: провайдер будет неявно плодить соединения под каждый новый рекордсет. Ставим брейкпойнт на cnn.Close(). Как мы помним, в этом месте у нас открывалось 4 соединения: одно от cmd1 и 3 от cmd2. Смотрим, что произойдет сейчас

Мы видим, что у нас открыто всего одно соединение с session_id = 52, на котором висят 4 exec_requesta соответственно тому, как мы поочередно отправляли на SQL Server команды. Обратите внимание, как прирастал open_resultset_count. Еще обратите внимание, если будете воспроизводить это у себя, что в запросе нужно поменять условие where

where s.program_name = '.Net SqlClient Data Provider'

Изменение провайдера на Native привело к тому, что наше приложение теперь стало по-другому представляться SQL Server. На что еще нужно обратить внимание? MARS позволяет иметь несколько активных результатов на одном соединении, но это не значит, что эти результаты могут относиться к одному и тому же объекту команды. Именно поэтому мы спрятали SqlCommand cmd2 внутрь цикла:

for (int i = 0; i < 3; i++)

{

SqlCommand cmd2 = new SqlCommand("select * from SalesLT.Customer", cnn);

cmd2.ExecuteReader();

}

Если бы было вот так:

SqlCommand cmd2 = new SqlCommand("select * from SalesLT.Customer", cnn);

for (int i = 0; i < 3; i++)

{

cmd2.ExecuteReader();

}

было бы вот что:

Имейте это в виду, потому что народ часто на этом попадается. Достаточно сделать поиск на «There is already an open DataReader associated», чтобы увидеть, сколько народу жалуется по форумам. Типа как же так, а как же MARS? Но еще веселее почитать ответы «спецов». Гы. Поэтому еще раз: MARS – это возможность иметь несколько активных результатов на одном соединении, но не на одной команде.

Как я уже говорил, с практической точки зрения MARS нужен, чтобы не плодить соединения, когда на клиенте или на middleware требуется провести совместную обработку нескольких рекордсетов. Например, вот такой извращенный вариант джойна ProductCategory c Products.

static void Main(string[] args)

{

SqlConnection cnn = new SqlConnection("Server=(local);Database=AdventureWorksLT;" +

"Integrated Security=true;MultipleActiveResultSets=true");

cnn.Open();

SqlCommand cmd1 = new SqlCommand("select * from SalesLT.ProductCategory", cnn);

SqlDataReader sdr1 = cmd1.ExecuteReader();

while (sdr1.Read())

{

SqlCommand cmd2 = new SqlCommand("select * from SalesLT.Product " + "where ProductCategoryID = @ProductCategoryID", cnn);

cmd2.Parameters.AddWithValue("@ProductCategoryID", sdr1["ProductCategoryID"]);

SqlDataReader sdr2 = cmd2.ExecuteReader();

while (sdr2.Read()) Console.WriteLine("{0} <- {1}", sdr1["Name"], sdr2["Name"]);

}

Console.WriteLine("\nPress any key to continue or any other key to stop...");

Console.ReadKey(true);

cnn.Close();

}

MARS доступен для нативного клиента SQL Server 2005 и поддерживается во всех редакциях, включая Express. Про его наличие в других провайдерах мне неизвестно.

В этой жизни ничего не дается даром, и применение MARS может повлечь свои негативные моменты. Информация к размышлению. В ту пору, когда SQL Server 2005 звался еще Юкон, MARS был включен по умолчанию, т.е. вот эта опция MultipleActiveResultSets=true подразумевалась автоматически. Где-то на промежутке между второй бетой и RC мужики подумали и решили ее по умолчанию загасить нафиг от греха. Как говорил известный системный аналитик Винни-Пух, «Это ж-ж-ж неспроста». Но об этом в следующий раз.

Для нативного клиента SQL Server 2008 MARS, само собой, тоже доступен. Просто этот пост давно писался.

Практический опыт миграции с MySQL на SQL Express. Подготовка инсталляции в варианте SQL Express.

alexejs — Fri, 10 Jul 2009 05:15:00 GMT

Миграция 1С-БИТРИКС с MySQL на SQL Server Express

Алексей Шуленин, Microsoft; Денис Шаромов, Битрикс

Продолжение. Начало - см. http://blogs.msdn.com/alexejs/archive/2009/07/07/mysql-sql-express.aspx; http://blogs.msdn.com/alexejs/archive/2009/07/07/mysql-sql-express-mysql.aspx; http://blogs.msdn.com/alexejs/archive/2009/07/10/mysql-sql-express-sql-express.aspx.

6. Установка 1С-Битрикс в варианте SQL Express

После того, как п. 5 завершен, можно ставить «1С-Битрикс: Управление сайтом» на SQL Express. Инсталляцию на MySQL при этом убирать не нужно, т.к. база данных MySQL содержит текущий контент сайта, который требуется перенести в SQL Express. Зайдите в папку, куда был установлен в п.4 Bitrix Environment (по умолчанию, C:\Program Files\Bitrix Environment) и переименуйте подпапку www во что хотите. Например, www1 или www.old или и т.д. Запустите снова установку «1С-Битрикс: Управление сайтом», как в п.4. На экране, где будет предлагаться установка Bitrix Environment (Apache, PHP, MySQL, ...), необходимо отжать галку напротив Download and install..., что означает, что эти приложения ставиться не будут.

Рис. 6.1

Будет выведен подтверждающий диалог. Подчеркиваем решимость наших намерений, нажав кнопку Yes.

Рис. 6.2

Выбираем папку, в которую будут развернуты серверные скрипты. Поскольку папку сайта от предыдущей инсталляции мы переименовали, можно согласиться с предложением по умолчанию.

Рис. 6.3

Далее повторяются описанные в п.4 шаги вплоть до завершения работы мастера установки сайта

Рис. 6.4

После этого из Start -> Programs запускается пункт Bitrix Environment\Bitrix Environment 1.1 (C:\Program Files\Bitrix Environment\BitrixEnv.exe), в котором будет произведено конфигурирование БД конента сайта.

Рис. 6.5

Жмем кнопку "Далее", принимаем лицензионное соглашение и попадаем на этап 3.

Рис. 6.6

Выбираем, естественно, Microsoft SQL Server и жмем "Далее". Убеждаемся, что на этапе 4 все проверки выполнились успешно и строчек, выделенных красным, нет. Жмем далее.

Рис. 6.7

Теперь нам потребуется создать для Битрикса базу данных на SQL Express. Делается это просто. Откройте стартовое меню -> All Programs, запустите из группы программ Microsoft SQL Server 2008 программу SQL Server Management Studio. Предполагается, что на рис.5.7 был создан не Default, а Named Instance по имени SQLExpress. Соединитесь с инстансом SQL Express:

Рис. 6.8

Кликните правой кнопкой по папке Databases в Оbject Explorere и выберите пункт New Database).

Рис. 6.9

В диалоге создания базы введите ее имя, оставив все остальное так, как оно предлагается по умолчанию. Я назвал базу Bitrix. Нажмите внизу ОК.

Рис. 6.10

На следующем экране установки Битрикс требуется прописать соединение со свежесозданной в SQL Express базой данных. Несмотря на "например" мне не удалось в параметрах базы скормить ему DSNless строку соединения по типу http://support.microsoft.com/kb/194641, поэтому открываем Control Panel -> Administrative Tools -> Data Sources (ODBC) и создаем новый источник данных. Встаем на закладку System DSN и нажимем справа кнопку Add. Из списка драйверов выбираем SQL Server Native Client 10.0 как наиболее свежий:

Рис. 6.11

Вводим название источника и имя сервера, к которому устанавливать соединение. Имя сервера, как мы помним, состоит из имени машины \ имени экземпляра, которое вы выдали SQL Server при установке. Если SQL Server ставился как экземпляр по умолчанию, достаточно просто имени машины. Еще в имени можно указать порт, если SQL Browser Service выключен, а порт используется нестандартный, но мы же не используем нестандартный порт.

Рис. 6.12

Нажимаем кнопку Next. На следующем экране оставляем все как есть и нажимаем кнопку Next:

Рис. 6.13

и на всех последующих тоже, пока не доходим до конца, где нажимаем кнопку Finish.

Рис. 6.14

Соединение создано. Еще Битриксу для установки понадобится логин и пароль администратора SQL Server. Привычным путем, как при создании базы, идем в SQL Server Management Studio. Слева в Object Explorer раскройте папку Security \ Logins, выбираем логин sa

Рис. 6.15

и даблкликаем по нему. В открывшемся окне введите ему какой хотите пароль и повторите.

Рис. 6.16

Нажмите ОК. Если вы не видите логина sa, кликните правой кнопкой по серверу в верхней строчке Object Explorer (см. Рис. 6.13) и выберите в контекстном меню пункт Properties. Встаньте слева на раздел Security и отметьте справа SQL Server и Windows Authentication mode.

Рис. 6.17

Логин sa появится. Зная его пароль, возвращаемся в процесс установки Битрикс. В DSN вводим название созданного на Рис. 6.9 источника ODBC. В поле "База данных" говорим, что она у нас уже есть, а в поле "Имя базы данных" нужно прописать имя созданной на Рис. 6.10 базы. Еще ей в этой базе требуется создать своего пользователя. Пусть создает сама. Вводим его имя и пароль и говорим, что это будет новый пользователь. Для создания пользователя ей нужно указать логин и пароль администратора, поскольку интегрированную с Windows аутентификацию она не понимает. Указываем пароль sa c Рис. 6.16.

Рис. 6.18

Жмем кнопку "Далее". Происходит процесс наполнения базы данных и установки скриптов.

Рис. 6.19

по завершении которого предлагается выбрать дизайн сайта и пр., как показывалось при установке в варианте MySQL.

Практический опыт миграции с MySQL на SQL Express. Установка SQL Express.

alexejs — Fri, 10 Jul 2009 04:42:00 GMT

Миграция 1С-БИТРИКС с MySQL на SQL Server Express

Алексей Шуленин, Microsoft; Денис Шаромов, Битрикс

Продолжение. Начало - см. http://blogs.msdn.com/alexejs/archive/2009/07/07/mysql-sql-express.aspx; http://blogs.msdn.com/alexejs/archive/2009/07/07/mysql-sql-express-mysql.aspx.

5. Установка SQL Express

По желанию клиента, данные его сайта должны находиться под управлением SQL Express вместо MySQL. Для этого он должен вначале произвести рядом такую же установку «1С-Битрикс: Управление сайтом», но с использованием SQL Express. В отличие от MySQL SQL Express не входит в установку окружения «1С-Битрикс: Управление сайтом». Его необходимо скачать и установить самостоятельно. Брать при этом, естественно, лучше наиболее свежую версию. Скачивание производится по адресу http://www.microsoft.com/rus/express/sql/download. Эта же страница на английском - http://www.microsoft.com/express/sql/download/.

SQL Express доступен в трех комплектациях:

1. SQL Server 2008 Express (Runtime Only)

2. SQL Server 2008 Express with Tools

Это п.1 + Management Studio (графическая утилита для разработки и администрирования).

3. SQL Server 2008 Express with Advanced Services

Это п.2 + полнотекстовый поиск и службы отчетности.

Мы рекомендуем брать п.2 или 3; пунктом 1 обычно пользуются независимые производители программного обеспечения, чтобы распространять его в составе своего приложения. Если вы планируете в дальнейшем прибегнуть к возможности полнотекстового поиска или разработке отчетов, выбирайте п.3, если вам достаточно графической утилиты для разработки и администрирования, остановитесь на п.2. В данном документе установка SQL Express иллюстрируется в варианте п.3. Дистрибутив SQL Express распространяется в виде пакета Windows Installer. После того, как вы его скачали, запустите этот пакет. Он автоматически разархивируется и приступит к установке.

Рис. 5.1

В начале установки происходит проверка характеристик аппаратной платформы и установленного ПО на предмет совместимости с SQL Express:

Рис. 5.2

Если обнаружено несовместимое ПО или, наоборот, какого-то ПО не хватает в качестве пререквизита, программа установки выдаст об этом предупреждение с предложением исправить ситуацию.

Рис. 5.3

По окончании проверки, если характеристики соблюдены, сетап переходит к установке.

Рис. 5.4

Вначале устанавливаются вспомогательные файлы для процесса установки

Рис. 5.5

и в обычном формате Windows Installer будет предложено отметить устанавливаемые опции:

Рис. 5.6

Исполнительный механизм SQL Express, обслуживающий базы данных и выполняющий запросы, оформлен как сервис операционной системы. На одну машину можно поставить до 16-ти экземпляров SQL Express, т.е. это будет 16 независимых сервисов, каждый из которых ведает своими базами данных. Каждый экземпляр должен иметь свое уникальное имя. Если на машине не установлено SQL Server'ов, экземпляр можно ставить по умолчанию. Тогда его имя будет совпадать с именем машины. Последующие экземпляры надо будет именовать. К именованному экземпляру обращаются как <имя машины>\<имя экземпляра>.

Рис. 5.7

Размер одной БД в SQL Express ограничен 4 гигабайтами. SQL Express понимает только 1 процессор (под процессором понимается исполнительная сущность, например, ядро) и умеет работать не более, чем с 1 гигабайтом памяти. О других его ограничениях можно прочитать здесь - http://msdn.microsoft.com/en-us/library/ms345154.aspx#sseover_topic4. На приведенном ниже экране производится выбор юникодовской коллации, применяемой по умолчанию.

Рис. 5.8

На приведенном ниже экране выполняется настройка атрибута filestream. Этот атрибут применяется к большим бинарным объектам и означает, что физически они будут храниться не в БД, а в файловой системе. Колонки таблиц filestream не попадают под действие упомянутого выше ограничения на размер БД в 4 гигабайта, их размер ограничен только размерами тома файловой системы.

Рис. 5.9

Нижеприведенный экран появляется в том случае, если происходит установка SQL Express в комплектации №3. На нем предлагается задать, будут ли службы отчетности установлены в режиме интеграции с Sharepoint. Поскольку вы ставите «1С-Битрикс: Управление сайтом», про Sharepoint вам, скорее всего, ничего не известно, поэтому оставьте на этом экране все как есть.

Рис. 5.10

После этого мастер установки обладает всей необходимой информацией, чтобы поставить SQL Express и начинает процесс установки SQL Express,

Рис. 5.11

который занимает минут пять.

Рис. 5.12

По его завершении обратитесь к службе Windows Update,

Рис. 5.13

чтобы проверить, какие последние обновления доступны для SQL Server 2008 Express. Например,

Рис. 5.14

Следует отметить желательные обновления и нажать кнопку Install.

Рис. 5.15

После установки обновлений

Рис. 5.16

Microsoft SQL Server 2008 Express готов к работе.

Компрессирование резервных копий в 2008-м

alexejs — Tue, 07 Jul 2009 09:28:00 GMT

Ранее этот пост находился на форуме сообщества Russian SQL Server User Group по адресу http://sqlclub.ru/forum/viewtopic.php?f=6&t=1107, что позволяло во время демонстрации ссылаться на скрипт, чтобы слушатели могли не только посмотреть, но и впоследствии самостоятельно воспроизвести демку для закрепления материала. К сожалению, безответственный администратор по имени Сергей Заворуев положил сайт sqlclub.ru и ударился в бега, став недоступным ни по e-mail, ни по телефону, чем немало подставил сообщество. Хотелось бы предостеречь будущих возможных деловых партнеров Сергея Заворуева (http://1stat.ru/?show=whois&person=Sergey V Zavoruev), разработка, продвижение и сопровождение сайтов, сетевые работы любой сложности, о риске, который они на себя берут, затевая с ним совместные проекты. Может внезапно кидануть и смыться.

----------------------------------------------------------------------------------------------------------------------

Компрессирование резервных копий в 2008

alexejs Вс апр 06, 2008 00:25

Означает то, что написано. Данные при архивировании сжимаются.
Это обычный бэкап:

backup database AdventureWorks to disk = 'C:\Program Files\Microsoft SQL Server\100\Tools\Samples\AdventureWorks1.bak'
with init, stats

Это со сжатием:

backup database AdventureWorks to disk = 'C:\Program Files\Microsoft SQL Server\100\Tools\Samples\AdventureWorks2.bak'
with init, stats, compression

Разница невооруженным глазом представлена на рис.1
Статистика:

select media_set_id, software_build_version, compatibility_level, recovery_model,
datediff(ss, backup_start_date, backup_finish_date) as [Длительность в сек],
backup_size / 1024 as [размер бэкапа в КБ],
compressed_backup_size / 1024 as [размер на диске в КБ],
backup_size / compressed_backup_size as [к-т компрессии]
from msdb..backupset where backup_set_id > 1

media_set_id software_build_version compatibility_level recovery_model Длительность в сек размер бэкапа в КБ размер на диске в КБ к-т компрессии
2 1300 100 SIMPLE 1 6221 6221 1
2 1300 100 SIMPLE 1 6220 6220 1
3 3054 90 FULL 1 4182 4182 1
4 1300 100 SIMPLE 45 176209 176209 1
5 1300 100 SIMPLE 12 176209 40656.98 4.334041

Незначительно вырастает CPU
Более точные замеры – PerfMon, счетчики SQLServer : Backup Device \ Device Throughput Bytes/sec, SQLServer : Databases \ Backup/Restore Throughput/sec, а также Physical Discовые счетчики Windows.
Компрессия по умолчанию:

sp_configure 'backup compression default'

= 0
Если поставить 1, будет компрессировать
Перебить поведение по умолчанию - WITH NO_COMPRESSION.

Факторы, влияющие на к-т компрессии.
The type of data
Character data compresses more that other types of data.
The consistency of the data among rows on a page
Typically, if a page contains several rows in which a field contains the same value, significant compression might occur for that value. In contrast, for a database that contains random data or that contains only one large row per page, a compressed backup would be almost as large as an uncompressed backup.
Whether the data is encrypted
Encrypted data compresses significantly less than equivalent unencrypted data.
Whether the database is compressed
If the database is compressed, compressing backups might not reduce their size by much, if at all.

Вложения

undefined

рис.1

alexejs Сб ноя 22, 2008 10:07

В Нижнем на TechDays прозвучал очень хороший вопрос: сжатие резервных копий доступно только в Enterprise Edition, правильно? Что будет, если сжатую в ней копию попытаться отресторить на какой-нибудь редакции?

Очевидно, не поднимется, ответил я неуверенно, а в перерыве решил проверить. Я взял полученный выше AdventureWorks2.bak, отнес его на виртуалку с SQL Express, в SSMS сказал Databases -> Restore Database, From Device = AdventureWorks2.bak, в опциях подправил путя, поставил галку Overwrite и нажал ОК в полной уверенности получить отсыл. Отсыла не произошло. Напротив, SQL Express радостно зашуршал, слева внизу в Progress появились циферки 20%, 40%, ..., 100% и база восстановилась. Я зашел в нее, посмотрел, что вроде все читается.

Может, бэкап был нескомпрессированный, подумал я и еще раз повторил всю цепочку, начиная от backup ... with compression на Enterprise и заканчивая рестором на Express. Удивительно, но все работает. Может, SQL Express умеет не только разжимать резервные копии, но и сжимать, подумал я, и сказал backup ... with compression на Express. Фиг, сказал Express. Мораль: сжатие резервных копий действительно доступно только в Enterprise Edition, однако сжатые таким образом резервные копии могут быть восстановлены на других редакциях, включая SQL Express.

Префиксно-словарное и var-сжатие

alexejs — Tue, 07 Jul 2009 08:59:00 GMT

Ранее этот пост находился на форуме сообщества Russian SQL Server User Group по адресу http://sqlclub.ru/forum/viewtopic.php?f=6&t=1064, что позволяло во время демонстрации ссылаться на скрипт, чтобы слушатели могли не только посмотреть, но и впоследствии самостоятельно воспроизвести демку для закрепления материала. К сожалению, безответственный администратор по имени Сергей Заворуев положил сайт sqlclub.ru и ударился в бега, став недоступным ни по e-mail, ни по телефону, чем немало подставил сообщество. Хотелось бы предостеречь будущих возможных деловых партнеров Сергея Заворуева (http://1stat.ru/?show=whois&person=Sergey V Zavoruev), разработка, продвижение и сопровождение сайтов, сетевые работы любой сложности, о риске, который они на себя берут, затевая с ним совместные проекты. Может внезапно кидануть и смыться.

----------------------------------------------------------------------------------------------------------------------

/* Компрессия страниц и записей в SQL Server 2008. Эта дема будет показываться на лонче 18.03.2008 */

--Компрессия может использоваться для таблиц и индексов. Что такое компрессия

--для страниц и записей, рассказывается на слайдах.

--При партиционировании компрессию можно применять к каждой партиции в отдельности.

--Создаем БД о трех файл-группах.

use tempdb

if exists (select 1 from sys.databases where name = 'TestCompression') begin

alter database TestCompression set single_user with rollback immediate

drop database TestCompression

end

create database TestCompression

on primary

(name = TestCompression,

filename = 'C:\Temp\TestCompression.mdf'),

filegroup TestCompression_FG1

(name = TestCompression1,

filename = 'C:\Temp\TestCompression_FG1_File1.mdf'),

filegroup TestCompression_FG2

(name = TestCompression2,

filename = 'C:\Temp\TestCompression_FG2_File1.mdf')

use TestCompression

--Создаем функцию и схему для автоматического разложения по партициям

create partition function myRangePF (int)

as range left for values (0, 1, 2);

--left означает, что междиапазонная граница относится к левому диапазону:

--(-бесконечность, 0], (0, 1], (1, 2], (2, +бесконечность)

create partition scheme myRangePS

as partition myRangePF

to ([primary], TestCompression_FG1, TestCompression_FG2, [primary]);

--сделали привязку интервалов к файл-группам

--Создаем таблицу для экспериментов

create table Customers(

CustomerKey int,

Title nvarchar(10),

FirstName nvarchar(50),

LastName nvarchar(50),

Gender nvarchar(1),

YearlyIncome money,

TotalChildren tinyint,

Education nvarchar(40),

Occupation nvarchar(100),

AddressLine nvarchar(255),

Phone nvarchar(20),

PartitionID int

)

on MyRangePS(PartitionID)

--Наполняем ее так, что по 1000 одинаковых записей попадает в primary, FG1, FG2

insert Customers

(CustomerKey, Title, FirstName, LastName, Gender, YearlyIncome, TotalChildren,

Education, Occupation, AddressLine, Phone, PartitionID)

select top 1000 CustomerKey, Title, FirstName, LastName, Gender, YearlyIncome, TotalChildren,

EnglishEducation, EnglishOccupation, AddressLine1 + AddressLine2, Phone, 0

from AdventureWorksDW.dbo.DimCustomer

insert Customers

(CustomerKey, Title, FirstName, LastName, Gender, YearlyIncome, TotalChildren,

Education, Occupation, AddressLine, Phone, PartitionID)

select top 1000 CustomerKey, Title, FirstName, LastName, Gender, YearlyIncome, TotalChildren,

EnglishEducation, EnglishOccupation, AddressLine1 + AddressLine2, Phone, 1

from AdventureWorksDW.dbo.DimCustomer

insert Customers

(CustomerKey, Title, FirstName, LastName, Gender, YearlyIncome, TotalChildren,

Education, Occupation, AddressLine, Phone, PartitionID)

select top 1000 CustomerKey, Title, FirstName, LastName, Gender, YearlyIncome, TotalChildren,

EnglishEducation, EnglishOccupation, AddressLine1 + AddressLine2, Phone, 2

from AdventureWorksDW.dbo.DimCustomer

--Вот информация по партициям, сколько в каждой записей с какими диапазонами

select $partition. myRangePF(PartitionID) as PartNo, min(PartitionID), max(PartitionID), count(*)

from Customers group by $partition. myRangePF(PartitionID) order by PartNo

--Вот сколько места они занимают

select au.data_space_id, p.partition_number, au.total_pages, au.used_pages, au.data_pages, p.rows, p.data_compression_desc, ds.name

from sys.allocation_units au join sys.partitions p on au.container_id = p.partition_id

join sys.data_spaces ds on au.data_space_id = ds.data_space_id

where p.object_id = object_id('Customers')

--Крайние левая и правая партиции отображены на файл-группу primary.

--В левой лежит 1000 строк с PartitionID = 0, в правой, понятно, ничего нет

--В двух средних лежат по 1000 строк с признаком PartitionID = 1 и 2 соответственно.

--Оценка потенциального выигрыша в месте от компрессии

--Для таблицы в целом

exec sp_estimate_data_compression_savings @schema_name = 'dbo', @object_name = 'Customers',

@index_id = null, @partition_number = null, @data_compression = 'page'

--По партициям и методам сжатия

exec sp_estimate_data_compression_savings @schema_name = 'dbo', @object_name = 'Customers',

@index_id = null, @partition_number = 2, @data_compression = 'page'

exec sp_estimate_data_compression_savings @schema_name = 'dbo', @object_name = 'Customers',

@index_id = null, @partition_number = 3, @data_compression = 'row'

--Сжимаем

alter table Customers rebuild partition = 2 with (data_compression = page)

alter table Customers rebuild partition = 3 with (data_compression = row)

--Вот сколько места они занимают теперь

select au.data_space_id, p.partition_number, au.total_pages, au.used_pages, au.data_pages, p.rows, p.data_compression_desc, ds.name

from sys.allocation_units au join sys.partitions p on au.container_id = p.partition_id

join sys.data_spaces ds on au.data_space_id = ds.data_space_id

where p.object_id = object_id('Customers')

--Расжатие

alter table Customers rebuild partition = 3 with (data_compression = none)

----------------------------------------------------------------------------------------------------------------------

Йа нопесал оч.хор.хр.пр., кот. сжимает/разжимает все пользовательские таблицы внутри БД вместе с их индексами. Возьмем какую-нибудь базу данных и посмотрим, как там чего разлеглось.

select o.name, au.total_pages, au.used_pages, au.data_pages, p.rows, p.data_compression_desc, p.partition_number, au.data_space_id, ds.name

from sys.allocation_units au join sys.partitions p on au.container_id = p.partition_id

join sys.data_spaces ds on au.data_space_id = ds.data_space_id

join sys.objects o on p.object_id = o.object_id

where o.is_ms_shipped = 0

Скрипт 1

Можно видеть, что она состоит из двух несжатых таблиц по столько-то записей каждая, занимающих столько-то страниц. Можно умножить на 8К и получить размер на диске.

name	total_pages	used_pages	data_pages	rows	data_compression_desc	partition_number	data_space_id	name
WebStat_Jan09	10418	10411	10410	262077	NONE	1	1	PRIMARY
WebStat_Mar09	22146	22141	22140	1002422	NONE	1	1	PRIMARY

Табл.1

Данная процедура их сжимает:

if exists(select 1 from sys.procedures where name = ' СжатьРазжатьВсюБазу' and schema_id = schema_id()) drop proc СжатьРазжатьВсюБазу

create proc СжатьРазжатьВсюБазу @dbname sysname = null, @compress bit = 1 as

begin

declare @precmd nvarchar(1000), @postcmd nvarchar(1000)

if @dbname is not null select @precmd = 'use ' + @dbname, @postcmd = 'use ' + db_name()

declare @compression varchar(4) = case @compress when 1 then 'page' else 'none' end

declare @cmd1 nvarchar(1000) = 'alter table ? rebuild partition = all with (data_compression = ' + @compression + ')'

declare @cmd2 nvarchar(1000) = 'alter index all on ? rebuild partition = all with (data_compression = ' + @compression + ')'

exec sp_MSforeachtable @command1 = @cmd1, @command2 = @cmd2, @replacechar = '?', @precommand = @precmd, @postcommand = @postcmd

end

Скрипт 2

Замечание: процедура sp_MSforeachtable перебирает только пользовательские таблицы, не обращая внимание на служебные, что в данном случае совпадает с желаниями рабочего подростка, поск. избавляет от необходимости фильтровать наподобие where o.is_ms_shipped = 0 в Скрипте 1.

Пример вызова.

use pubs

exec WebStat.. СжатьРазжатьВсюБазу @dbname = 'Webstat', @compress = 1

use WebStat

Смотрим результат. Повторяем запрос Скрипт 1:

name	total_pages	used_pages	data_pages	rows	data_compression_desc	partition_number	data_space_id	name
WebStat_Jan09	4434	4432	4431	262077	PAGE	1	1	PRIMARY
WebStat_Mar09	4970	4964	4963	1002422	PAGE	1	1	PRIMARY

Табл.2

Видим, что все сжалось. Прикидки по длительности процесса делайте сами, т.к. это сильно зависит от конкретного железа и распределения данных. Данный детский пример на вистовой виртуалке на ноутбуке длился 42 сек. Т.е. грубо 40 сек. на 30 тыс.страниц.

В процедуре СжатьРазжатьВсюБазу захардкодена page-компрессия, т.к. в большинстве задач, с которыми я сталкивался, она оказывалась предпочтительнее. Если есть желание использовать также row-компрессию, перепишите параметр @compress. Можете сделать его не булевым, а строковым и передавать в него тип компрессии (page, row, none) напрямую.

Transparent Data Encryption

alexejs — Tue, 07 Jul 2009 08:07:00 GMT

Ранее этот пост находился на форуме сообщества Russian SQL Server User Group по адресу http://sqlclub.ru/forum/viewtopic.php?f=6&t=1106, что позволяло во время демонстрации ссылаться на скрипт, чтобы слушатели могли не только посмотреть, но и впоследствии самостоятельно воспроизвести демку для закрепления материала. К сожалению, безответственный администратор по имени Сергей Заворуев положил сайт sqlclub.ru и ударился в бега, став недоступным ни по e-mail, ни по телефону, чем немало подставил сообщество. Хотелось бы предостеречь будущих возможных деловых партнеров Сергея Заворуева (http://1stat.ru/?show=whois&person=Sergey V Zavoruev), разработка, продвижение и сопровождение сайтов, сетевые работы любой сложности, о риске, который они на себя берут, затевая с ним совместные проекты. Может внезапно кидануть и смыться.

---------------------------------------------------------------------------------------------------------------------

Пусть имеем БД с очень чувствительной информацией. Назовем ее TDE_Test:

use tempdb

if exists(select 1 from sys.databases where name = 'TDE_Test') begin
alter database TDE_Test set SINGLE_USER with rollback immediate
drop database TDE_Test
end

go
create database TDE_Test
go
use TDE_Test
go
create table Transactions (
id int identity primary key
, customer varchar(20)
, amount int
, tx_date datetime2
)
go
insert Transactions (customer, amount, tx_date) values
('Leshik', 0x12345, '2008-04-07')
, ('Roma', 200000, '2008-04-07')
, ('Leshik', -5000, '2008-04-08')
, ('Gaidar', -1000000, '2008-04-08')

select * from Transactions

И пусть mdf стырил некий крот и загнал на Горбухе.

use tempdb

exec sp_detach_db @dbname= 'TDE_Test', @skipchecks= 'true'

--exec sp_configure 'show advanced', 1

--reconfigure with override

--exec sp_configure 'xp_cmdshell', 1

--reconfigure with override

exec xp_cmdshell 'copy "C:\Program Files\Microsoft SQL Server\MSSQL10.MSSQLSERVER\MSSQL\DATA\TDE_Test.mdf" c:\Demo\TDE_Test.mdf'

exec sp_attach_single_file_db @dbname = 'TDE_Test', @physname = 'C:\Program Files\Microsoft SQL Server\MSSQL10.MSSQLSERVER\MSSQL\DATA\TDE_Test.mdf'

use TDE_Test

Теперь любой любопытный покупатель открывает его любым двоичным редактором:

Я специально поставил супротив себе сумму 0x12345, чтобы было легче ее найти.

Ну и все. Вот он, допустим, я, а чуть раньше – сумма моей проводки. И все остальные тоже, как на ладони. К тому же если человек не хочет париться с бинарщиной, он может просто поставить себе SQL Server, приаттачить к нему mdf и читать все с комфортом из базы.

-----------------------------------------------------------------------------------------------------------------------------------------

В 2000-м от этого можно было спасаться, положив файлы БД на EFSный том. В SQL Server 2005 появились внутренние средства борьбы под названием раздельное шифрование записей

alter table Transactions add [Зашифрованная сумма] varbinary(100)

create symmetric key MyKey /* authorization [.\Administrator] */
with algorithm = TRIPLE_DES encryption by password = 'Abra Cadabra'

open symmetric key MyKey decryption by password = 'Abra Cadabra'

update Transactions set
[Зашифрованная сумма] = EncryptByKey(Key_GUID('MyKey'), cast(Amount as varbinary(100)), 1, cast(id as binary(4))),
Amount = NULL
--3-й п-р явл-ся опциональным и означает "использовать аутентификатор".
--Т.н. аутентификатор предназначен для предотвр-я манипуляций с зашифрованными данными.
--Напр., взять сумму из одной проводки и, как есть, в зашифр. виде переставить в другую.
--Во избежание такого рода атак хэш аутентификатора (контекстной к записи информации,
--как правило, РК) шифруется вместе с суммой. При расшифровке также подставляется
--аутентификатор, и если он не совпадет с оригинальным, будет ошибка.

--Теперь в зашифрованной сумме стоит полная белиберда
select * from Transactions

--Чтобы ее прочитать в осмысленном виде, требуется ключ MyKey, причем как текущему пользователю, так и кому-либо еще

if exists(select 1 from sys.server_principals where name = 'Usr') drop login Usr
create login Usr with password = 'Pwd', default_database = TDE_Test
create user Usr from login Usr
exec sp_addrolemember @rolename = 'db_datareader', @membername = 'Usr'

close all symmetric keys
--Выдаем юзеру Usr права на открытие / закрытие ключа MyKey
grant references on symmetric key::MyKey to Usr

execute as user = 'Usr'

select SUSER_SNAME()

open symmetric key MyKey decryption by password = 'Abra Cadabra'
select *,
cast(DecryptByKey([Зашифрованная сумма], 1, cast(id as binary(4))) as money) as [Расшифрованная сумма]
from Transactions
close all symmetric keys

revert

-----------------------------------------------------------------------------------------------------------------------------------------

SQL Server 2008 идет в этом плане дальше, позволяя обеспечить прозрачное шифрование не отдельных записей, а файлов БД целиком. Страницы шифруются на лету перед записью на диск и расшифровываются перед чтением в память.
Все, что для этого требуется сделать – ALTER DATABASE TDE_Test SET ENCRYPTION ON

--Ключ уровня базы, по определению, может быть защищен только серверным сертификатом.
--Нельзя, напр., написать так:
CREATE DATABASE ENCRYPTION KEY WITH ALGORITHM = AES_128 ENCRYPTION BY password = 'Abra Cadabra'

-----------------------------------------------------------------------------------------------------------------------------------------

--Поэтому вначале придется создать серверный сертификат:
use master

--Но еще вначале нужно создать мастер-ключ:
create master key encryption by password = 'Abra Cadabra'
--потому что без него попытка создания сертификата даст ошибку
--Please create a master key in the database or open the master key in the session before performing this operation.

CREATE CERTIFICATE MySrvCrt WITH SUBJECT = 'Мой серверный сертификат'

use TDE_Test
CREATE DATABASE ENCRYPTION KEY WITH ALGORITHM = AES_128 ENCRYPTION BY server certificate MySrvCrt

ALTER DATABASE TDE_Test SET ENCRYPTION ON
--Включено шифрование страниц на лету.

При этом log также шифруется. Кроме того, если мы посмотрим

SELECT DB_NAME(database_id), create_date, set_date, opened_date, key_algorithm, key_length
FROM sys.dm_database_encryption_keys
WHERE encryption_state = 3

(Encryption_state:
0 = No database encryption key present, no encryption
1 = Unencrypted
2 = Encryption in progress
3 = Encrypted
4 = Key change in progress
5 = Decryption in progress)

(No column name) create_date set_date opened_date key_algorithm key_length
tempdb 2008-04-05 19:19:02.313 NULL 2008-04-05 19:19:02.313 AES 256
TDE_Test 2008-04-05 19:18:19.427 2008-04-05 19:19:02.313 2008-04-05 19:18:19.427 AES 128

то увидим, что включение прозрачной шифрации пользовательской базы включило автоматическую шифрацию tempdb. Что справедливо, т.к. в tempdb могут находиться куски данных пользовательских баз, когда, напр., SQL Server создает в ней промежуточные таблицы во время выполнения сложного запроса. С другой – это означает доп. нагрузку на tempdb. Зато теперь злоумышленник, сперев файл данных, не увидит внутри него никакой осмысленной информации, т.к. данные зашифрованы.

-----------------------------------------------------------------------------------------------------------------------------------------

Поскольку я являюсь активным участником Russian SQL Server User Group и регулярно посещаю наши мероприятия, я узнаю различные дополнительные вещи, которые не лежат на поверхности в BOL, но которые очень полезно бывает знать, чтобы не получить ненароком по лбу рукояткой граблей. Так, благодаря Яну и Николаю я должен обратить внимание для полноты картины, что включение прозрачного шифрования над базой означает шифрование лога и tempdb, однако не означает, что исторические данные в них также будут зашифрованы. В логе и tempdb шифроваться будет все, но с того момента, как мы включили шифрование над базой. Следовательно, если мы сейчас пойдем в лог, то увидим нашу секретную транзакцию

insert Transactions (customer, amount, tx_date) values

('Leshik', 0x12345, '2008-04-07')

, ('Roma', 200000, '2008-04-07')

, ('Leshik', -5000, '2008-04-08')

, ('Gaidar', -1000000, '2008-04-08')

в открытом виде. Имейте это, пожалуйста, в виду, потому что это существенно. Понятно, как с этим бороться. Коммитим все транзакции и делаем бэкап, чтобы очистить неактивную часть лога, а чтобы гарантировать, что не осталось критичных незашифрованных кусков в tempdb, рецепт тоже на поверхности - перезапустить сервер. Конечно, многие могут издать недовольный вопль, что сервер в продакшн и перезапустить его это не нос почесать, однако если вы решились на такой серьезный шаг, как шифрование базы в середине, видимо, оно того стоит. Об этом можно почитать более подробно в блоге Яна , также очень полезно будет почитать его статью с оценкой накладных расходов, которые влечет включение процесса шифрования.

Практический опыт миграции с MySQL на SQL Express. Подготовка инсталляции в варианте MySQL.

alexejs — Tue, 07 Jul 2009 04:29:00 GMT

Миграция 1С-БИТРИКС с MySQL на SQL Server Express

Алексей Шуленин, Microsoft; Денис Шаромов, Битрикс

Продолжение. Начало - см. http://blogs.msdn.com/alexejs/archive/2009/07/07/mysql-sql-express.aspx

4. Установка 1С-Битрикс в варианте MySQL

Согласно постановке задачи первоначально клиент имеет «1С-Битрикс: Управление сайтом» в варианте MySQL. Была выбрана редакция - «Большой бизнес» (http://www.1c-bitrix.ru/download/cms.php) как имеющая наиболее сложную и полную структуру базы. На виртуальную машину была установлена полнофункциональная ознакомительная версия продукта сроком на 30 дней (http://www.1c-bitrix.ru/download/big_business_encode_php5.exe).

Этот файл необходимо скачать и запустить:

Рис. 4.1

При установке был выбран пункт установки Bitrix Environment, который устанавливает продукт в конфигурации Apache + PHP + MySQL.

Рис. 4.2

Рис. 4.3

Компьютер при этом должен иметь Интернет-соединение.

Рис. 4.4

Рис. 4.5

Рис. 4.6

Рис. 4.7

Рис. 4.8

Рис. 4.9

После установки окружения (Apache 2.2.8, PHP 5.2.6, Zend Optimizer v.3.3.0, MySQL 5.0.51, eAccelerator 0.9.5) происходит, собственно, установка Битрикс:

Рис. 4.10

Рис. 4.11

Рис. 4.12

По окончании инсталляции при запуске Bitrix Site Manager происходит доустановка модулей, наполнение базы и окончательная конфигурация сайта

Рис. 4.13

Рис. 4.14

Рис. 4.15

Рис. 4.16

Рис. 4.17

Рис. 4.18

Рис. 4.19

Рис. 4.20

после чего сайт становится готов к работе.

Рис. 4.21

При этом в стартовом образуется группа программ под названием Bitrix Environment. Bitrix Environment можно также запустить, нажав значок в панели задач.

Рис. 4.22

В папке C:\Program Files\Bitrix Environment, указанной при установке (см. Рис. 4.6), находятся Apache, PHP, MySQL, а также сам созданный сайт (подпапка www).

Рис. 4.23

В папке C:\Program Files\Bitrix Environment, указанной при установке (см. Рис. 4.6), находятся Apache, PHP, MySQL, а также сам созданный сайт (подпапка www). MySQL может быть стартован непосредственно с запуском окружения Битрикс, либо отдельно из командной строки:

"C:\Program Files\Bitrix Environment\mysql\bin\mysqld-opt.exe" --port=31006

Скрипт 4.1

Обратите внимание, что в окружении Битрикс MySQL работает на нестандартном порту (31006). После запуска MySQL к нему можно подключиться из другого командного окна или с помощью графических инструментов MySQL и ознакомиться с установленными базами.

"C:\Program Files\Bitrix Environment\mysql\bin\mysql.exe" --host=localhost --port=31006 --user=root

Скрипт 4.2

Рис. 4.24

Информация по сайту хранится в MySQL в базе данных bsm_demo.

Практический опыт миграции с MySQL на SQL Express. Постановка задачи.

alexejs — Tue, 07 Jul 2009 03:59:00 GMT

Миграция 1С-БИТРИКС с MySQL на SQL Server Express

Алексей Шуленин, Microsoft; Денис Шаромов, Битрикс

1. Постановка задачи

«1С-Битрикс» (http://www.1c-bitrix.ru/) - совместное предприятие, созданное фирмой «1С» и компанией «Битрикс» для развития веб-направления, разработки новых интернет-решений. Компания «Битрикс» производит разработку и сопровождение системы управления контентом (CMS) «1С-Битрикс: Управление сайтом» (http://www.1c-bitrix.ru/products/cms/), позволяющей управлять статическим и динамическим контентом сайта, осуществлять деятельность Интернет-магазина, вести форумы, дискусионные группы, создавать социальные сети, проводить анализ посещаемости сайта, эффективности рекламных компаний, использовать он-лайновый монитор и другие средства Веб-аналитики.

Для своей работы «1С-Битрикс: Управление сайтом» использует базу данных, в которой хранит контент и настройки сайта. В качестве СУБД используются свободно распространяемые MySQL (http://dev.mysql.com/downloads/mysql/5.0.html) или SQL Express (http://www.microsoft.com/rus/express/sql/default.aspx). В последнее время от клиентов, выбравших инсталляцию с MySQL, стали поступать вопросы о переходе на SQL Express. В связи с этим встала задача исследовать осуществимость и трудоемкость такого перехода и, по возможности, разработать процедуру автоматической миграции БД MySQL на SQL Express.

2. Выбор инструмента

По условиям задачи необходимо было избежать программных средств сторонних производителей. Все технологические компоненты, используемые в процессе миграции, должны были предоставляться к продуктам MySQL или SQL Express и быть также бесплатными. По этим причинам не рассматривались, например, Cherry City Software® MySQL OLE DB Provider или Microsoft Integration Services. Для обеспечения доступа к БД MySQL из внешних приложений были выбраны (http://dev.mysql.com/downloads/connector/) MySQL Connector/ODBC 5.1 и MySQL Connector/Net 6.0. Первый коннектор использовался при сравнении структур баз MySQL- и SQL Express-инсталляций, второй – непосредствено при переносе данных.

3. Замечания по процессу миграции

При миграции от нас не требовалось создавать структуры таблиц, индексы, представления, ограничения, триггеры на стороне SQL Express по образу того, как это было в MySQL. Как отмечалось выше, «1С-Битрикс: Управление сайтом» имеет отдельные инсталляции для MySQL и SQL Express, т.е. структура базы и там, и там создается самостоятельно в процессе установки продукта и изменению не подлежит. От нас требовалось провести их сравнение в случае MySQL и SQL Express, соотнести таблицы и колонки и скопировать данные из БД MySQL в SQL Express на основе выстроенной схемы отображения.

Для эмуляции действий клиента была создана виртуальная машина, имеющая следующие характеристики:

Рис. 3.1

работающая под управлением Hyper-V Manager, Version: 6.0.6001.18016.

Найти изображение наибольшей площади

alexejs — Sun, 28 Jun 2009 19:03:00 GMT

Развлекаюсь с игрушкой, которую изготовил в предыущем посте (Как переложить файловую папку в базу) и не могу нарадоваться (как известно, сам себя не похвалишь... J). Загрузил в базу фотоархив (покамест без содержания, только метаданные файлов):

select * into t from Dir('\\192.168.0.1\c$\My Documents\Photos\MS', 0)

Скрипт 1

Так находится самая здоровая картинка:

select top 1 fullName, size from t order by size desc

Скрипт 2

Ба, скажете вы, она и в эксплорере находится влет. В текущем фолдере – да. А если брать scope со вложенными подфолдерами? Я человек аскетичный и привык пользоваться только штатным Windows Explorer, но полагаю, что не всякий Коммандер умеет рыть в глубину.

Или рассмотрим вот еще пример – см. сабж. Предположим, требуется отыскать в архивном загашнике максимально масштабное полотно. Известно, что у любой картинки есть ширина и высота, и эти свойства доступны в эксплорере наравне с массой других, не менее интересных.

рис.1

Можно упорядочить фотки по ширине, можно по высоте, но сделать вычисляемое поле в виде произведения, чтобы упорядочить по нему, к сожалению, не представляется возможным. Есть еще замечательное поле Dimensions, но оно строковое, а хотелось бы иметь численный результат этого произведения. Однако если это невозможно в эксплорере, давайте сделаем в SQL Server, ибо собирая файлы в базу (Скрипт 1), функция Dir, яже писана в предыдущем посте, до кучи зачерпнула эти свойства и теперь они лежат в XML-колонке Properties:

select properties.query('for $x in ("Bit depth", "Camera maker", "Camera model", "Dimensions", "Exposure time", "Flash mode", "Focal length", "F-stop", "Height", "Horizontal resolution", "ISO speed", "Max aperture", "Width")

return /Props/Prop[@Name = $x]') from t where fullName like '%p7200124.jpg'

Скрипт 3

рис.2

Не составляет труда их оттеда достать:

select

properties.value('(/Props/Prop[@Name="Width"])[1]', 'nvarchar(30)'),

properties.value('(/Props/Prop[@Name="Height"])[1]', 'nvarchar(30)')

from t

where fullName like '%p7200124.jpg'

------------------------------ ------------------------------

‎1024 pixels ‎ 768 pixels

(1 row(s) affected)

Скрипт 4

Сзади им надо отрезать слово pixels, а спереди – какую-то непонятную порнографию, которая на Скрипт 4 не видна, потому что отвалилась при копировании, но просматривается на рис.2. В итоге получаем:

;with

cte1([file], width, height) as (

select top 100 FullName,

properties.value('(/Props/Prop[@Name="Width"])[1]', 'nvarchar(30)'),

properties.value('(/Props/Prop[@Name="Height"])[1]', 'nvarchar(30)')

from t

where isDir = 0 and id.IsDescendantOf((select id from t where fullname = '\\192.168.0.1\c$\My Documents\Photos\MS\MGB''01 Miami')) = 1

)

, cte2([file], width, height) as (

select [file], cast(substring(width, 2, charindex(' ', width) - 2) as int),

cast(substring(height, 2, charindex(' ', height) - 2) as int)

from cte1

where width <> '' and height <> ''

)

select * from cte2 order by width * height desc

Скрипт 5

Запрос достает файлы (isDir = 0) из заданного фолдера (IsDescendantOf), лежащие непосредственно под ним или в подфолдерах какой угодно глубины (потому что я не ставил ограничения на GetLevel), имеющие непустоты в атрибутах width и height, получает из ширины и высоты численные значения и упорядочивает результат по убыванию площади, сиречь произведения ширины на высоту.

рис.3

В качестве закрепления материала в качестве самостоятельного упражнения в целях повышения качества усвоения предлагается посчитать площадь, взяв ширину и высоту из атрибута Dimensions.

Попутно сделайте то же на Powershell, не прибегая к загрузке данных в SQL Server.