C#: links and documents: 2011

среда, 5 октября 2011 г.

Custom serialization in WCF

Here is short description and set of links about custom serialization in WCF.

http://msdn.microsoft.com/en-us/magazine/cc163302.aspx
http://sharpserializer.codeplex.com/
http://wcfpro.wordpress.com/2011/03/03/idispatchmessageformatter/
http://wcfpro.wordpress.com
http://www.codeproject.com/KB/WCF/extension-wcf-behavior.aspx?display=Print

The problem was following. We are not satisfied with DataContractSerializer performance and would like to use own custom serializar.
For the first glance, this seems strangem because DataContractSerializer is main feature of WCF services. It's very fast and easy to use. It's true.

But when you need to send quite big collection of large objects from client to server, you meet the problem of large size of messages.

Reason of it, that result of data contract serializer is xml. And node names are equal to names of properties.
Besides that, null values present in the xml.

It's not very efficient.
Standard BinaryMessage encoding has practically the same message size. You can see object property names in the output.

Solution - using of custom serializer.
The only issue that there is not much information about this.

Solution is following.

According to the msdn article Extending WCF with Custom Behaviors, the only place for custom serializer is dispatcher. MSDN offers to implement own IDispatchMessageFormatter. It will deserialize requests from clients and serialize responces.

The same on the client - IClientMessageFormatter.

Here is what I have implemented for my case:

Custom message formatter
using System;
using System.IO;
using System.Xml;
using System.ServiceModel.Dispatcher;
using System.ServiceModel.Channels;
using System.IO.Compression;
 
namespace SharedLibrary
{
    public class CustomMessageFormatter : IDispatchMessageFormatter, IClientMessageFormatter
    {
        IClientMessageFormatter InnerClientFormatter;
        IDispatchMessageFormatter InnerDispatchFormatter;
 
        private const string ROOT = "MessageData";
 
        public CustomMessageFormatter(IClientMessageFormatter innerClientFormatter)
        {
            InnerClientFormatter = innerClientFormatter;
        }
 
        public CustomMessageFormatter(IDispatchMessageFormatter innerDispatchFormatter)
        {
            InnerDispatchFormatter = innerDispatchFormatter;
        }
 
        #region Stream Compression
 
        private Stream CompressStream(Stream inStream)
        {
            var outStream = new MemoryStream();
            CompressStream(inStream, outStream);
            outStream.Position = 0;
            return outStream;
        }
        /// <summary>
        /// Compress 'inStream' and write all data into 'outStream'
        /// </summary>
        private void CompressStream(Stream inStream, Stream outStream)
        {
            using (var gzipStream = new GZipStream(outStream, CompressionMode.Compress, true))
            {
                gzipStream.Flush();
                inStream.CopyTo(gzipStream);
            }
        }
        /// <summary>
        /// Get decompression stream. Not dispose 'inStream' while not end work with stream.
        /// </summary>    
        private Stream DecompressStream(Stream inStream, bool leaveOpenInStream = false)
        {
            return new GZipStream(inStream, CompressionMode.Decompress, leaveOpenInStream);
        }
 
        #endregion
 
        #region IDispatchMessageFormatter
 
        public void DeserializeRequest(System.ServiceModel.Channels.Message message, object[] parameters)
        {
            Polenter.Serialization.SharpSerializer serializer = new Polenter.Serialization.SharpSerializer(true);
            using (var inStream = GetBodyInnerContentStream(message))
            {
                for (int i = 0; i < parameters.Length; i++)
                {
                    parameters[i] = serializer.Deserialize(inStream);
                }
            }
        }
 
        public System.ServiceModel.Channels.Message SerializeReply(System.ServiceModel.Channels.MessageVersion messageVersion, object[] parameters, object result)
        {
            Polenter.Serialization.SharpSerializer serializer = new Polenter.Serialization.SharpSerializer(true);
 
            //stream will be closed in the ContentStreamProvider
            MemoryStream outStream = new MemoryStream();
            serializer.Serialize(result, outStream);
 
            outStream.Position = 0;
 
            return Message.CreateMessage(messageVersion, null, new ContentStreamProvider(CompressStream(outStream), ROOT));
        }
 
        #endregion
 
        /// <summary>
        /// Create a new message bases on other one and with body writer stream.
        /// </summary>
        /// <param name="prototype"></param>
        /// <param name="sourceStream">Stream of body content</param>
        /// <param name="tagName"></param>
        private static Message CreateMessage(Message prototype, Stream contentStream, string tagName = null)
        {
            Message msg = Message.CreateMessage(prototype.Version, null, new ContentStreamProvider(contentStream, tagName));
            msg.Headers.CopyHeadersFrom(prototype);
            msg.Properties.CopyProperties(prototype.Properties);
            return msg;
        }
 
        #region IClientMessageFormatter
 
        public object DeserializeReply(Message message, object[] parameters)
        {
            Polenter.Serialization.SharpSerializer serializer = new Polenter.Serialization.SharpSerializer(true);
 
            using (var inStream = GetBodyInnerContentStream(message))
            {
                return serializer.Deserialize(DecompressStream(inStream, true));
            }
        }
 
        public Message SerializeRequest(MessageVersion messageVersion, object[] parameters)
        {
            Polenter.Serialization.SharpSerializer serializer = new Polenter.Serialization.SharpSerializer(true);
 
            //stream will be closed in the ContentStreamProvider
            MemoryStream outStream = new MemoryStream();
 
            foreach (var parameter in parameters)
            {
                serializer.Serialize(parameter, outStream);
            }
 
            //check
            outStream.Position = 0;
 
            Message prototype = null;
            if (InnerClientFormatter != null)
            {
                prototype = InnerClientFormatter.SerializeRequest(messageVersion, parameters);
                messageVersion = prototype.Version;
            }
 
            return CreateMessage(prototype, outStream, ROOT);
        }
 
        #endregion
 
        /// <summary>
        /// Gets stream of inner element content of the message body.
        /// </summary>
        private Stream GetBodyInnerContentStream(Message message)
        {
            using (var bodyStream = new MemoryStream())
            {
                using (XmlDictionaryWriter bodyWriter = XmlDictionaryWriter.CreateBinaryWriter(bodyStream))
                {
                    message.WriteBodyContents(bodyWriter);
                    bodyWriter.Flush();
                    bodyStream.Position = 0;
 
                    using (var bodyReader = XmlDictionaryReader.CreateBinaryReader(bodyStream, XmlDictionaryReaderQuotas.Max))
                    {
                        bodyReader.MoveToStartElement();
                        var contentStream = new MemoryStream(bodyReader.ReadElementContentAsBase64());
                        contentStream.Position = 0;
                        return contentStream;
                    }
                }
            }
        }
    }
}

Content stream provider code
using System;
using System.IO;
using System.Xml;
using System.ServiceModel.Channels;
 
namespace SharedLibrary
{
    internal sealed class ContentStreamProvider : BodyWriter, IStreamProvider
    {
        private readonly Stream _innerStream;
        private readonly string _tagName;
 
        public ContentStreamProvider(Stream stream, string tagName = null)
            : base(false)
        {
            _innerStream = stream;
            _tagName = tagName;
        }
 
        protected override void OnWriteBodyContents(XmlDictionaryWriter writer)
        {
            if (!string.IsNullOrEmpty(_tagName))
            {
                writer.WriteStartElement(_tagName);
            }
            writer.WriteValue((IStreamProvider)this);
            if (!string.IsNullOrEmpty(_tagName))
            {
                writer.WriteEndElement();
            }
        }
 
        Stream IStreamProvider.GetStream()
        {
            return _innerStream;
        }
 
        void IStreamProvider.ReleaseStream(Stream stream)
        {
            if (stream != null)
            {
                stream.Dispose();
            }
        }
    }
}

I used SharpSerializer.
As you can see, I still use DataContractSerializer here. The aim is to create prototype WCF Message. With all headers. I just don't know how to implement it myself.

Next step is to apply this for your WCF service. As wcfpro.wordpress advices, I have implemented IOperationBehavior interface. But with some small changes.

CustomOperationBehavior
using System;
using System.ServiceModel.Description;
using System.ServiceModel.Dispatcher;
 
namespace SharedLibrary
{
    public class CustomOperationBehavior : Attribute, IOperationBehavior
    {
        public CustomOperationBehavior()
        {
        }
 
        IOperationBehavior innerFormatterBehavior;
        internal IOperationBehavior InnerFormatterBehavior
        {
            get { return innerFormatterBehavior; }
            set { innerFormatterBehavior = value; }
        }
 
        #region IOperationBehavior Members
 
        public void AddBindingParameters(OperationDescription description, System.ServiceModel.Channels.BindingParameterCollection parameters)
        {
            if (innerFormatterBehavior != null)
            {
                innerFormatterBehavior.AddBindingParameters(description, parameters);
            }
        }
 
        public void ApplyClientBehavior(OperationDescription description, ClientOperation runtime)
        {
            if (innerFormatterBehavior != null && runtime.Formatter == null)
            {
                // no formatter has been applied yet
                innerFormatterBehavior.ApplyClientBehavior(description, runtime);
            }
            runtime.Formatter = new CustomMessageFormatter(runtime.Formatter);
        }
 
        public void ApplyDispatchBehavior(OperationDescription description, DispatchOperation runtime)
        {
            if (innerFormatterBehavior != null && runtime.Formatter == null)
            {
                // no formatter has been applied yet
                innerFormatterBehavior.ApplyDispatchBehavior(description, runtime);
            }
            runtime.Formatter = new CustomMessageFormatter(runtime.Formatter);
        }
 
        public void Validate(OperationDescription description)
        {
            if (innerFormatterBehavior != null)
            {
                innerFormatterBehavior.Validate(description);
            }
        }
 
        #endregion
    }
}

This will allow you to turn you serializer on with following way:

Code Snippet
using System;
using System.ServiceModel;
using System.Runtime.Serialization;
using SharedLibrary;
 
namespace Test.ProxyServer
{
    [ServiceContract]
    public interface IService
    {
        [OperationContract]
        string GetData(int value);
 
        [OperationContract]
        [CustomOperationBehavior]
        CompositeType[] GetDataUsingDataContract(CompositeType composite);
    }
}

Have you noticed CustomOperationBehavior attribute?
It's practically everything. No one change in the DataContracts.
The last thing is client tuning.

Client settings:
using (ServiceReference.ServiceClient client = new ServiceReference.ServiceClient())
            {
                // Apply query string formatter
                foreach (OperationDescription operationDescription in client.Endpoint.Contract.Operations)
                {
                    operationDescription.Behaviors.Add(new CustomOperationBehavior() as IOperationBehavior);
                }
 
                var deals = client.GetDataUsingDataContract(new CompositeType() { BoolValue = true, DecimalValue = 5, StringValue1 = "1", StringValue2 = "2", StringValue3 = "3" });
            }

This is really all. Custom serializer will work. And you'll see in the Fiddler different message, not xml.
Of course you can use any serializer you like. The tricky part is implementing of formetters.

You should be sure, that serializer works correctly.
You should control all process of creation WCF message, control headers, Action property and so on. This is the infinite source of erros.

And with custom serializer you may not receive FaultExceptions. So you should control messages using some web debugger. For example, Fiddler.

Restrictions of the current solution - client and server should have shared library with data contracts. But this restriction refers to the current serializer.

понедельник, 26 сентября 2011 г.

Fiddler for localhost

Here is the very simple tip how to use fiddler for local queries.

Intead of http://localhost:1234/MyApp/...

use http://localhost.:1234/MyApp/...
(notice the extra dot after localhost).

After that fiddler will catch such requests:

Hope it will help.

понедельник, 4 июля 2011 г.

Текстовый поиск

Линка на статью с хабра, посвященная текстовому поиску http://habrahabr.ru/blogs/algorithm/123320/#habracut

вторник, 3 мая 2011 г.

Solving of Cauchy problem with MatLab

Here is the link for the article with short description and simple example how to solve the problem of Cauchy using MatLab.
http://www.bibliofond.ru/view.aspx?id=134752

среда, 27 апреля 2011 г.

Link .NET and Matlab

Here is very useful link to the article, describes how to use Matlab scripts from .NET application.
http://okolobaxa.ru/blog/2010/03/21/svyazyvaem-matlab-i-c
http://habrahabr.ru/blogs/net/132487/#habracut

вторник, 26 апреля 2011 г.

Windows Task Scheduler Manager

Here are some link related to the managing of windows task scheduler from C# code.
Also some link contains information about the nearest problems.

The task was: Create WCF Service for managing Task Scheduler from clients.
WCF service is hosted on the IIS under embedded Network Service Account.
Problem was to give this account needed permissions durion service installation.

permissions - http://taskscheduler.codeplex.com/discussions/247469

WCF - http://taskscheduler.codeplex.com/discussions/205132

http://winchanger.narod.ru/registry/architecht.htm

Такая учетная запись называется Network Service и процессы, выполняемые под этой учетной записью, используют ее профиль, который расположен в разделе HKU\S-1-5-20 и его файлы расположены в папке %SystemRoot%\ServiceProfiles\NetworkService.

About NetWork Service account

http://stackoverflow.com/questions/367180/is-it-safe-to-run-a-pool-under-nt-authority-network-service

http://stackoverflow.com/questions/510170/the-difference-between-the-local-system-account-and-the-network-service-accou

Second issue: this service should be able to manage Task Scheduler on the local servers.

Again, need to research through permissions and rights.

Security Group in the AD - for the machine specifications

http://blog.nenoloje.com/2011/02/how-to-grant-permissions-to-network.html

Open Source library - the main part of this task. Thanks to the author of this library, David Hall.

Task Scheduler management
http://taskscheduler.codeplex.com/
http://taskscheduler.codeplex.com/license

And some other links:

schtasks.exe help - http://support.microsoft.com/kb/814596

http://forums.techarena.in/windows-server-help/684821.htm

http://www.tramontana.co.hu/wix/lesson6.php

четверг, 24 февраля 2011 г.

Large Object Heap and memory arrangement in CLR (.NET)

Статья MSDN посвящена тому, как CLR работает с памятью, какие объекты помещаются в стек, какие в GCHeap (обычная куча, подвергающаяся сборке мусора), а какие лезут в LargeObjectHeap (>= 85 000 byte)
http://msdn.microsoft.com/ru-ru/library/dd335945.aspx

понедельник, 21 февраля 2011 г.

RSDN - Сериализация в .NET. DataSet. BinaryFormatter

Статья посвящена сравнению способов сериализации в .NET. В том числе при сериализации датасета. Вывод - пишите сериализацию руками :)
http://www.rsdn.ru/article/dotnet/dotnetserial.xml

вторник, 8 февраля 2011 г.

WCF. Обработка сообщений. Message injection.

В приведенной статье описан удобный и красивый способ реализации обработчика сообщений для WCF сервиса. Причем как для клиента, так и для сервиса.

Идея статьи: сделать сжатие данных для WCF сервиса. Причем оно должно быть прозрачным и удобным для использования.

Но кроме этого, данный способ может оказаться полезным в любом случае, когда вам нужно что-то сделать с сообщением перед его получением сервисом, или перед началом обработки его клиентом. Например, добавить header, или наоборот считать что-то из заголовка и проверить.

Итак, линка: http://www.gotdotnet.ru/blogs/AlexMAS/462/

Данное решение подключается как атрибут класса. Это может быть не всегда удобно. Например, необходимо одну и ту же реализацию поставлять как с обработкой сообщений, так и без.
Это можно сделать, перенеся настройки в конфигурационный файл - http://www.eggheadcafe.com/sample-code/WCFWF/776b4a8d-8ea5-4334-a440-7d192b3ad83d/using-behaviorextensionelement-and-iservicebehavior-to-add-an-ierrorhandler-to-a-wcf-service.aspx

Downloading large data in chunks

The linked page describes how to download large data in chunks using WCF with streaming.
http://www.codeproject.com/KB/silverlight/DownloadingInChunks.aspx

пятница, 21 января 2011 г.

When to call GC.Collect()

Всем изучающим .NET известно одно правило - не надо мешать сборщику мусора работать. Garbage Collector сам знает, что делать. И лучше его не трогать.

Следующая ссылка так и говорит:

Rule #1

Don't.

Но есть еще и Rule #2, о чем и написана приведенная статья.

http://blogs.msdn.com/b/ricom/archive/2004/11/29/271829.aspx

среда, 19 января 2011 г.

WCF Custom Message Headers

Ссылки на то, каким образом можно добавить свои заголовки к сообщениям для WCF сервиса.

http://blogs.microsoft.co.il/blogs/bursteg/archive/2006/04/23/141.aspx
http://msdn.microsoft.com/ru-ru/library/aa395196.aspx

Свои заголовки могут пригодиться, если необходимо похитрее передать какую-нибудь информацию с клиента на сервис, или обратно. Например, информацию для авторизации.

понедельник, 17 января 2011 г.

SQL indexes

Блог был задуман как сборник ссылок по .NET вообще и C# в частности. Но в жизни приходится сталкиваться со многими вещами. Например с индексами в SQL Server.

Link: http://www.sql.ru/articles/mssql/03013101indexes.shtml

Статься на sql.ru содержит фундаментальную информацию про индексы в SQL Server и организацию работы СУБД вообще. Очень полезна для понимания принципиальных аспектов работы с индексами в СУБД.

Localization in the .NET

Link: http://www.codeproject.com/KB/dotnet/Localization.aspx

Статья описывает, как можно использовать средства локализации в .NET на основе ресурсных файлов.

Memory problems. Garbage collector

Link: http://msdn.microsoft.com/ru-ru/magazine/cc163528.aspx
The same in english: http://msdn.microsoft.com/en-us/magazine/cc163528.aspx

В статье:

Описание средств исследования проблем с памятью в .NET;
OutOfMemoryException и что может служить его причиной:
Фрагментация памяти.

К сожалению, статья содержит в основном средства исследования проблемы, но не ее решения.

среда, 5 октября 2011 г.

понедельник, 26 сентября 2011 г.

понедельник, 4 июля 2011 г.

вторник, 3 мая 2011 г.

среда, 27 апреля 2011 г.

вторник, 26 апреля 2011 г.

четверг, 24 февраля 2011 г.

понедельник, 21 февраля 2011 г.

вторник, 8 февраля 2011 г.

пятница, 21 января 2011 г.

среда, 19 января 2011 г.

понедельник, 17 января 2011 г.