LUTI @ Microsoft : BI

Anúncio da Microsoft sobre BI – PerformancePoint => Sharepoint

Luciano Caixeta Moreira — Wed, 28 Jan 2009 19:57:00 GMT

Quem anda antenado no mundo de BI sabe que a Microsoft fez um anúncio recente a respeito do roadmap para o PerformancePoint. Para quem não viu, vale a pena dar uma olhada…

http://www.microsoft.com/bi/ (página principal de BI da Microsoft)
http://www.microsoft.com/presspass/features/2009/jan09/01-27KurtDelbeneQA.mspx (Q&A)
http://www.intelligententerprise.com/channels/performance_management/showArticle.jhtml;jsessionid=4WHQJIB1BOLBAQSNDLPCKH0CJUNN2JVN?articleID=212902660 (uma boa matéria)
Vale a pena ver esse vídeo, bem direto, claro e mostra o valor da mudança: http://download.microsoft.com/download/A/E/E/AEEE26CB-1536-4EC9-809E-536F6E49A1BB/Guy_Weismantel_BI_Announcement_MBR.wmv

O que eu penso disso… Particularmente, eu acho o anúncio fantástico!

Eu sempre encarei o PerformancePoint como um produto interessante, mas com algumas capacidades bem específicas que exigem mais cuidado da implementação, além de ser um produto separado, que necessita de uma nova licença. O que acontecia muitas vezes? As empresas iam avançando na implementação da sua solução de BI, usando o excelente valor agregado que nós oferecemos, mas quando era necessário dar o próximo passo na direção do PPS (PerformancePoint Server), o projeto era colocado de lado e outras funcionalidades acabavam entrando na frente da fila.

Com a mudança dos planos anunciado pela Microsoft, as capacidades analíticas do PPS, como dashborad e scorecards, serão incluídos no Microsoft Office Sharepoint Server Enterprise! Isto é, aquele que já possui o MOSS rodando na empresa, vai poder usufruir desses recursos que antes somente estava disponível no PPS. De quebra, essa integração também vai continuar tocando o Excel lá na ponta, ajudando a materializar o que a Microsoft chama de “BI to the masses” –> BI para o povão! ;-) aeeeeeeee.

É claro que essa notícia vai impactar aqueles que já estão trabalhando com o PPS, por isso a empresa ainda vai soltar mais um Service Pack em meados de 2009, suportando aqueles que estão utilizando-o. Mas eu acredito que, passado o momento de maior clarificação do roadmap e adequação do ambiente, os benefícios serão maiores que os impactos.

Novamente, fica aqui uma dica para 2009! Sharepoint é o produto que cresceu mais rápido na história da Microsoft e vem sendo colocado como fundação para uma série de outros produtos. Então é necessário que haja pessoal qualificado, que entenda o funcionamento do Sharepoint e possa otimizar os ambientes para receber a solução completa, além de ajudar na resolução de problemas, se necessário.

E você, o que achou?

[]s
Luciano Caixeta Moreira
luciano.moreira@microsoft.com
===============================================
This post is provided "AS IS" and confers no right
===============================================

MBIC Third Day [General Session]

Luciano Caixeta Moreira — Wed, 08 Oct 2008 20:35:00 GMT

(Português) - (English)

Last day of Microsoft BI Conference... :-(

In the general session we had a session where Microsoft shared with us part of their vision to the next years. Some of the message we have already heard during the event, but if we can put it in five pillars, here they are:

- Growing richness of excel model
- Notion of pervasive connection to data
- Self service business intelligence
- Integrating business process into performance management
- Focus on the Office client as a BI application

One thing that drove everyone attention was an example of BI delivered easily, using.... SURFACE. It was an example on how to use Microsoft Surface to show a live map integrated with information about energy and water consumption in the buildings at Seattle downtown (drawing it over the buildings, integrated with an eagle's eye view of the city). If you click in a particular building you could see information about the water quality and compare it to nearby cities or other states. Really, really amazing, BI made easy at the tips of your finger. User experience in a new level!

MBIC Second Day [Other sessions]

Luciano Caixeta Moreira — Wed, 08 Oct 2008 20:14:00 GMT

(Português) - (English)

Yesterday I saw four more presentation besides the general session, they were:

- Mastering Master Data Management
- Microsoft is Making a Difference At Schumacher Group (Hitachi)
- SSIS Best Practices
- Populating a Kimbal method DW with SQL Server & SSIS 2008

Here are some takeaways that I can point to you...

I have been in some sessions related to MDM in the past two years and sincerely, they weren't very good or clear. Besides the fact that I have matured in the past years, I really enjoyed a presentation about this subject for the first time. The first presenter, a veteran in IT, showed clearly what MDM is supposed to be, how the organization should look at it and the many ways to think about it and how to get there.
The second presenter talked a little about SHAREPOINT MASTER DATA SERVICES! Yes, your heard correct, they are working in a way to make MDM easier and feasible, all integrated with Sharepoint. We couldn't see any public demonstration about it, but the aspects highlighted were really cool. This is one area that will evolve much in the next years, changing not only our OLAP systems, but OLTP too (this is a common misconception). Stay tuned and read about it.

The presentation about Schumacher group was interesting to see a real example on how BI can help to accelerate decision making and helping people's lives.

Kimbal method and SSIS session: this presentation was good for me to remember some of the Kimball concepts when I read two books written by him, almost four years ago. During the presentation, Joy Mundy showed us how do an effective ETL with SSIS, highlighting some caveats that we may find along the way and how to avoid it. A nice session filled with real world experience.

SSIS Best Practices - This was an excellent presentation with deep technical content. I actually took a bunch of notes that I'll post here, hope you enjoy.
NOTE: this is a list of unorganized topics, if you read, try to pick something that makes sense to you. :-)

Measure twice - cut once

Understand your system

CPU, Network, Memory, I/O and network
In memory pipeline
- Do not want to the file system - touch in the extract and in the load
- SQLIO / Severe optimized the IO to get the record / how spindles map to LUN

Measure the extract speed of the source
- Better drivers, driver configuration, I/O and network utilization
- Understand limits early in design

Speed per connection (use integration services log)
- Rows / sec = row count / Time

Use multiple NICs (pain)
If possible, measure both at source and execution

Baseline the package

CPU (DTExec / SQLServr)
SSIS Pipeline \ buffers spooled (tell whenever a memory buffer has to be spooled to disk!)
- Keep it at zero!

SSIS Temp Folder
Partition the data to never see 1 in the buffers spooled (12 million instead of 20 millions, for example)
SSIS assumes transformations fit in memory!
How CPU is distributed?

Tuning the data flow

Optimize Data Source
- NOLOCK, minimize columns

Optimize lookup transformation (builds a hash table in memory)
- Use the query to control the data returned (no Select *), NOLOCK
- Shared Lookup Cache (build the hash table only once)
- Large Lookup (other options)

Network tuning
- Increase the packet size (4K) to 32767
- Enable Jumbo Frames in the network (5000 to 9000)
- 32 MB/S to 46 MB/S
- Shared memory vs TCP/IP
- Win 2008 - Network affinity

Data types
- Narrow, avoid casting (conversions in the SQL statements), watch precision issues
- The many benefits of money (from double to currency, it's faster)
- Memory, CPU alignment issues (work with precision)

Optimize SQL Targets
- OleDB destination (IS on the same box)
- Heap insert is typically faster than cluster index
  - Use heap in staging
- Use partitions and SWITCH
- Commit size is 0 (if not possible, use highest possible)

Change the design
- Don't sort in SSIS
- Sometimes T-SQL is better (set based update instead oledb row by row)
  - Large Aggregations (group by/sum)
  - Use new MERGE statement
- Delta Detection
  - Rule of thumb - Delta > 10% => reload
- Do minimally logged operations if possible
  - Data flow in bulk mode?
  - TRUNCATION instead of delete

Avoid buffer copies
- The width of a row determines the size of the buffer?
  - Smaller rows, more in memory
- Memory copies are expensive
  - Pointer magic
  - Multicast - instead of doing a full copy, just put the changed value in the other table
    - Multicast followed by a row transformation (bad - will make a copy) / Change the order, good

Transforms and buffers
- Row based (buffer reused) - sync
- Partially blocking (merge, merge join, union all) (data copy to new buffers) - async
- Blocking (data copied to new buffers) (aggregate, sort, pivot, unpivot -> do in the database)
  - Can be used with a small sampling (cool)

DESIGN FOR PARALLELISM

Tenets of scalable computing
- Partition the problem
- Eliminate the need for common resources (stateless design)
- Schedule and distribute it correctly

Partition the problem
- Hash partitions for modulo on identity(1,1)
- Range partitions

Eliminate common resources
- Don't land all connections on same NUMA Node

Schedule it correctly

MBIC Second Day [General Session]

Luciano Caixeta Moreira — Wed, 08 Oct 2008 00:32:00 GMT

(Português) - (English)

Today I saw a general session with Ben Stein (famous American character), his presentation was funny, critical and at some points, emotive, with almost nothing related to BI and in many aspect US centric. But since we're thinking out of the box, it was a valid session. After the presentation one thought that stroke me was: gosh, I can use BI to help solve many problems he stated. The technology is here, why we aren't using it for our own good? Think about that...

After the presentation we had a round table with employees from Accenture, Dell, HP, Hitachi and Profitbase, discussing many BI aspects. Some points that I like hearing were:

BI FUTURE

- We're ready to the amount of that that will need to get managed? Technology is evolving, but our data management and technical folks are following it?
- Even more we'll see social aspects integrated with BI.
- BI will be delivered to any device and at real time.
- More business visibility (we don't know what the analyst doesn't know). How to uncover new business information that we aren't noticing?

SKILLS AND GAPS (how the IT professionals can get ready?)

- Do not keep listen to old phrases about BI, like "BI projects are huge and very very expensive". We can make it an incremental project, prove it's value and keep evolving over time!
- There's emerging a new role - from data architect to information architect. A person even more knowledgeable about the business, systems and how they interact, not just a tool/modeling guy.
- Stop looking to BI as an extra, a hobby. It requires a specialized team, in sync with all the company, with a clear career path and a list of discrete projects, not a huge BI has-it-all project.

CLOUD BI

- Very disruptive model that raises many questions: intellectual property, security, what to use (processing or storage, or both)
- Roughly 75% of people doesn't have access to BI - the cloud is an enormous opportunity to reach those people
- Just because the technology is available and we can, does it mean that we should?

Some mine observations...

- I really hate using my cell phone to manage information, it's tiny and slows me back. How we can make it feasible for a regular end user (not a gadget addict).
- As expected, TI continues to do and later understand. We need to change the way things work and look out for new opportunities in this market. Geeks with people skills that understand the business need and how to address those gaps will have a high impact and probably, a high salary.
- We are learning how to use SQL Server Data Services and his ACE model, so soon we'll have a lot of data stored there from many companies (small and medium - my guess) working from different verticals. Why not having someone specialized in one specific area that knows how to speak the business language and transform the data in the cloud in valuable information?

MBIC First Day [Other sessions]

Luciano Caixeta Moreira — Tue, 07 Oct 2008 22:30:57 GMT

(Português) - (English)

Depois da general session eu tive a oportunidade de ver outras quatro sessões, infelizmente as mesas redondas durante o almoço estavam cheias e muitas pessoas ficaram frustradas por não participar. Eu acho que a organização do evento subestimou o lado geek do público, porque almoçar se eu tenho uma sessão para assistir? :-)

Nesse ano o lema da conferência é "Think Bigger About BI". Eu realmente estou gostando de ver isso, pois algumas sessões colocam o BI em uma diferente perspectiva e faz as pessoas pensarem fora da caixa, o que é uma coisa bacana. Nós estamos vendo isso acontecer na Web 2.0, S+S e outras áreas, porque não com BI?

As sessões que eu assisti foram:

- BI: Emerging trends and technologies
- XXXXXX - Essa foi uma sessão ruim, então não vou comentá-la. O melhor momento da apresentação foi quando o projetor fez BBBBUUUUMMMM e uma fumaça saiu dele. Eu acho que a lâmpada não aguentou a apresentação...
- Integrating Predictive Analysis Throughout the Data Lifecycle
- Plotting your strategic course for performance management

Notem que eu assisti a duas sessões sobre valor do negócio, com analistas de negócio, e eu não me arrependo nem um segundo de ter tomado essas decisão, pois as sessões foram ótimas. Aqui estão alguns pontos que vi nas sessões e quero ressaltar...

- Nós temos algumas maneiras de adotar BI: dirigido por estratégia (através de KPIs do negócio), dirigido por analistas (tomas decisões certeiras diariamente, e não somente no nível estratégico) e dirigido por processos (processos internos e eficiência)
- BI e pesquisa: diferentes, mas podem se tornar muito conectados.
- Visualização de dados interativas: nos precisamos encontrar uma maneira melhor de apresentar os dados, não estruturas e gráficos complexos -> EXPERIÊNCIA DO USUÁRIO.
- Ir além do BI tradicional: análise de texto e voz. Porque não minerar outros tipos de dados não-estruturados?
- Integrar atualização da inteligência do negócio de maneira fácil e contínua. Porque eu tenho que esperar três semanas para alterar um sistema e reagir a uma nova condição do mercado, colocando uma nova regra de negócio? Eu quero uma maneira fácil de oferecer isso aos analistas de negócio.
- BI como um serviço! Eu adorei esse aqui, uma nova abordagem com muitos desafios, mas ainda possível e pode ser explorado por algumas empresas que já oferecem serviços online, por exemplo.

- Gerenciamento de performance é um ponto chave para toda organização hoje em dia. Sua organização está fazendo isso? Quão matura ela está quando falamos de BI?
- Nós temos muitos tipos de ?PM (? = Operations; Enterprise; Corporate; etc.)
- Modelos de maturidade: reagindo; antecipando; colaborando; orquestrando; Com a evolução, sua empresa vai mudar o foco de tecnologia para cultura/filosofia, de um BI de dentro para fora para um BI de fora para dentro (trabalhando com parceiros em todo ecossistema)
- BI continua sendo o número um em investimento dos CIOs para os próximos anos. MAS, nós tivemos uma mudança interessante: nos últimos cinco anos o principal investimento eram dashboards e scorecards, mas em 2008 isso mudou para integrar aspectos analíticos nas aplicações. Isso é muito importante, as pessoas não querem usar N ferramentas e as integrar por si só, querem que a aplicação busque a informação e a apresente em um só lugar! Desenvolvedores e DBAs, trabalhando junto!
- Os 5 maiores desafios de BI estão relacionados com dois aspectos: DADOS (gerenciamento, acesso e qualidade) e EQUIPE DE TI (trabalho acumulado, recursos limitados e falta de pessoas treinadas).
- BI que vai além dos limites da empresa é uma tendência. Porque não utilizar BI para mostrar a seus parceiros e fornecedores como eles podem melhorar para atender sua demanda?

O objetivo desta lista não é apresentar uma lista consistente de informações para seu estudo, mas para listar alguns pontos que você pode começar a explorar sozinho e, é claro, pensar fora da caixa.

MBIC First Day [General Session]

Luciano Caixeta Moreira — Tue, 07 Oct 2008 00:35:00 GMT

(Português) - (English)

A conferência é semelhante ao nosso TechEd, onde temos uma grade de palestras, mesas redondas e laboratórios. Aí você escolhe o que quer assistir e aparece na sala para ouvir o palestrante. Durante o dia de hoje eu vou participar de várias sessões e colocar aqui algumas coisa que eu acho interessante, então vamos começar do início.

General session

Na abertura do evento o pessoal do alto-escalão da área apresentou parte da visão da Microsoft para o segmento de BI. Gostei das duas apresentações, vindo de pessoas que foram contratadas pela Microsoft (a julgar pelo que vi, foram escolhidos a dedo) e se juntaram ao time não muito tempo atrás. Uma coisa que me chamou a atenção foi: ambas comentaram que durante as entrevistas ficaram impressionados com o que a Microsoft têm como visão para BI, então acredito que se veteranos da área (concorrentes na época) ficaram impressionados, podemos esperar muita coisa boa. Algumas coisas que achei interessante compartilhar...

* Democratização do BI.
Se perguntarmos a uma empresa quem se beneficia dos sistemas de BI atuais, vamos ter como resposta entre 10% e 20% dos funcionários. Se perguntarmos quantos poderiam se beneficiar de BI, a resposta será entre 90% e 95%. Porque existe essa diferença tão grande? Precisamos passar por um processo de democratização da inteligência do negócio, para que possa ajudar todos e não somente os diretores e gerentes.

* Projetos Kilimanjaro e Madison (codinomes): o primeiro voltado para a manipulação de volumes gigantescos de dados (milhares de giga/terabytes) e integração com a recém aquisição da Microsoft (DatAllegro). Em uma demonstração foi possível ver diversas máquinas trabalhando independentemente sobre uma massa de dados particionada, respondendo uma consulta gigantesca em segundos (nota: a instrução mandava limpar todo o cache antes de ser executada). Scale-out e arquitetura share-nothing funcionando, lindo!
O segundo focado na análise e relatórios self-service (indo além do que já temos hoje com os report models, por exemplo), que irá dar mais poder para o usuário (o que chamamos people ready BI - pessoas prontas para BI). Outra coisa que deixou todo mundo de queixo caído foi a apresentação do Gemini (parte do Kilimanjaro), onde mais de 23 milhões de registros eram manipulados em memória (rápido, muito rápido) usando uma máquina "convencional" (com 8GB de RAM), mas ainda assim factível dentro de alguns anos.

O que eu acho mais importante quando falamos de BI na Microsoft, é o valor da Plataforma inteira. Vemos o Excel, SQL Server, Sharepoint e o Performance Point, trabalhando de forma integrada e gerando um imenso valor para quem utiliza todo seu potencial.

Mais informações? Já tem gente blogando... http://sqlblog.com/blogs/marco_russo/archive/2008/10/06/microsoft-bi-conference-2008-announcements-on-stage.aspx

Where am I? Microsoft Business Intelligence Conference

Luciano Caixeta Moreira — Mon, 06 Oct 2008 22:18:00 GMT

(Português) - (English)

Oi galera!
No momento eu estou em Seattle participando de uma conferência de Business Intelligence da Microsoft. Como vocês já notaram pelo meu blog, eu gosto de trabalhar com o SQL Server e dados, então BI não pode ficar de fora. Nos próximos posts eu vou focar meus comentários sobre o que eu vejo no evento, sempre relacionado com BI. Espero que você goste.

Em breve veremos também mais informações sobre o Integration Services, Reporting Services e Analysis Services neste blog.
Para alguns detalhes sobre o evento: http://www.msbiconference.com

06/10/2008 - 09:05 AM (Seattle)

Microsoft BI getting stronger and stronger

Luciano Caixeta Moreira — Fri, 25 Jul 2008 01:23:14 GMT

(Português) - (English)

Somente uma nota rápida. A Microsoft recentemente comprou a empresa DATAllegro, fornecedora de um applicance de data warehouse, que fará nossa plataforma de BI mais forte.
Leia a notícia formal em: http://www.microsoft.com/Presspass/press/2008/jul08/07-24DataWarehousingPR.mspx

Enviei 40 e-mails hoje, como isso cansa...