Mineração de dados
Mineração de dados , também chamado descoberta de conhecimento em bancos de dados , na ciência da computação, o processo de descobrir padrões e relacionamentos interessantes e úteis em grandes volumes de dados. O campo combina ferramentas de estatística e inteligência artificial (como redes neurais e máquina aprendizagem) com gerenciamento de banco de dados para analisar grandes coleções digitais, conhecidas como conjuntos de dados. A mineração de dados é amplamente utilizada em negócios (seguros, bancos, varejo), pesquisa científica (astronomia, medicina) e segurança governamental (detecção de criminosos e terroristas).
A proliferação de numerosos bancos de dados governamentais e privados grandes, e às vezes conectados, levou a regulamentações para garantir que os registros individuais sejam precisos e protegidos contra visualização ou violação não autorizada. A maioria dos tipos de mineração de dados são direcionados para averiguar conhecimento geral sobre um grupo ao invés de conhecimento sobre indivíduos específicos - um supermercado está menos preocupado em vender um item a mais para uma pessoa do que em vender muitos itens para muitas pessoas - embora a análise de padrões também possa ser usada para discernir o comportamento individual anômalo, como fraude ou outra atividade criminosa.
Origens e primeiras aplicações
Conforme as capacidades de armazenamento do computador aumentaram durante a década de 1980, muitas empresas começaram a armazenar mais dados transacionais. As coleções de registros resultantes, muitas vezes chamadas de data warehouses, eram muito grandes para serem analisadas com abordagens estatísticas tradicionais. Várias conferências e workshops de ciência da computação foram realizados para considerar os avanços recentes no campo da inteligência artificial (IA), como as descobertas de sistemas especializados , genético algoritmos ,aprendizado de máquinae redes neurais - podem ser adaptadas para descoberta de conhecimento (o termo preferido na comunidade da ciência da computação). O processo levou em 1995 à Primeira Conferência Internacional sobre Descoberta de Conhecimento e Mineração de Dados, realizada em Montreal, e ao lançamento em 1997 da revista Mineração de dados e descoberta de conhecimento . Este também foi o período em que muitas das primeiras empresas de mineração de dados foram formadas e produtos foram introduzidos.
Uma das primeiras aplicações de sucesso da mineração de dados, talvez perdendo apenas para a pesquisa de marketing, foi Cartão de crédito - detecção de fraude. Ao estudar o comportamento de compra de um consumidor, um padrão típico geralmente se torna aparente; as compras feitas fora desse padrão podem ser sinalizadas para investigação posterior ou para negar uma transação. No entanto, a grande variedade de comportamentos normais torna isso desafiador; nenhuma distinção entre comportamento normal e fraudulento funciona para todos ou o tempo todo. É provável que todo indivíduo faça algumas compras diferentes dos tipos que já fez antes, portanto, confiar no que é normal para um único indivíduo provavelmente dará muitos alarmes falsos. Uma abordagem para melhorar a confiabilidade é primeiro agrupar os indivíduos que têm padrões de compra semelhantes, uma vez que os modelos de grupo são menos sensíveis aos menores anomalias . Por exemplo, um grupo de viajantes de negócios frequentes provavelmente terá um padrão que inclui compras sem precedentes em diverso locais, mas os membros deste grupo podem ser sinalizados para outras transações, como compras de catálogo, que não se enquadram no perfil desse grupo.
Abordagens de modelagem e mineração de dados
Criação de modelo
O processo completo de mineração de dados envolve várias etapas, desde a compreensão dos objetivos de um projeto e quais dados estão disponíveis para implementando mudanças de processo com base na análise final. As três principais etapas computacionais são o processo de aprendizado do modelo, a avaliação do modelo e o uso do modelo. Esta divisão é mais clara com a classificação dos dados. A aprendizagem do modelo ocorre quando um algoritmo é aplicado a dados sobre os quais o atributo de grupo (ou classe) é conhecido para produzir um classificador, ou um algoritmo aprendeu com os dados. O classificador é então testado com um conjunto de avaliação independente que contém dados com atributos conhecidos. A extensão em que as classificações do modelo concordam com a classe conhecida para o atributo alvo pode então ser usada para determinar a precisão esperada do modelo. Se o modelo for suficientemente preciso, ele pode ser usado para classificar dados para os quais o atributo de destino é desconhecido.
Técnicas de mineração de dados
Existem muitos tipos de mineração de dados, normalmente divididos pelo tipo de informação (atributos) conhecidos e o tipo de conhecimento buscado no modelo de mineração de dados.
Modelagem preditiva
A modelagem preditiva é usada quando o objetivo é estimar o valor de um atributo de destino específico e existem dados de treinamento de amostra para os quais os valores desse atributo são conhecidos. Um exemplo é a classificação, que pega um conjunto de dados já dividido em grupos predefinidos e procura padrões nos dados que distinguir esses grupos. Esses padrões descobertos, então, podem ser usados para classificar outros dados onde o grupo certo designação pois o atributo de destino é desconhecido (embora outros atributos possam ser conhecidos). Por exemplo, um fabricante pode desenvolver um modelo preditivo que distingue as peças que falham sob calor extremo, frio extremo ou outras condições com base em sua fabricação meio Ambiente , e este modelo pode então ser usado para determinar as aplicações apropriadas para cada parte. Outra técnica empregada na modelagem preditiva é a análise de regressão, que pode ser usada quando o atributo de destino é um valor numérico e o objetivo é prever esse valor para novos dados.
Modelagem descritiva
A modelagem descritiva, ou clustering, também divide os dados em grupos. Com o agrupamento, no entanto, os grupos apropriados não são conhecidos com antecedência; os padrões descobertos pela análise dos dados são usados para determinar os grupos. Por exemplo, um anunciante pode analisar uma população em geral para classificar clientes em potencial em diferentes grupos e, em seguida, desenvolver campanhas publicitárias separadas direcionadas a cada grupo. A detecção de fraude também faz uso de agrupamento para identificar grupos de indivíduos com padrões de compra semelhantes.
Compartilhar:
