Mineração de Dados, Estatística, Tecnologia
Quem já trabalha com a linguagem R há um certo tempo provavelmente já está ciente das limitações da linguagem com relação a conjuntos de dados maiores que a memória RAM. Esse é um problema complicado que está associado com o fato de que quando o R cria um objeto, esse objeto é carregado inteiro na memória. Então, caso o usuário esteja efetuando a leitura de um conjunto de dados, a menos que esse conjunto “caiba”…
Read More
Eu venho utilizando o Shiny há um bom tempo. Eu acho que é uma tecnologia fantástica que permite aos usuários da linguagem R criarem pequenas aplicações web que expões scripts, pacotes, funções e diversos outros produtos baseados em dados, sem a necessidade de aprender Javascript, CSS e etc. De fato o que o Shiny faz não é ciência de foguete, mas o público que utiliza o R, em sua maioria, não são programadores web, tal…
Read More
Sites de perguntas e respostas se popularizaram a partir da década passada. É difícil traçar uma história precisa em virtude da vida e morte de projetos que aconteceram na internet, em ciclos muitas vezes menores que 2 anos. Mas acredito que posso dizer com segurança que um dos primeiros sites desse tipo a se popularizar foi o Yahoo Answers! Também já li por aí que esse tipo de site era popular na ásia, no começo da…
Read More
Com essa emergência atual dos termos como Big Data, Data Science, Data Mining e afins, e também com a grande oferta de postos de trabalho que se abrem nesse “novo setor”, muitas pessoas se perguntam qual o melhor caminho para se formar e se preparar para esse mercado. Existem cursos a distância, oferecidos por plataformas como o Coursera e o Udacity, ou mesmo cursos em nível de pós-graduação, MAS surge a pergunta: existe alguma graduação…
Read More
Recentemente eu li um artigo super interessante no blog do Regis A. Ely. Basicamente, ele utilizou os dados da pesquisa que o movimento “vem para a rua” está realizando sobre as intenções de votos no impeachment, para tentar criar um modelo de predição para a votação dos deputados indecisos. Eu achei super interessante, e pelo que eu vi, muita gente está compartilhando no Facebook. ENTRETANTO, eu fiquei curioso com relação a alguns pontos na análise…
Read More
Na Parte 1 desse post (que já publiquei faz um tempão!) eu fiz uma classificação de imagens de dígitos escritos a mão usando o k-nn (algoritmo dos vizinhos mais próximos) usando as informações das imagens sem nenhum tipo de tratamento, isto é, sem nenhum método de preparação. Como foi mostrado, o k-nn só foi capaz de classificar razoavelmente bem com com k = 1 e conseguiu uma acurácia de apenas 78%, algo muito distante do que…
Read More
Ao longo dos últimos anos, trabalhando com pesquisa na pós-graduação, como estudante de Estatística e como um analista, eu venho consultando e estudando diversos materiais, de artigos em papers até livros sobre Data Mining, Data Science, Estatística, Big Data e etc. Eu tive oportunidade de consultar muitos bons livros, alguns menos e muitos que eram realmente ruins. ASSIM, nesse post eu gostaria de apresentar a minha seleção de livros e uma breve explicação de porque…
Read More