Unidade 1 / 11

Inteligência Artificial em Econometria e Estatística: Funções, Limites, Autenticação e Privacidade

Ganhos:

  • Ser capaz de distinguir onde no fluxo de trabalho empírico (limpeza de dados, código, visualização, rascunho de interpretação) a inteligência artificial economiza tempo real e onde decisões como seleção de modelo, reivindicação de causalidade e decisão de publicação são deixadas para o especialista, de acordo com o nível de risco da tarefa
  • Capacidade de aplicar uma disciplina que verifica cada saída de inteligência artificial (número, coeficiente, código, comentário) através das etapas de recálculo, vinculação à fonte e filtragem estatística.
  • Capacidade de processar com segurança microdados e conjuntos de dados confidenciais/licenciados no âmbito do KVKK/GDPR e acordos de uso de dados e adquirir o hábito de escolher ferramentas adequadas.

As mesmas questões ocorrem todos os dias na mesa de um econometrista ou de um estatístico aplicado: este conjunto de dados é confiável? O que fazer com esses valores ausentes? O que o coeficiente dessa regressão realmente diz? Essa relação é causal ou meramente correlacional? Como esse valor p é significativo, posso escrevê-lo no artigo ou no resumo da política? Algumas dessas questões são repetitivas, exigem muito código e demoram: limpar dados, traçar o mesmo gráfico dez vezes, depurar código R ou Python, encadear os resultados em uma tabela. Outros determinam diretamente a validade de uma descoberta, a honestidade de uma publicação ou a exatidão de uma decisão política.

A inteligência artificial (IA em resumo, IA - sistemas de computador que podem produzir texto e código como humanos, reconhecer padrões, resumir dados e escrever comentários; a forma mais usada hoje são grandes modelos de linguagem, ou seja, sistemas que são treinados em textos enormes e constroem frases prevendo a próxima palavra) fica bem no meio desta tabela. Quando usado corretamente, reduz horas de código de limpeza de dados a minutos, lembra a sintaxe de um teste estatístico complexo ou esboça a interpretação de um coeficiente. Quando usado incorretamente, apresenta um número aparentemente certo, mas completamente fabricado, um significado falso ou uma relação não causal como uma "descoberta".

Esta primeira unidade não é uma introdução ao software. Seu objetivo é esclarecer onde colocar a IA em seu fluxo de trabalho empírico e onde nunca colocá-la. A econometria é um campo “crítico para o método” e indirectamente “crítico para a decisão”: o coeficiente de um modelo que se constrói pode ser o contributo para a decisão de um banco central sobre a taxa de juro, para uma mudança de política de um regulador ou para um investimento milionário de uma empresa. Vamos expor o princípio básico desde o início: a inteligência artificial é um assistente de análise, não um pesquisador. A responsabilidade e aprovação final da seleção do modelo, estratégia de identificação, afirmação de causalidade, publicação e decisões políticas cabe ao especialista competente.

Camadas do fluxo de trabalho empírico e o lugar da IA

É útil dividir um estudo empírico em três camadas. A camada de execução é o trabalho técnico do dia a dia: código de limpeza de dados, desenho de gráficos, formatação de tabelas, depuração de sintaxe. A camada de método é a decisão analítica: qual modelo, qual estratégia de identificação, qual teste, qual verificação de suposições. A camada de interpretação e decisão é o significado das conclusões: o que o coeficiente diz, é causal, o que significa para a política, caso seja publicado. A IA afeta todas as três camadas, mas com autoridade diferente em cada uma. Na camada de execução, a IA rascunha e gera código rapidamente; Na camada de interpretação e decisão, apenas informações são fornecidas e o especialista toma a decisão.

Vamos definir alguns termos básicos desde o início. A econometria é o ramo que analisa dados econômicos e sociais com métodos estatísticos e mede relações. A regressão é um método que modela numericamente a relação de uma variável de resultado (variável dependente) com uma ou mais variáveis ​​explicativas (variáveis ​​independentes). O coeficiente é o número que mostra a quantas unidades de mudança, em média, uma mudança de uma unidade em uma variável explicativa está associada na variável de resultado. O valor p é a probabilidade de que o resultado observado (ou um resultado mais extremo) ocorresse por acaso quando nenhum efeito realmente existisse. Explicaremos esses conceitos um por um nas unidades seguintes; Por enquanto, saiba disso: em tudo isso, a IA fornece o projeto, o código e a explicação, mas não toma decisões científicas.

A tabela a seguir resume a função e o nível de risco da IA por missão:

Missão

Papel da IA

Nível de risco

Quem aprova

Escrevendo código de limpeza de dados

gerador de código

baixo

O próprio analista (com teste de código)

Rascunho de gráfico/tabela

gerador de esboço

baixo

analista

Lembrete de sintaxe de teste/modelo

Assistente de referência

baixo-médio

analista

Rascunho de interpretação do coeficiente

redator de rascunho

médio

econometrista

Seleção de modelo/estratégia de identificação

entrada auxiliar

alto

pesquisador especialista

Alegação de causalidade

Apenas um rascunho, nunca a palavra final

muito alto

Especialista + revisão por pares

Publicação/decisão política

apenas entrada

muito alto

Investigador/instituição responsável

Tenha em mente a única linha desta tabela: à medida que o risco aumenta, o papel da IA diminui e a aprovação dos especialistas aumenta.

Por que a “verificação” é o coração deste negócio

Os modelos linguísticos parecem confiantes nas suas respostas, mas podem não ter a certeza. Em linguagem técnica, isso se chama alucinação: é a fabricação, pelo modelo, de uma informação inexistente em uma frase fluente, como se fosse verdade. Para um econometrista, esta é uma armadilha mortal. O modelo pode fornecer um número exato como "A correlação entre desemprego e inflação na Turquia entre 2015-2020 é de 0,62"; Porém, ele nunca viu seus dados e esse número é totalmente inventado. Ou pode dizer: “O valor p do teste branco foi 0,03”; enquanto não executou nenhum teste. Ele pode chamar uma função R com um argumento que na verdade não existe. Ele canta os três com a mesma fluência; A única coisa que separa o certo do errado é o seu conhecimento e o seu hábito de verificar.

A disciplina de verificação consiste em três etapas:

  1. Recalcular/executar em seu próprio ambiente: Calcule cada número, proporção, resultado de teste e coeficiente fornecido pela IA em R/Python com seus próprios dados, não da memória da IA. Use a IA para escrever o código, não para lembrar o resultado. Execute o código e você produz a saída.
  2. Link para a fonte: confie em livros didáticos, artigos de métodos e documentos oficiais para obter regras, fórmulas e definições de métodos. Confirme a declaração da IA ​​“a suposição deste teste é” com uma fonte confiável.
  3. Filtro estatístico: teste com olhos de especialistas se o resultado contradiz a lógica estatística (suposições, amostra, tamanho do efeito, incerteza). Rejeite um resultado “significativo, mas absurdo”.
Cuidado: Colocar um coeficiente, teste ou interpretação gerado por IA em um artigo, tese ou nota política sem validá-lo é como publicar uma descoberta não revisada. Só porque a saída é fluente não é verdade; Só porque o número parece certo, não é real.

Privacidade: microdados e dados licenciados são protegidos de forma privada

Microdados (registos únicos a nível individual, familiar, empresarial ou paciente) são frequentemente utilizados em econometria. A maioria desses dados são dados pessoais e são protegidos pela KVKK (Lei de Proteção de Dados Pessoais) na Turquia e pelo GDPR na Europa. Além disso, o TurkStat, os bancos centrais, os fornecedores de dados em painel e as fontes comerciais fornecem frequentemente dados com um acordo de utilização de dados; Esses acordos proíbem a transferência de dados a terceiros. Colar uma tabela contendo informações de identidade, renda, saúde ou segredos da empresa em uma ferramenta pública de bate-papo de IA é uma violação do KVKK/GDPR e uma violação de contrato; pois os dados vão para um servidor externo e podem ser utilizados no treinamento de modelos em algumas ferramentas.

A regra é simples: mantenha os dados em seu próprio ambiente seguro, peça à IA apenas códigos e métodos. O fluxo de trabalho ideal é este: peça à IA o código de análise, você executa o código com os dados reais em seu próprio computador/servidor corporativo. Se você realmente precisa compartilhar dados, anonimize (remova campos de identificação), agregue (média/contagem em vez de individual) e escolha ferramentas que sejam institucionais, tenha um acordo de processamento de dados e não use seus dados na educação.

três mini cases

Caso 1 — Uso seguro e eficiente. Um pesquisador primeiro passou 6 horas limpando manualmente 40 mil linhas de dados do orçamento familiar. Sem compartilhar nenhum dado, ele apenas descreveu os nomes das variáveis ​​e a estrutura para a IA e pediu um código de limpeza. A IA gerou um script R; O pesquisador executou o código em seu próprio ambiente, verificou o número de linhas e as estatísticas resumidas de cada etapa e corrigiu dois erros lógicos. Duração: 70 minutos em vez de 6 horas. Os dados nunca foram divulgados; A responsabilidade permaneceu com o pesquisador.

Caso 2 – Armadilha numérica não verificada. “Qual é a elasticidade entre o crescimento do PIB e o investimento estrangeiro direto”, perguntou um estudante de pós-graduação à AI. A IA forneceu com segurança um número de “cerca de 0,34”, embora não tivesse acesso a nenhum dado. O aluno escreveu isso no resumo da literatura; Quando seu assessor perguntou sobre a fonte, descobriu-se que o número não tinha base e era totalmente inventado. Erro: esperar estatísticas concretas da IA ​​sem fornecer dados e recursos a ela.

Caso 3 — Confidencialidade e quebra de contrato. Um analista carregou o Excel, que recebeu de um painel de uma empresa licenciada, contendo o nome da empresa e o volume de negócios, para uma ferramenta de IA disponível publicamente e disse “faça a regressão do painel”. O contrato do fornecedor de dados proibia a transferência de dados para sistemas de terceiros; O incidente gerou uma revisão de conformidade. O caminho certo era substituir os nomes das empresas por códigos anônimos ou não compartilhar dados e apenas solicitar o código de regressão do painel e executá-lo em seu próprio ambiente.

Alerta fraco / Alerta forte

Alerta fraco:

Analise a relação entre inflação e desemprego e indique o coeficiente.

Esta afirmação está errada: nenhum dado foi fornecido à IA, não está claro qual país, qual período, qual modelo. A IA só pode responder com um coeficiente inventado.

Alerta poderoso:

Sua função: você é um assistente de análise auxiliando o pesquisador de econometria. NÃO compartilho os dados com você; Eu só quero o código R RUNNABLE. Tenho painel anual: variáveis ​​país, ano, desemprego, inflação (todas numéricas). Tarefa: 1) escrever um código de regressão de painel de efeitos fixos para desemprego ~ inflação (pacote plm), 2) explicar cada etapa do código com uma linha de comentário, 3) observar que o coeficiente deve ser interpretado como relacional, não CAUSAL, 4) criar o argumento da função sobre o qual você não tem certeza; Vou executar e verificar o resultado em meu próprio ambiente.

Nessa solicitação não há compartilhamento de dados, ficam claros o papel, os pacotes, a expectativa de comentários e a proibição de “fabricação”. Você ainda executa e verifica a saída sozinho.

A tabela a seguir resume as regras de uma frase nesta lição:

princípio

O que isso significa

IA é um assistente

A decisão científica e a responsabilidade pertencem ao especialista

Solicite o código, produza o resultado

A IA não lembra o número; você executa e calcula

manter dados

Dados micro/licenciados não saem do ambiente seguro

verificar

Cada problema, código, comentário é verificado; fabricação é rejeitada

Erros comuns

  • Esperar estatísticas concretas da IA ​​sem fornecer dados. O modelo não pode acessar os dados; O coeficiente, a correlação e o valor p que ele fornece são falsos. Sempre solicite o código e produza você mesmo o resultado.
  • Baseando-se em funções alucinatórias. A IA pode sugerir uma função ou argumento R/Python que não existe. Não aceite o código sem executá-lo e verificá-lo.
  • Upload de microdados para ferramenta pública. É uma violação do KVKK/GDPR e do acordo de uso de dados. Torne os dados anônimos ou não os compartilhe.
  • Confundindo fluência com precisão. Uma revisão bem escrita pode ser imprecisa. A beleza da frase não é prova.
  • Aceitar a linguagem causal sem controle. YZ costuma dizer “X aumenta Y”; enquanto a maioria das regressões mostra apenas relacionamentos. Defenda a afirmação causal com design.
Dica: Ao trabalhar com IA, pergunte-se: “Se um árbitro ou auditor solicitar este resultado, posso mostrar a fonte e o relato?” Se a resposta for não, a saída ainda não está pronta para uso.

Resumindo

A IA fornece uma aceleração real e massiva na camada de execução (código, limpeza, gráfico, rascunho) do fluxo de trabalho de econometria e estatística; no entanto, a seleção do modelo, a causalidade, a interpretação, a publicação e as decisões políticas pertencem ao especialista. Três disciplinas básicas: não lembrar o número à IA, pedir o código e gerar e verificar você mesmo o resultado; não remova dados micro/licenciados do ambiente seguro; filtro estatístico de cada saída. Um resultado de IA não verificado é tão arriscado quanto uma descoberta não revisada.

Tarefa de aplicativo

Considere seu próprio conjunto de dados (ou um exemplo). Peça à IA um código R ou Python que produza estatísticas descritivas e um gráfico simples simplesmente descrevendo a estrutura da variável, sem compartilhar os dados. Execute o código recebido em seu próprio ambiente. Em seguida, mantenha uma lista de verificação: (1) o código foi executado sem erros, (2) o número de linhas/observações esperado, (3) quais das frases de comentários da IA ​​usam linguagem causal e devem ser corrigidas. Em um parágrafo, escreva sobre o tempo que a IA salvou você e pelo menos um bug que você detectou.

lista de verificação

  • [ ] Não fiz a IA pedir estatísticas concretas; Solicitei o código e produzi o resultado sozinho.
  • [] Recalculei cada número e resultado de teste obtido em meu próprio ambiente.
  • [] Verifiquei que as funções/argumentos que ele usa realmente existem.
  • [ ] Não carreguei dados micro/pessoais/licenciados em uma ferramenta pública.
  • [] Marquei os comentários contendo linguagem causal e movi-os para linguagem relacional.
  • [ ] Sou capaz de mostrar a origem e a contabilização do resultado a um auditor.