Ganancias:
- Comprender qué es el escepticismo profesional y los riesgos de caer en el sesgo de confirmación y el sesgo de automatización al utilizar la inteligencia artificial
- Capacidad para probar los resultados de la inteligencia artificial con una técnica de interrogatorio que intenta refutar (buscar lo contrario)
- Ser capaz de entender que la fluidez de la inteligencia artificial no significa precisión, que la mente escéptica es el núcleo del control y no se puede transferir.
Hay una actitud mental que distingue a la auditoría independiente de muchas otras profesiones: el escepticismo profesional. Las NIA definen esto como el trabajo del auditor “con una mente inquisitiva, observando si la evidencia indica una posible incorrección y evaluando críticamente la evidencia”. Es decir, el auditor no acepta automáticamente ninguna información que se le presente (ni una declaración de la dirección, ni un documento, ni siquiera una cuenta que “parece razonable”) como verdadera. Constantemente me pregunto "¿Es realmente así?" pregunta. Esta actitud es el núcleo del control y es inalienable.
En la era de la inteligencia artificial, este núcleo se enfrenta a una prueba completamente nueva. Porque la IA es experta en desencadenar dos debilidades profundamente arraigadas en la mente humana: el sesgo de automatización y el sesgo de confirmación. En esta unidad, cubriremos cómo un auditor que utiliza IA puede mantener o incluso fortalecer su escepticismo. La tesis principal es que la fluidez de la IA no es precisión; La mente escéptica se vuelve aún más importante frente a la IA.
Dos prejuicios peligrosos
El sesgo de automatización es la tendencia de las personas a confiar más en el resultado de una máquina/software que en su propio juicio. "La computadora lo calculó, es correcto". Este peligro se magnifica cuando se trata de IA, porque la IA no sólo calcula; Habla frases razonadas, fluidas, seguras y humanas. Un tono confiado es persuasivo incluso si la información no es precisa.
El sesgo de confirmación es la tendencia de las personas a buscar información que respalde la conclusión que previamente creían o esperaban y a ignorar la información contradictoria. Esto es fatal en la auditoría: un auditor que piensa "Este cliente debe estar limpio" se sentirá aliviado cuando le pregunte a la IA y obtenga la confirmación, y dejará de buscar pruebas de lo contrario. Debido a que la IA tiende a inclinarse hacia la pregunta que se hace (si pregunta "está bien, ¿verdad?", es más probable que produzca una respuesta que esté de acuerdo con usted), puede fomentar un sesgo de confirmación.
También hay una tercera: la alucinación. Lo vimos muchas veces en el módulo: la IA puede inventar con fluidez un número, elemento o recurso que no existe. El peligro se agrava cuando se combinan tres debilidades: la IA inventa cosas (alucinación), la crees porque es fluida (sesgo de automatización), no la cuestionas porque te dice lo que esperas (sesgo de confirmación).
Las tres herramientas de la mente escéptica contra la IA
Pongamos escepticismo en técnicas concretas contra la IA:
- Intenta refutar, no confirmar. Una IA podría preguntar a su resultado "¿es cierto?" no "¿cómo sé si esto está mal?" pregunta. Pregúntese: “Si esta afirmación fuera falsa, ¿qué evidencia lo demostraría?” y busque esa evidencia. Es fácil encontrar un único ejemplo que lo confirme; Intentar refutar y fracasar da una seguridad real.
- Pregunta de forma neutral y al revés. Pregúntale a la IA "aquí no hay problema, ¿verdad?" No preguntes; esto invita a una respuesta de aprobación. En cambio, "¿cuáles son los riesgos que podría haber pasado por alto en estos datos?" y "¿cuáles son los tres escenarios más probables en los que este resultado podría ser erróneo?" preguntar. Haga la misma pregunta desde dos lados opuestos y compare las respuestas.
- Descargar al código fuente y reproducir. Para cada cuestión, atribución y conclusión, "¿dónde verifico esto de forma independiente?" Haga la pregunta y verifíquela. Ver el resultado de la IA como una afirmación; La evidencia es externa a la afirmación.
Consejo: cree un hábito: junto a cada resultado significativo que proporcione la IA, escriba dos cosas a mano: “(1) con qué verifiqué esto, (2) qué evidencia mostraría esto si fuera falso”. Estas dos notas rompen tanto el sesgo de automatización como el de confirmación.
Juicios que el auditor no puede delegar
Algunos trabajos requieren inherentemente escepticismo y juicio; Estos no se pueden delegar a AI, solo se admiten:
jurisdicción inalienable
¿Por qué?
Si la evidencia es suficiente y apropiada
Juicio profesional; dependiente del contexto
Plausibilidad de una explicación.
Requiere consideración de la empresa y la intención.
Evaluación del riesgo de fraude
Escepticismo e intuición; más allá del patrón de datos
Materialidad y decisión de opinión.
Poder judicial responsable ante el público
Opinión sobre la honestidad de la gestión.
Leer el comportamiento humano; La IA no puede hacer esto
La diferencia entre escepticismo y pedantería: una actitud mesurada
El escepticismo profesional no significa no creer en todo o culpar a la dirección de antemano; Esto sería una extralimitación y haría que el control fuera ineficaz. El escepticismo no es ni pura confianza (aceptar todo lo que te dicen) ni negación ciega (rechazar todo); En el medio, es una actitud de investigación acorde con la evidencia. El auditor puede aceptar que la administración es honesta, pero prueba esta aceptación con evidencia; Puede encontrar una explicación plausible, pero confirma la plausibilidad. La IA puede alterar este equilibrio: en una dirección, te hace sentir demasiado confiado con su producción fluida; Por otro lado, si le dices que "encuentre fallos en todo", te bombardeará con un sinfín de falsos positivos. La actitud correcta es sopesar siempre el resultado con el peso de la evidencia, mientras se ejecuta la IA para producir evidencia y refutarla. El escepticismo no es un rasgo de la personalidad, sino una forma disciplinada de trabajar; Y es el auditor quien establece, mantiene y evidencia esta disciplina, no la IA.
tres mini casos
Caso 1: La técnica de la refutación funciona. Un auditor imprimió la IA diciendo "esta valoración de acciones parece razonable". En lugar de confirmar, preguntó ambiguamente: “Si esta valoración es exagerada, ¿qué evidencia lo demostraría?” "artículos cuyos precios posventa caen por debajo del costo", dijo YZ. El auditor buscó estos artículos y encontró un grupo que en realidad estaba infravalorado. La pregunta de refutación expuso el riesgo que ocultaba la confirmación.
Caso 2: Caer en el sesgo de confirmación. Un miembro del equipo le preguntó a la IA durante un momento crítico: "No hay nada grave en esta cuenta, ¿verdad?". preguntó. YZ se apoyó en la pregunta y dijo: "Según la información que proporcionó, no parece haber un problema importante". El miembro del equipo se relajó y tapó el bolígrafo. Sin embargo, no había presentado ninguna prueba; La IA simplemente reflejó su frase. El responsable demostró que la pregunta no fue formulada de manera imparcial. Lección: la forma en que haces la pregunta determina la respuesta que obtienes; Una pregunta que busca confirmación produce confirmación.
Caso 3: Enamorarse de la fluidez. Un auditor consideró correcta una interpretación de la legislación que YZ explicó en un párrafo muy fluido y razonado y la incluyó en el documento de trabajo. El texto era tan claro que no se le ocurrió cuestionarlo. El responsable demostró que la referencia no tenía equivalente en el texto oficial. Lección: la fluidez y la confianza no son prueba de precisión; El resultado que parece más convincente puede ser el más peligroso.
Aviso débil / Aviso fuerte
Aviso débil:
Este análisis es correcto, ¿verdad? ¿Lo apruebas?
El problema: una pregunta sesgada que busca confirmación. Empuja a la IA a unirse a ti; Fomenta el sesgo de confirmación y oculta el riesgo real.
Potente mensaje:
Su función: usted es el socio de investigación crítico de un auditor independiente. Su tarea no es ESTAR DE ACUERDO conmigo, sino tratar de RECHAZAR mi resultado. Contexto: A continuación se muestra mi conclusión de un procedimiento analítico y mi conclusión tentativa. [texto del resultado] Tarea: 1) Enumere los 3 escenarios más probables en los que esta conclusión podría ser FALSA. 2) Para cada escenario: "si esto fuera cierto, ¿qué evidencia lo demostraría?" Sugiera evidencia concreta y buscable. 3) Marque cualquier dato o suposición que pueda haber pasado por alto. 4) No hagas frases que me concuerden; Tienes la tarea de encontrar puntos débiles. Marque "desconocido" cuando no esté seguro.
Este aviso es poderoso porque invierte el papel de la IA (refutación), requiriendo escenarios de refutación y evidencia que se pueda buscar, y prohibiendo el lenguaje de búsqueda de confirmación. Esto pone a la IA al servicio del escepticismo y no como un instrumento de sesgo de confirmación.
Errores comunes
- Hacer preguntas buscando aprobación. "Está bien, ¿verdad?" preguntando y asegurando la respuesta acordada.
- Confundir fluidez con precisión. Aceptar resultados bien escritos y seguros sin lugar a dudas.
- Conténtase con un solo ejemplo confirmatorio. Cerrando con el primer hallazgo de apoyo, sin intentar refutarlo.
- Delegar competencia inalienable. Dejar la decisión sobre la suficiencia de las pruebas, la razonabilidad y la opinión a AI.
- Dejar de lado el escepticismo bajo la presión del tiempo. Refugiarse en la reconfortante respuesta de la IA cuando estás estancado.
Precaución: la presión del tiempo es el mayor enemigo del escepticismo, y la IA se vuelve más peligrosa bajo esta presión; porque te ofrece una respuesta rápida, fluida y reconfortante. Asegúrese de hacer la pregunta de refutación cuando tenga prisa.
En resumen
El escepticismo profesional está en el centro de la auditoría y se vuelve aún más crítico en la era de la IA. La IA desencadena tres debilidades: alucinación (la inventa), sesgo de automatización (lo creemos porque es fluido), sesgo de confirmación (no lo cuestionamos porque dice lo que esperamos). El antídoto es apresurarse a refutar la IA, no a confirmarla: “si esto es falso, ¿qué evidencia lo demostraría?” ' y buscando evidencia contraria, preguntando objetivamente y al revés, reproduciendo cada salida de la fuente. Juicios tales como suficiencia de evidencia, razonabilidad, riesgo de fraude y juicio de opinión requieren escepticismo y no son transferibles. La fluidez no es precisión; La mente escéptica es tuya.
Tarea de aplicación
Obtenga el resultado de su auditoría (o un resultado hipotético). Pregúntele a la IA primero con una pregunta débil de "búsqueda de confirmación", luego con el patrón fuerte de "refutación" anterior. Coloque los dos resultados uno al lado del otro y escriba la diferencia: ¿qué riesgos fueron revelados sólo por la pregunta de refutación? Luego agregue dos notas junto a cada afirmación clave en su resultado: "con qué verifiqué" y "qué evidencia mostraría si fuera falsa".
lista de verificación
- [] Le hice a la IA preguntas de refutación/neutrales, no preguntas de búsqueda de confirmación.
- [ ] Para cada resultado significativo, “si esto es falso, ¿qué evidencia lo demostraría?” Hice la pregunta y busqué pruebas.
- [] Probé el resultado, que parecía fluido y seguro, con extra escepticismo.
- [ ] No me detuve con un solo ejemplo confirmatorio; Intenté refutarlo pero fracasé.
- [ ] Hice mis propios juicios tales como suficiencia de evidencia, razonabilidad y opinión.
- [ ] Incluso bajo presión de tiempo, no me salté la pregunta de refutación.
- [ ] Junto a las afirmaciones importantes, tomé notas de "lo que verifiqué / lo que mostraría si estuviera equivocado".