Acurácia diagnóstica e concordância inter e intra-avaliadores na interpretação de eletrocardiograma em plataforma digital de treinamento: estudo observacional retrospectivo com dados secundários de uso educacional
José Nunes de Alencar Neto1
Instituto Dante Pazzanese de Cardiologia (IDPC)
São Paulo
2026
Introdução
O eletrocardiograma (ECG) é o exame cardiovascular mais utilizado na prática clínica, e sua interpretação correta é uma competência essencial para médicos, residentes e estudantes de medicina, além de outros profissionais de saúde que atuam em cenários de urgência. Apesar de sua centralidade, há evidência consolidada de que o desempenho na interpretação de ECG é heterogêneo e frequentemente insuficiente. A revisão sistemática do American College of Physicians (Salerno, Alguire e Waxman, 2003) documentou ampla variação de acurácia — da ordem de 17% a 63% entre estudantes de medicina — e demonstrou que médicos não cardiologistas cometem mais erros do que cardiologistas. Mais recentemente, a revisão sistemática com metanálise de Cook, Oh e Pusic (2020), reunindo 78 estudos, concluiu que profissionais de todos os níveis de treinamento apresentam deficiências persistentes na interpretação do ECG, mesmo após intervenções educacionais, e que a melhoria da formação ao longo de todo o continuum profissional se justifica.
Além da acurácia, a confiabilidade da interpretação — isto é, a concordância entre diferentes avaliadores (inter-avaliadores) e a consistência do mesmo avaliador ao reler o mesmo traçado (intra-avaliador) — é determinante para a reprodutibilidade do laudo eletrocardiográfico e para a segurança clínica. Diagnósticos de alto impacto, como o infarto agudo com oclusão coronariana (OMI — Occlusion Myocardial Infarction), ilustram bem o problema: sob o paradigma clássico do supradesnível de ST (STEMI), estima-se que 25% a 30% das oclusões coronarianas agudas passem despercebidas, pois nem toda oclusão manifesta critério de STEMI. A abordagem baseada em achados de OMI (Meyers e cols., 2021; Aslanger e cols., 2020) demonstrou identificar oclusões mais cedo e com maior acurácia do que os critérios de STEMI, o que reforça a relevância de estudar como diferentes níveis de formação reconhecem — ou deixam de reconhecer — esses padrões sutis.
As plataformas digitais de treinamento e simulação em ECG geram, em escala e em condições ecológicas, dados ricos sobre desempenho, aprendizado e concordância que raramente estão disponíveis em estudos tradicionais de bancada. A plataforma PlantãoECG / EKG Cases simula um plantão de tele-ECG: o usuário assume o papel do médico de plantão, recebe traçados reais com contexto clínico, emite um laudo estruturado em cinco dimensões (ritmo, frequência cardíaca, eixo, achados e troca de eletrodos) e recebe pontuação campo a campo (0–100) contra um laudo-padrão de referência elaborado por cardiologistas. Esse desenho permite mensurar simultaneamente acurácia diagnóstica, concordância entre coortes e reprodutibilidade intra-avaliador em grande volume de interpretações.
Justificativa
Existe uma lacuna de conhecimento sobre a acurácia e, sobretudo, sobre a concordância inter e intra-avaliadores na interpretação de ECG em cenário real de treinamento, estratificada por nível de formação. A maioria dos estudos disponíveis é de pequena escala, com poucos avaliadores e conjuntos limitados de traçados, e não distingue com clareza o especialista com formação formal (residência médica ou título de especialista) daquele que declara especialidade por curso de pós-graduação. A plataforma coleta uma variável específica para essa distinção, o que possibilita responder a uma pergunta clinicamente relevante e ainda pouco explorada.
Justifica-se, portanto, um estudo observacional que aproveite dados de uso educacional já coletados — sem qualquer intervenção ou contato adicional com os participantes — para: (a) quantificar a acurácia diagnóstica por achado e por ritmo; (b) estimar a confiabilidade inter e intra-avaliadores por meio de estatísticas de concordância robustas (κ de Fleiss, ICC); (c) comparar coortes de formação e experiência; e (d) caracterizar quais diagnósticos apresentam menor concordância, inclusive entre especialistas. A contribuição esperada é fornecer subsídios para o aprimoramento de currículos e de ferramentas de treinamento em ECG, com potencial impacto indireto na segurança do paciente, e gerar evidência sobre a reprodutibilidade do laudo eletrocardiográfico em larga escala.
Hipótese
Hipótese principal (H1): a acurácia diagnóstica e a concordância na interpretação de ECG variam conforme a origem da formação, sendo maiores entre usuários com residência médica ou título de especialista do que entre usuários em formação ou que declaram especialidade por curso de pós-graduação.
Hipótese secundária: achados sutis de infarto oclusivo (OMI/OCA) e determinados distúrbios de condução apresentam menor concordância inter-avaliadores (menor κ) mesmo entre especialistas, sinalizando limites de reprodutibilidade intrínsecos a esses diagnósticos.
Hipótese nula (H0): não há diferença de acurácia ou de concordância entre os estratos de formação e experiência.
Objetivo Primário
Estimar a acurácia diagnóstica da interpretação de ECG pelos usuários da plataforma — sensibilidade, especificidade, valor preditivo positivo (VPP), valor preditivo negativo (VPN), razões de verossimilhança (LR+ e LR−) e razão de chances diagnóstica (DOR), com intervalos de confiança de 95% — por achado e por ritmo, tendo como padrão-ouro o laudo-padrão de referência elaborado por cardiologistas.
Objetivos Secundários
Comparar a acurácia diagnóstica entre estratos de formação (specialty_source: residência médica, título de especialista, pós-graduação, em formação, não possui) e entre estratos de experiência (0–2, 3–5, 6–9 e 10+ anos).
Estimar a concordância inter-avaliadores (κ de Fleiss, interpretado pelas bandas de Landis-Koch, com intervalo de confiança por bootstrap) por achado, ritmo e eixo, global e por coorte, comparando coortes por teste z (Δ, z, p).
Estimar a concordância intra-avaliador (repetibilidade) em interpretações repetidas do mesmo ECG pelo mesmo usuário, com intervalo ≥30 dias entre tentativas.
Avaliar a confiabilidade do padrão-ouro (ICC dos escores e autoconsistência das re-leituras dos especialistas de referência — "Gabarito Kappa").
Caracterizar o desempenho na detecção de infarto oclusivo (OMI/OCA) e de ritmos críticos (sensibilidade, especificidade, acurácia e κ), utilizando controles sintomáticos.
Descrever curvas de aprendizado (evolução do escore e da acurácia com o volume acumulado de casos) e identificar os achados de menor concordância, inclusive entre especialistas.
Explorar o efeito de moderadores (anos de experiência, especialidade, profissão, país/UF, tipo de hospital) sobre acurácia e concordância.
Metodologia
Estudo conduzido inteiramente sobre dados secundários de uso educacional já registrados no banco de dados da plataforma. Não há randomização, intervenção, alocação de participantes a grupos experimentais nem qualquer novo contato com os usuários. Todos os desfechos são agregados por coorte/estrato — nunca individuais ou identificáveis. A extração é feita a partir de views de pesquisa dedicadas, que entregam apenas as colunas necessárias e já desidentificadas. As análises seguem as diretrizes de relato STROBE (estudos observacionais) e GRRAS (estudos de confiabilidade e concordância), e, para os desfechos de acurácia diagnóstica, os princípios do STARD.
Desenho do Estudo
Observacional, analítico, retrospectivo, com desenho de acurácia diagnóstica e de confiabilidade (concordância inter e intra-avaliadores), baseado em dados secundários. Há um componente longitudinal, dado que a plataforma armazena tentativas repetidas do mesmo par usuário–ECG (base da análise intra-avaliador) e re-aplica o questionário demográfico anualmente em formato append-only (uma linha por submissão), o que permite análises de evolução temporal e de curva de aprendizado.
Local do Estudo
Plataforma web PlantãoECG / EKG Cases (banco de dados PostgreSQL em Supabase, com Row-Level Security e views de pesquisa dedicadas). O tratamento e a análise dos dados agregados serão conduzidos na instituição do pesquisador responsável: José Nunes de Alencar Neto.
População e Amostra
População: usuários da plataforma (médicos, residentes, estudantes de medicina e outros profissionais de saúde — enfermeiros, veterinários, fisioterapeutas, estudantes de enfermagem) com idade ≥18 anos que utilizaram a ferramenta e forneceram consentimento explícito e versionado para uso de seus dados em pesquisa.
Amostra: amostra de conveniência do tipo censo — todas as tentativas reais graduadas registradas no período do estudo, provenientes de usuários com consentimento válido. As análises de concordância utilizam os conjuntos de avaliadores por ECG; as análises intra-avaliador utilizam os conjuntos de repetição (mesmo usuário, mesmo ECG, ≥2 tentativas com intervalo >30 dias).
Critérios de Inclusão
Usuários com idade ≥18 anos.
Consentimento de pesquisa válido e registrado (consent_given = true, com consent_version e consent_given_at).
Tentativas reais graduadas (attempt_mode nulo).
Registros com dados suficientes para pontuação campo a campo e para composição do laudo estruturado.
Critérios de Exclusão
Menores de 18 anos.
Tentativas em modo ensino ("Hospital Escola", attempt_mode = 'hospital_escola') e laudos semente de especialista (attempt_mode = 'seed_submission'), que não contam para pontuação/estatística.
Registros sem consentimento válido.
Contas administrativas/staff (excluídas do questionário demográfico e das análises de desempenho de usuário).
Contas de teste, duplicadas ou com integridade de dados comprometida.
Tamanho da Amostra (Cálculo Amostral)
Trata-se de amostra de conveniência (censo dos usuários consentidos no período), o que dispensa cálculo amostral para hipótese única, mas exige controle de precisão. Para garantir estimativas estáveis:
Concordância (κ de Fleiss): serão reportados apenas achados/ritmos com número mínimo pré-especificado de avaliadores e de ECGs por célula (limiar-alvo: ≥30 avaliadores e ≥20 ECGs por achado). Estratos abaixo do limiar serão descritos de forma exploratória, sem inferência.
Precisão: todos os κ e diferenças entre coortes terão intervalo de confiança de 95% por bootstrap (500 iterações, semente reprodutível); comparações entre coortes por teste z (Δ, z, p).
Acurácia diagnóstica: intervalos de confiança de Wilson para proporções; comparações de proporções por teste z de duas proporções (IC de Newcombe).
O tamanho efetivo de cada estrato (n de tentativas e n de avaliadores) será relatado descritivamente na abertura dos resultados, conforme o GRRAS.
Procedimentos e Coleta de Dados
Os dados são extraídos do banco PostgreSQL (Supabase) por meio de views de pesquisa (v_user_demographics_latest, v_user_performance) e de consultas agregadas do painel analítico (/admin/analytics). O fluxo garante privacidade e desidentificação em todas as etapas:
Origem dos dados: questionário demográfico (user_demographics), atributos de perfil (profiles), tentativas/laudos (attempts), padrão-ouro (official_reports), fila de semente (ecg_report_submissions) e re-leituras dos especialistas (kappa_attempts).
Minimização: Row-Level Security restringe leitura; o ranking passa por RPC que retorna apenas colunas seguras (sem e-mail, sem tipo de hospital, sem plano). Informações pessoais identificáveis (nome, e-mail, instituição) não compõem nenhum desfecho.
Desidentificação: identificadores diretos são removidos ou substituídos por chaves pseudonimizadas antes da análise; os resultados são sempre agregados por coorte/estrato.
Sem novo contato: não há coleta prospectiva junto aos participantes; utilizam-se exclusivamente dados já registrados pelo uso da plataforma, sob consentimento prévio versionado.
O questionário demográfico é apresentado em modal obrigatório na 2ª visita (nunca na 1ª), com checkbox de consentimento validado como verdadeiro, links para política de privacidade e termos, aviso da finalidade de pesquisa e nota de re-pergunta anual; cada submissão registra a versão do consentimento e o instante de aceite (modelo append-only, sem edição/exclusão pelo usuário).
Desfecho Primário
Acurácia diagnóstica da interpretação dos usuários em relação ao padrão-ouro, expressa por sensibilidade e especificidade (e, complementarmente, VPP, VPN, LR+, LR−, DOR), global e por achado/ritmo.
Desfechos Secundários
κ de Fleiss por achado, ritmo e eixo (bandas de Landis-Koch; IC por bootstrap), global e por coorte.
Diferença de κ entre coortes (Δ, z, p).
κ intra-avaliador e métricas de repetibilidade (desvio-padrão mediano de frequência cardíaca em bpm e de escore em pontos; concordância mediana intra-conjunto).
ICC(1,1) dos escores e autoconsistência do padrão-ouro (Gabarito Kappa).
Sensibilidade, especificidade, acurácia e κ na detecção de OMI/OCA e de ritmos críticos.
Parâmetros descritivos de curva de aprendizado (evolução do escore/acurácia por volume de casos).
Análise Estatística
Acurácia diagnóstica por achado/ritmo: sensibilidade, especificidade, VPP, VPN, LR+, LR−, prevalência e taxa de falso-positivo; índice de Youden ponderado (Jw = 0,75·Sn + 0,25·Sp) e razão de chances diagnóstica (DOR) com IC95% e valor-p. Estratificação por formação e por experiência.
Concordância inter-avaliadores: κ de Fleiss (generalizado, número variável de avaliadores) para desfechos binários, multirrótulo e multicategoria; interpretação pelas bandas de Landis-Koch (pobre → quase perfeita); IC por bootstrap (500 iterações, semente fixa); comparação de κ entre coortes por teste z.
Concordância intra-avaliador: κ intra-avaliador (geral e por dimensão/tipo de ECG/agrupamento diagnóstico) e repetibilidade sobre conjuntos de repetição.
Consistência interna: ICC(1,1) (modelo aleatório de uma via) sobre os escores, tratando ECGs como sujeitos e usuários como avaliadores.
Autoconsistência do padrão-ouro: κ de Fleiss entre o gabarito oficial e as re-leituras do próprio especialista de referência.
Testes de suporte: IC de Wilson; teste z de duas proporções (IC de Newcombe); qui-quadrado 2×2 com correção de Yates; teste exato de Fisher 2×2; formatação padronizada de valor-p (***/**/*/NS).
Nível de significância: α = 0,05 (bicaudal).
Ferramentas: módulo analítico da própria plataforma (src/lib/analytics/) e análise confirmatória independente em R (pacotes irr, psych, boot, epiR) e/ou Python (scipy, statsmodels, pingouin), com scripts versionados para reprodutibilidade.
Riscos
Nenhuma pesquisa é isenta de riscos. Por se tratar de estudo com dados secundários e análises agregadas, os riscos são considerados mínimos, mas existem e são explicitados:
Risco de quebra de confidencialidade / reidentificação: ainda que teórico, existe o risco de que dados individuais sejam associados a uma pessoa. Mitigação: análises sempre agregadas por coorte/estrato; desidentificação prévia; Row-Level Security; views de pesquisa que entregam apenas colunas necessárias; ausência de informações pessoais identificáveis nos desfechos; ranking via RPC sem colunas sensíveis.
Risco de constrangimento por dados de desempenho: a existência de escores individuais poderia, em tese, gerar desconforto. Mitigação: nenhum resultado é apresentado de forma individualizada; não há devolução de desempenho individual como parte da pesquisa nem identificação de participantes em publicações.
Desconforto ao responder o questionário demográfico: possível desconforto mínimo ao informar dados como idade, sexo, profissão e experiência. Mitigação: preenchimento voluntário, com opção "prefiro não informar" em campos sensíveis, consentimento explícito e possibilidade de não participar sem qualquer prejuízo ao uso da plataforma.
Em caso de qualquer intercorrência relacionada à privacidade, o pesquisador responsável adotará as medidas de contenção previstas na política de proteção de dados e comunicará o CEP, conforme a Resolução CNS nº 466/2012.
Benefícios
Toda pesquisa deve prever benefícios. Neste estudo eles são majoritariamente indiretos, com um componente direto vinculado ao próprio uso educacional da plataforma:
Benefícios indiretos (coletivos): geração de evidência sobre acurácia e reprodutibilidade da interpretação de ECG por nível de formação; identificação de achados de baixa concordância; subsídios para aprimoramento de currículos e de ferramentas de treinamento; contribuição potencial, a médio prazo, para a segurança do paciente ao qualificar a leitura de traçados de alto risco (OMI e ritmos críticos).
Benefícios diretos: durante o uso da plataforma, o participante recebe feedback estruturado campo a campo, explicações didáticas, tutoria e acompanhamento de progresso — recursos educacionais que favorecem o próprio aprendizado. Os achados agregados do estudo poderão retroalimentar melhorias da ferramenta, beneficiando a comunidade de usuários.
Considerações Éticas
O estudo será conduzido em conformidade com a Resolução CNS nº 466/2012 e, no que se refere ao uso de dados e ao ambiente digital, com a Resolução CNS nº 510/2016, além da Lei Geral de Proteção de Dados (Lei nº 13.709/2018 — LGPD).
Consentimento: o uso dos dados em pesquisa está condicionado a consentimento explícito, versionado e datado, obtido digitalmente por meio do modal da plataforma (TCLE virtual/online), com aviso claro da finalidade de pesquisa, links para política de privacidade e termos, e nota de re-consentimento anual. Somente dados de usuários com consentimento válido integram o estudo. Registra-se consent_version e consent_given_at a cada submissão.
Confidencialidade e desidentificação: análises exclusivamente agregadas por coorte/estrato; informações pessoais identificáveis fora dos desfechos; RLS e views de pesquisa restringindo o acesso; ranking via RPC sem colunas sensíveis.
Populações a considerar: o estudo inclui estudantes e residentes; embora sejam maiores de idade, sua condição é considerada no texto do TCLE (voluntariedade, ausência de prejuízo acadêmico ou profissional em caso de não participação). Menores de 18 anos são excluídos, dispensando TALE. Administradores/staff são excluídos do questionário e das análises de desempenho de usuário.
Retenção e integridade: modelo append-only preserva o histórico e a versão do consentimento aceita; exportações para análise são agregadas.
Ausência de intervenção: estudo observacional sobre dados já coletados; sem randomização, sem intervenção e sem retenção de material biológico (Resolução CNS nº 441/2011 não se aplica).
Início após aprovação: a coleta/extração para fins de pesquisa só se inicia após aprovação do CEP.
Referências Bibliográficas
Salerno SM, Alguire PC, Waxman HS. Competency in interpretation of 12-lead electrocardiograms: a summary and appraisal of published evidence. Ann Intern Med. 2003;138(9):751-760. doi:10.7326/0003-4819-138-9-200305060-00013. Disponível em: https://www.acpjournals.org/doi/10.7326/0003-4819-138-9-200305060-00013
Salerno SM, Alguire PC, Waxman HS; American College of Physicians. Training and competency evaluation for interpretation of 12-lead electrocardiograms: recommendations from the American College of Physicians. Ann Intern Med. 2003;138(9):747-750. doi:10.7326/0003-4819-138-9-200305060-00012.
Cook DA, Oh SY, Pusic MV. Accuracy of physicians' electrocardiogram interpretations: a systematic review and meta-analysis. JAMA Intern Med. 2020;180(11):1461-1471. doi:10.1001/jamainternmed.2020.3989. Disponível em: https://jamanetwork.com/journals/jamainternalmedicine/fullarticle/2771093
Meyers HP, Bracey A, Lee D, Lichtenheld A, Li WJ, Singer DD, et al. Accuracy of OMI ECG findings versus STEMI criteria for diagnosis of acute coronary occlusion myocardial infarction. Int J Cardiol Heart Vasc. 2021;33:100767. doi:10.1016/j.ijcha.2021.100767. Disponível em: https://www.sciencedirect.com/science/article/pii/S2352906721000555
Meyers HP, Bracey A, Lee D, Lichtenheld A, Li WJ, Singer DD, et al. Comparison of the ST-elevation myocardial infarction (STEMI) vs. NSTEMI and Occlusion MI (OMI) vs. NOMI paradigms of acute MI. J Emerg Med. 2021;60(3):273-284. doi:10.1016/j.jemermed.2020.10.026.
Aslanger EK, Yıldırımtürk Ö, Şimşek B, Bozbeyoğlu E, Şimşek MA, Yücel Karabay C, et al. DIagnostic accuracy oF electrocardiogram for acute coronary OCClUsion resuLTing in myocardial infarction (DIFOCCULT Study). Int J Cardiol Heart Vasc. 2020;30:100603. doi:10.1016/j.ijcha.2020.100603.
Landis JR, Koch GG. The measurement of observer agreement for categorical data. Biometrics. 1977;33(1):159-174.
Fleiss JL. Measuring nominal scale agreement among many raters. Psychol Bull. 1971;76(5):378-382.
McHugh ML. Interrater reliability: the kappa statistic. Biochem Med (Zagreb). 2012;22(3):276-282. doi:10.11613/BM.2012.031.
Koo TK, Li MY. A guideline of selecting and reporting intraclass correlation coefficients for reliability research. J Chiropr Med. 2016;15(2):155-163. doi:10.1016/j.jcm.2016.02.012.
Kottner J, Audigé L, Brorson S, Donner A, Gajewski BJ, Hróbjartsson A, et al. Guidelines for Reporting Reliability and Agreement Studies (GRRAS) were proposed. J Clin Epidemiol. 2011;64(1):96-106. doi:10.1016/j.jclinepi.2010.03.002.
von Elm E, Altman DG, Egger M, Pocock SJ, Gøtzsche PC, Vandenbroucke JP; STROBE Initiative. The Strengthening the Reporting of Observational Studies in Epidemiology (STROBE) statement. Lancet. 2007;370(9596):1453-1457. doi:10.1016/S0140-6736(07)61602-X.
Bossuyt PM, Reitsma JB, Bruns DE, Gatsonis CA, Glasziou PP, Irwig L, et al. STARD 2015: an updated list of essential items for reporting diagnostic accuracy studies. BMJ. 2015;351:h5527. doi:10.1136/bmj.h5527.
Brasil. Conselho Nacional de Saúde. Resolução nº 466, de 12 de dezembro de 2012. Diretrizes e normas regulamentadoras de pesquisas envolvendo seres humanos. Diário Oficial da União; 2013.
Brasil. Conselho Nacional de Saúde. Resolução nº 510, de 7 de abril de 2016. Dispõe sobre as normas aplicáveis a pesquisas em Ciências Humanas e Sociais. Diário Oficial da União; 2016.
Brasil. Lei nº 13.709, de 14 de agosto de 2018. Lei Geral de Proteção de Dados Pessoais (LGPD). Diário Oficial da União; 2018.