Modelado, explicabilidad y hueco identificado

Qué se ha hecho, cómo se justifica y qué falta

Qué se ha hecho en aprendizaje automático sobre permeabilidad BBB, cómo se justifica una predicción a nivel de subestructura, y qué trabajo no existe todavía y este proyecto pretende hacer.

Borrador para revisión; el estado y las advertencias de verificación están en la presentación.


6. Aprendizaje automático aplicado a permeabilidad BBB

6.1 Conjuntos de datos

Dataset Tamaño Balance Licencia
B3DB 7,807–7,982 63.5% / 36.5% CC0
BBBP (MoleculeNet) ~1,955–2,050 76% / 24% No explícita
TDC BBB_Martins 1,975 No verificado No especificada
LightBBB 7,162 5,453 / 1,709 No explícita

B3DB se compiló a partir de 50 recursos publicados (Meng et al., 2021). BBBP y TDC BBB_Martins derivan del mismo estudio (Martins et al., 2012), de modo que no son fuentes independientes.

6.2 Incertidumbre experimental y construcción de etiquetas

La documentación inicial de B3DB describía grupos A–D según el tipo de evidencia y propuso usarlos para seleccionar observaciones. Sin embargo, el diccionario del archivo curado por la patrocinadora indica que B3DB no publica el criterio completo de asignación y que sus categorías de clasificación y regresión no son intercambiables. La auditoría del archivo recibido encontró, además, que la categoría está asociada con la distribución de BBB+/BBB−: filtrar A+B modifica la prevalencia de BBB− de 36.5% a 27.0%, mientras que la cantidad de referencias no sigue un orden de calidad (D tiene mediana de tres referencias frente a una en C).

Por ello, para el EDA vigente se incluyen las 7,805 filas etiquetadas del archivo curado y se conserva A–D para descripción y estratificación, no como escala de confiabilidad ni como criterio automático de exclusión. La comparación de subconjuntos puede plantearse como análisis de sensibilidad, pero no permite por sí sola concluir que las etiquetas de una categoría sean más confiables. En las seis filas que tienen logBB pero no clase integrada, el diccionario de la patrocinadora atribuye la falta de unión a una diferencia de forma estereoquímica entre los registros de regresión y clasificación; no se les asigna clase a partir de la conectividad. El umbral de conversión informado para los registros categóricos basados en logBB es −1.0.

6.3 Desempeño esperable

Contexto Resultado
Scaffold split, mejor del leaderboard de TDC 0.924 ± 0.003 AUROC
Rango esperable para un modelo bien construido 0.85–0.92 AUROC
Split aleatorio / Kennard-Stone 98.7% exactitud (Yuan et al., 2018)

La brecha de 7 a 13 puntos entre ambos regímenes es el efecto de la fuga de información entre particiones. Una auditoría de 51 configuraciones de benchmarks encontró que, al endurecer las particiones, el modelo de primer lugar perdió su posición en 15 de 28 conjuntos (Schuh et al., 2026).

Los baselines publicados para el mismo conjunto BBBP varían entre 0.681 y 0.7194 para Random Forest según la fuente, producto de implementaciones distintas del scaffold split. Este trabajo no adopta cifras de la literatura como referencia, sino que construye su propio baseline.


7. Explicabilidad en modelos moleculares

7.1 Justificación

La explicabilidad no es un complemento: los asesores la plantearon como requisito y el objetivo declarado es una interpretación biológica capaz de sostener una publicación. Esto condiciona la elección de representación, que debe permitir atribución a nivel de substructura.

7.2 Atribución sobre fingerprints y sus limitaciones

El mapeo de un bit de Morgan a la substructura que lo activó es directo mediante la API de RDKit. Tres limitaciones condicionan el diseño:

Colisiones de bits. Substructuras químicamente distintas comparten bit, forzando una atribución única a fragmentos con efectos opuestos. La solución adoptada es Sort & Slice (Dablander et al., 2024), que ordena las substructuras por frecuencia y conserva las más frecuentes, libre de colisiones por construcción, con más de un año de validación. Existe una alternativa más reciente (Li et al., 2026) que se validó solo con splits aleatorios, no scaffold, según admiten sus autores, y cuyo paquete está en estado alfa con adopción casi nula; se considera piloto comparativo, no base del pipeline.

Moléculas fantasma. El muestreo de fondo de SHAP perturba el vector de bits directamente, generando combinaciones que no corresponden a ninguna molécula ensamblable (Tamura et al., 2021). La atribución puede premiar un fragmento inexistente.

Brecha semántica. “Las características decisivas para las predicciones pueden o no ser responsables de actividades específicas” (Rodríguez-Pérez & Bajorath, 2020). Importancia para el modelo no equivale a causalidad biológica (Kumar et al., 2020).

7.3 Métodos complementarios

Siete criterios de evaluación permiten concluir que SHAP es completo pero débil en accionabilidad y parsimonia, mientras que los contrafactuales son fuertes en ambas y débiles en completitud: son complementarios, no sustitutos (Wellawatte et al., 2022; Wellawatte et al., 2023).

Sobre redes de grafos, al comparar seis métodos contra substructuras de referencia y siete químicos medicinales, Integrated Gradients alcanzó AUROC de atribución de 0.675 mientras que los métodos basados en atención quedaron cerca del azar (0.467 y 0.520) (Rao et al., 2022).

De ahí la decisión metodológica central: emplear al menos dos métodos independientes y reportar como confirmadas únicamente las substructuras en que coinciden, declarando los desacuerdos. El desacuerdo entre métodos está documentado como la norma.

Una explicación post-hoc es un modelo aproximador distinto del original, sin garantía de reflejar su razonamiento (Rudin, 2019). Por eso se entrena en paralelo un modelo inherentemente interpretable como control.

7.4 Del nivel molecular al enunciado agregado

Debe señalarse con franqueza que no existe un método establecido y citable que realice este procedimiento de extremo a extremo. Lo propuesto es una síntesis de componentes establecidos: agrupación por andamios (Bemis & Murcko, 1996), matriz de presencia de fragmentos, prueba exacta de Fisher con corrección de Benjamini-Hochberg, y contraste contra la magnitud media de atribución. El antecedente más cercano son las redes de andamios (Schuffenhauer et al., 2007; Varin et al., 2011).

La validación propuesta es por triangulación: que el enriquecimiento estadístico coincida con quimiotipos privilegiados del SNC ya conocidos (Evans et al., 1988).

7.5 Riesgos documentados

Acantilados de actividad. Todos los métodos fallan desproporcionadamente en pares de estructura casi idéntica y actividad discontinua (van Tilborg et al., 2022). Los métodos de atribución suaves producirán explicaciones casi idénticas para estructuras casi idénticas, justamente donde la relación real es discontinua. Las explicaciones serán menos confiables en los compuestos limítrofes, que son los de mayor interés.

Aprendizaje de atajos. Sobre benchmarks derivados de ChEMBL, un modelo alimentado únicamente con el identificador de la diana y el laboratorio inferido iguala a los baselines estructurales (Blevins & Quigley, 2025). De ahí la recomendación de particiones disjuntas por fuente, no solo por andamio.

Advertencia: esa última fuente es un preprint sin revisión por pares y debe citarse como tal.


8. Estado del arte y hueco identificado

No se identificó ningún trabajo publicado que implemente un clasificador de permeabilidad BBB basado en aprendizaje automático alimentando un clasificador de actividad neuroprotectora, específicamente sobre productos naturales y construido a partir de CMAUP, NPASS y ChEMBL.

Los antecedentes más próximos:

Kato et al. (2025) es el más cercano en arquitectura: biblioteca de ~1,700 constituyentes, ensayo PAMPA-BBB (611 resultados usables, 255 permeables), y una segunda etapa de neurotoxicidad sobre los 247 más permeables (Kato et al., 2025). Es experimental, no computacional, y mide neurotoxicidad en lugar de neuroprotección.

Gürbüz et al. (2025) aplica la misma secuencia de dos etapas —permeabilidad seguida de inhibición de GSK-3β, CK-1δ y AChE— sobre 23 compuestos fenólicos naturales (Gürbüz et al., 2025). Directamente pertinente, pero de escala reducida y experimental.

Yasir et al. (2026) es la plantilla metodológica más próxima: Random Forest sobre 6,880 inhibidores de AChE de ChEMBL, seguido de filtro fisicoquímico de permeabilidad, acoplamiento molecular y validación experimental (Yasir et al., 2026). No trabaja con productos naturales, pero establece el mismo orden de etapas.

Advertencia de alcance: la búsqueda leyó completos los tres trabajos más cercanos, pero no fue exhaustiva. La afirmación de novedad debe enunciarse con esa reserva.


Volver arriba

Referencias

Bemis, G. W., & Murcko, M. A. (1996). The Properties of Known Drugs. 1. Molecular Frameworks. Journal of Medicinal Chemistry, 39(15), 2887-2893. https://doi.org/10.1021/jm9602928
Blevins, A. D., & Quigley, I. K. (2025). Clever Hans in Chemistry: Chemist Style Signals Confound Activity Prediction on Public Benchmarks. https://arxiv.org/abs/2512.20924
Dablander, M., Hanser, T., Lambiotte, R., & Morris, G. M. (2024). Sort & Slice: a simple and superior alternative to hash-based folding for extended-connectivity fingerprints. Journal of Cheminformatics, 16, 135. https://doi.org/10.1186/s13321-024-00932-y
Evans, B. E., Rittle, K. E., Bock, M. G., DiPardo, R. M., Freidinger, R. M., Whitter, W. L., Lundell, G. F., Veber, D. F., Anderson, P. S., Chang, R. S. L., Lotti, V. J., Cerino, D. J., Chen, T. B., Kling, P. J., Kunkel, K. A., Springer, J. P., & Hirshfield, J. (1988). Methods for Drug Discovery: Development of Potent, Selective, Orally Effective Cholecystokinin Antagonists. Journal of Medicinal Chemistry, 31(12), 2235-2246. https://doi.org/10.1021/jm00120a002
Gürbüz, P., Doğan, Ş., Gündüz, M., Martínez-González, L., Pérez, C., & Martínez, A. (2025). Screening Natural Phenolic Compounds for Blood-Brain Barrier Permeability, Alongside GSK-3\(\beta\), CK-1\(\delta\), and AChE Inhibition, for the Treatment of Alzheimer’s Disease. Drug Development Research, 86(8), e70193. https://doi.org/10.1002/ddr.70193
Kato, R., Zhang, L., Kinatukara, N., Huang, R., Asthana, A., Weber, C., Xia, M., Xu, X., & Shah, P. (2025). Investigating blood–brain barrier penetration and neurotoxicity of natural products for central nervous system drug development. Scientific Reports, 15, 7431. https://doi.org/10.1038/s41598-025-90888-2
Kumar, I. E., Venkatasubramanian, S., Scheidegger, C., & Friedler, S. (2020). Problems with Shapley-value-based explanations as feature importance measures. Proceedings of the 37th International Conference on Machine Learning, PMLR, 119, 5491-5500.
Li, J., Qu, X., Zhang, W., & Zhong, S. (2026). Collision-free morgan fingerprints: a principled approach to enhance machine learning performance and interpretability in chemistry. Journal of Cheminformatics, 18, 46. https://doi.org/10.1186/s13321-026-01170-0
Martins, I. F., Teixeira, A. L., Pinheiro, L., & Falcão, A. O. (2012). A Bayesian Approach to in Silico Blood-Brain Barrier Penetration Modeling. Journal of Chemical Information and Modeling, 52(6), 1686-1697. https://doi.org/10.1021/ci300124c
Meng, F., Xi, Y., Huang, J., & Ayers, P. W. (2021). A curated diverse molecular database of blood-brain barrier permeability with chemical descriptors. Scientific Data, 8(1), 289. https://doi.org/10.1038/s41597-021-01069-5
Rao, J., Zheng, S., Lu, Y., & Yang, Y. (2022). Quantitative evaluation of explainable graph neural networks for molecular property prediction. Patterns, 3(12), 100628. https://doi.org/10.1016/j.patter.2022.100628
Rodríguez-Pérez, R., & Bajorath, J. (2020). Interpretation of machine learning models using shapley values: application to compound potency and multi-target activity predictions. Journal of Computer-Aided Molecular Design, 34(10), 1013-1026. https://doi.org/10.1007/s10822-020-00314-0
Rudin, C. (2019). Stop explaining black box machine learning models for high stakes decisions and use interpretable models instead. Nature Machine Intelligence, 1(5), 206-215. https://doi.org/10.1038/s42256-019-0048-x
Schuffenhauer, A., Ertl, P., Roggo, S., Wetzel, S., Koch, M. A., & Waldmann, H. (2007). The Scaffold Tree — Visualization of the Scaffold Universe by Hierarchical Scaffold Classification. Journal of Chemical Information and Modeling, 47(1), 47-58. https://doi.org/10.1021/ci600338x
Schuh, M. G., Daniluk, A., & Sieber, S. A. (2026). Auditing widely used biomolecular benchmarks reveals systematic data inconsistencies. Chemical Science. https://doi.org/10.1039/d6sc01799a
Tamura, S., Jasial, S., Miyao, T., & Funatsu, K. (2021). Interpretation of Ligand-Based Activity Cliff Prediction Models Using the Matched Molecular Pair Kernel. Molecules, 26(16), 4916. https://doi.org/10.3390/molecules26164916
van Tilborg, D., Alenicheva, A., & Grisoni, F. (2022). Exposing the Limitations of Molecular Machine Learning with Activity Cliffs. Journal of Chemical Information and Modeling, 62(23), 5938-5951. https://doi.org/10.1021/acs.jcim.2c01073
Varin, T., Schuffenhauer, A., Ertl, P., & Renner, S. (2011). Mining for Bioactive Scaffolds with Scaffold Networks: Improved Compound Set Enrichment from Primary Screening Data. Journal of Chemical Information and Modeling, 51(7), 1528-1538. https://doi.org/10.1021/ci2000924
Wellawatte, G. P., Gandhi, H. A., Seshadri, A., & White, A. D. (2023). A Perspective on Explanations of Molecular Prediction Models. Journal of Chemical Theory and Computation, 19(8), 2149-2160. https://doi.org/10.1021/acs.jctc.2c01235
Wellawatte, G. P., Seshadri, A., & White, A. D. (2022). Model agnostic generation of counterfactual explanations for molecules. Chemical Science, 13(13), 3697-3705. https://doi.org/10.1039/D1SC05259D
Yasir, M., Park, J., Han, E.-T., Park, W. S., Han, J.-H., Choe, J., & Chun, W. (2026). Machine Learning and Molecular Modeling Strategy for the Identification of CNS-Active Acetylcholinesterase Inhibitors. Pharmaceuticals, 19(7), 1120. https://doi.org/10.3390/ph19071120
Yuan, Y., Zheng, F., & Zhan, C.-G. (2018). Improved Prediction of Blood-Brain Barrier Permeability Through Machine Learning with Combined Use of Molecular Property-Based Descriptors and Fingerprints. The AAPS Journal, 20(3), 54. https://doi.org/10.1208/s12248-018-0215-8