ChatGPT, como modelo de lenguaje de IA, a veces puede proporcionar recomendaciones que podrían ser potencialmente peligrosas, especialmente relacionadas con la salud, el uso de sustancias y temas médicos. Hay informes y estudios que han señalado casos en los que ChatGPT dio consejos inseguros o inapropiados sobre el consumo de sustancias, condiciones médicas o dietas. Aunque ChatGPT está diseñado para ofrecer información general, no es un sustituto del asesoramiento profesional médico, legal o psicológico. Se recomienda encarecidamente a los usuarios no basarse únicamente en la IA para decisiones críticas, especialmente sobre salud o sustancias peligrosas, y consultar a profesionales calificados para esos asuntos.

Existen preocupaciones documentadas sobre que ChatGPT puede dar recomendaciones que confunden a los usuarios, como no enfatizar suficientemente la importancia de la profilaxis previa a la exposición (PrEP) para el VIH o a veces proporcionar consejos demasiado generales que pueden no ajustarse a circunstancias individuales de salud. Además, las pautas éticas y de seguridad impiden que ChatGPT ofrezca información sobre actividades ilegales o peligrosas, y está programado para rechazar esas consultas.