Un agente de WhatsApp que contesta con notas de voz

Cómo nació

La idea era tener un agente conversacional decente para ofrecerlo a clientes, y para eso no vale explicarlo: hay que enseñarlo funcionando. Al probarlo con clientes que ya conocían a su responsable, pasó algo que no estaba previsto: lo que más les llamó la atención no fue el chatbot, fue oír la voz de quien les atiende contestándoles, con su tono y su forma de responder. Lo bueno no es el clonado de voz, que hoy cualquiera hace en diez minutos, sino todo lo que hubo que construir alrededor para que no se note la máquina.

El stack, explicado

El «stack» es el conjunto de herramientas con las que está hecho:

• Una plataforma multicliente de WhatsApp de terceros como base (bandeja de entrada, varios espacios de trabajo, pasarela de envío), sobre un fork privado. Partir de ella ahorró el trabajo de fontanería y dejó el tiempo para la parte que se ve.
• Síntesis de voz con pago por uso, sin cuota mensual, con una muestra de voz del propio dueño.
• Un modelo de IA que transcribe las notas de voz que llegan y describe las fotos, para que el agente lea siempre texto.
• Next.js y Supabase para la aplicación y los datos, y una pasarela de WhatsApp oficial.
• Las claves no viven en el código: se inyectan desde el llavero del sistema.

La decisión de diseño más exportable

Escribir para el oído no es un retoque posterior, es una restricción de redacción. La primera versión decidía si contestar con audio después de generar la respuesta, y entonces el texto ya traía la lista de horas dentro: sintetizarlo era leer una tabla en alto. Moviendo la decisión antes de preparar las instrucciones del modelo, el agente escribe distinto desde el principio: habla por rangos («mañana tengo hueco de 10 a 1») y lo que hay que leer va en un bloque aparte que sale como mensaje de texto justo detrás del audio.

La regla general: si una decisión cambia cómo hay que escribir algo, tiene que tomarse antes de escribirlo, no al enviarlo.

Qué aprendimos con conversaciones reales

• Una palabra no es una intención. En una prueba, el tercer audio apagó la IA sin avisar. La palabra suelta «agente» estaba en la lista de frases que significan «quiero hablar con una persona», y el cliente había dicho «los agentes de voz». Como el negocio vende agentes, sus clientes la dicen en cada mensaje. Ahora solo disparan frases con intención real, como «con una persona» o «operador».
• La voz es cómoda para conversar y pésima para deletrear. Un cliente dictó su correo por voz, la transcripción lo cambió y la cita se creó con otra dirección, sin que nadie lo notara. Ahora todo dato dictado (correo, teléfono, nombre, dirección) el agente lo repite por escrito y pide confirmación antes de usarlo.
• La muestra manda por su estilo, no por su calidad. Una grabación antigua, muy buena pero de narración pausada, daba un locutor de documental contestando WhatsApps. Con dos tomas nuevas, dinámicas, de unos 50 segundos, salió bien.
• Un fallo de voz nunca se come la respuesta. Si falla la síntesis o el envío del audio, sale el texto, y no se reintenta en los dos casos en que el texto también fallaría (el contacto se dio de baja o pasó la ventana de 24 horas de WhatsApp).

Límites honestos

• La voz clonada es la del propio titular, con su permiso. Para clonar la voz de otra persona haría falta su autorización expresa por escrito.
• Un audio tarda en llegar unos 20 a 25 segundos: se espera un margen por si la persona sigue escribiendo.
• No hay capturas porque las conversaciones son de personas reales.