Con varios chatbots disponibles en línea, puede resultar extremadamente difícil seleccionar el que satisfaga sus necesidades. Aunque puedes comparar dos chatbots manualmente, requerirá mucho tiempo y esfuerzo.
Una forma mejor y más sencilla es utilizar Chatbot Arena para comparar los diferentes LLM que impulsan los chatbots populares. Ofrece un par de modos para comparar los distintos modelos, que explicamos a continuación.
Tabla de contenido
¿Qué es Chatbot Arena?
Creado por LMSYS Org, Chatbot Arena es una plataforma para comparar varios LLM. Utiliza el sistema Elo Rating para clasificar los distintos modelos.
Chatbot Arena ofrece un par de formas para que los usuarios comparen y califiquen los LLM. Según los comentarios enviados, Chatbot Arena clasifica los diferentes LLM en la tabla de clasificación pública. El proyecto está patrocinado por HuggingFace, una alternativa de código abierto a ChatGPT.
Cómo comparar LLM anónimos con Chatbot Arena
El modo de batalla de Chatbot Arena te permite comparar LLM de forma anónima. Por ejemplo, puedes comparar ChatGPT (GPT 3.5) y Claude. Esto significa que Chatbot Arena selecciona dos modelos de idioma y, sin revelar sus nombres, le permite compararlos.
Al ingresar al primer mensaje, Chatbot Arena obtiene respuestas de ambos modelos y las presenta una al lado de la otra. La plataforma le permite regenerar respuestas (para ambos LLM) y borrar el historial para iniciar una conversación diferente. Puede seguir haciendo más preguntas hasta que haya seleccionado un ganador claro.
Luego, podrás elegir si el modelo A es mejor o el B. Al seleccionar al ganador, Chatbot Arena revela los nombres de ambos bots. Este modo funciona muy bien ya que tu decisión no se ve afectada por tu percepción previa o la popularidad de los modelos. Chatbot Arena también le permite ajustar parámetros como temperatura, P superior y tokens de salida máxima.
Cómo comparar LLM seleccionados con Chatbot Arena
Si desea comparar dos LLM específicos, puede cambiar al modo de lado a lado de Chatbot Arena. Aparte del hecho de que puedes elegir los LLM tú mismo, este modo funciona casi igual que el modo batalla. Puede ajustar parámetros, regenerar respuestas, borrar el historial y seleccionar un ganador al final.
Sin embargo, la cantidad de LLM disponibles en este modo es limitada. Puedes seleccionar diferentes versiones de Llama 2, Vicuña y ChatGLM. Aunque los LLM populares, como GPT-4, GPT-3.5, Claude 1, Claude 2, etc., actualmente no están disponibles en este modo, Chatbot Arena planea agregarlos.
Comparar LLM usando Chatbot Arena
Ya sea que esté buscando un chatbot adecuado para sus necesidades o simplemente quiera probar diferentes LLM, Chatbot Arena es una gran plataforma.
Proporciona una forma simplificada de comparar diferentes modelos de lenguaje uno al lado del otro. Y dado que mantiene una tabla de clasificación basada en los comentarios de los usuarios, puede ver directamente las clasificaciones de varios modelos sin realizar las pruebas usted mismo.