TL;DR: El modelo de razonamiento Chain of Thought (CoT) está remodelando la IA al mejorar su capacidad para dividir problemas complejos en pasos manejables, combinando el razonamiento intuitivo y el lógico. El enfoque único de DeepSeek con la formación Outcome Reward ofrece una clara ventaja sobre los modelos tradicionales al priorizar la divergencia creativa y la especulación de la intención del usuario.
Introducción
El mundo de los modelos de razonamiento de IA evoluciona rápidamente y, con el lanzamiento de GPT O3-mini, asistimos a una proliferación de estas tecnologías. Después de explorar varios modelos como O1, DS y Gemini 2 Flash, he observado características únicas en la cadena de pensamiento (CoT) de DeepSeek que la diferencian. A diferencia de GPT, que destaca en la ejecución de comandos con precisión, DeepSeek divide los problemas en pasos detallados y anticipa la intención del usuario, a menudo utilizando lenguaje especulativo como "tal vez"
Principales diferencias entre los modelos de CdT
- GPT O1: Conocido por ejecutar indicaciones complejas y de alto nivel con precisión, pero carece de creatividad.
- DeepSeek (DS): Muestra un pensamiento divergente, una creatividad y una expresividad superiores con instrucciones sencillas, aunque puede tener dificultades con instrucciones complejas.
Comprender las diferencias
Estas diferencias tienen su origen en las distintas metodologías de entrenamiento: DeepSeek emplea el entrenamiento Outcome Reward, mientras que la mayoría de los otros Large Language Models (LLM) utilizan el entrenamiento Process Reward. Exploremos más a fondo estos sistemas de recompensa.
Capítulo 1: Entrenamiento en la cadena de pensamiento: creación del marco de trabajo
La capacidad de la IA para el pensamiento profundo se origina en la "descomposición paciente del problema" combinada con la "orientación intuitiva de la respuesta" Al animar a la IA a descomponer los problemas como lo hacen los humanos, las conjeturas intuitivas se transforman en razonamientos lógicos.
Piense en el entrenamiento CoT como si empezara un puzzle identificando las piezas de los bordes. Proporciona a la IA un "mapa de razonamiento" que la guía para identificar el problema, desglosar los pasos y conectar la lógica en lugar de sacar conclusiones precipitadas.
Ejemplo: Reducir la congestión del tráfico urbano
- Sin CdT: Simplemente sugiere construir más metros.
- Con CoT:
- Analiza las causas primarias, por ejemplo, demasiados coches privados.
- Ofrece soluciones a la demanda, como el transporte público.
- Propone soluciones por el lado de la oferta, como optimizar los semáforos.
- Sugiere una planificación a largo plazo, como políticas de equilibrio entre trabajo y residencia.
Capítulo 2: Recompensa del proceso: pequeñas recompensas por cada paso
La recompensa del proceso sumerge a la IA en los procesos de pensamiento humano, centrándose en los pasos que conducen a un resultado razonable. Este enfoque es similar al de la navegación por GPS, que recalcula las rutas en caso de giros erróneos en lugar de limitarse a anunciar rutas erróneas al llegar al destino.
- Técnicas básicas:
- Puntuación de pasos: Evalúa de forma independiente cada paso de razonamiento.
- Coherencia lógica: Garantiza que la cadena lógica permanezca intacta.
Capítulo 3: Recompensa por resultados: centrarse en el éxito final
La recompensa por resultado entrena a la IA para llegar a la respuesta correcta de una forma comprensible para el ser humano proporcionando al modelo una pregunta y un resultado, lo que le permite decidir el proceso intermedio.
- Diseño humanizado:
- Prefiere las analogías a las fórmulas.
- Adapta los escenarios al público, utilizando métodos diferentes para ingenieros y para jóvenes estudiantes.
Capítulo 4: Fusión de recompensas: proceso de equilibrio y resultado
El pensamiento ideal de la IA requiere equilibrar la "descomposición racional" con la "expresión emocional" La recompensa del proceso actúa como el director de orquesta, guiando cada paso, mientras que la recompensa del resultado es el aplauso del público, influyendo en el tono emocional.
Ejemplo: Explicar a un niño por qué caen las hojas
- Pure Process AI: Ofrece explicaciones detalladas y técnicas.
- Pure Outcome AI: Proporciona respuestas sencillas e imaginativas.
- AI equilibrada:
- Ofrece explicaciones científicas junto con narraciones atractivas.
La recompensa por procesos garantiza la credibilidad, mientras que la recompensa por resultados añade empatía, creando una IA equilibrada que convierte el código frío en interacciones cálidas y cercanas.
A medida que la IA aprende a equilibrar dinámicamente estos enfoques, se transforma en un asistente más parecido al ser humano, capaz tanto de un análisis riguroso como de una comunicación empática.
