Integración de ChatGPT mediante API para un sistema RAG

Descripción del proyecto: Estamos buscando un desarrollador con experiencia en la integración de APIs, específicamente con la API de OpenAI (ChatGPT), para implementar un sistema de generación de texto basado en RAG (Retrieval-Augmented Generation). Este sistema combinará una base de datos de documentos con la capacidad de procesamiento de ChatGPT para proporcionar respuestas precisas y completas a partir de nuestras fuentes internas. Nuestro sistema se basa en Odoo, desde donde gestionamos los datos y la lógica necesaria para interactuar con la API de ChatGPT. La base de datos de documentos incluirá unos 10 archivos principalmente compuestos por textos legales que contienen tablas. El archivo más grande tiene unas 400 páginas, mientras que la mayoría están en torno a las 40 páginas. Nuestra parte del trabajo incluirá la extracción y preparación de los datos desde Odoo, así como la creación de prompts personalizados. El freelance se encargará de implementar la conexión con la API, garantizar que los parámetros sean configurados correctamente para resultados óptimos, y orientarnos sobre el modelo más adecuado (GPT-4, GPT-3.5-turbo, etc.) y la configuración de la API para manejar eficientemente los documentos. Requisitos del proyecto: 1. Configuración de la conexión con la API de OpenAI: Implementar la integración con la API de OpenAI para que nuestro sistema (gestionado desde Odoo) pueda enviar datos a ChatGPT y recibir respuestas procesadas. Garantizar que la API maneje consultas a nuestra base de datos de documentos (o documentos cargados) y genere respuestas completas basadas en esas fuentes. 2. Orientación técnica sobre la configuración de la API: Ayudarnos a elegir el modelo de ChatGPT más adecuado (por ejemplo, GPT-4, GPT-3.5-turbo, etc.) según el tipo de consultas y volumen de datos. Asesorarnos en la configuración de los parámetros de la API, como temperature, max_tokens y otros ajustes para optimizar la calidad de las respuestas. Tiempo de consulta y manejo eficiente de los datos de los archivos (especialmente para el archivo más grande). Revisión opcional de nuestros prompts para sugerir mejoras si es necesario. 3. Gestión de datos y seguridad: Garantizar que los datos estructurados enviados desde Odoo (en JSON o formato equivalente) sean manejados correctamente por la API. Implementar medidas para la privacidad y seguridad de los datos transmitidos. 4. Soporte para la integración con RAG: Asegurar que el sistema funcione de manera eficiente con nuestra base de datos de documentos en el contexto de un sistema RAG. Proponer estrategias para garantizar que las consultas a los documentos devuelvan respuestas completas, no parciales, incluso en documentos extensos y complejos. Habilidades requeridas: 1. Experiencia con la integración de APIs REST (especialmente OpenAI API). 2. Conocimientos de programación en cualquier lenguaje que permita trabajar con APIs REST (ej., Python, Node.js, PHP, etc.). 3. Familiaridad con sistemas RAG (Retrieval-Augmented Generation) y experiencia manejando archivos grandes y textos estructurados (incluyendo tablas). 4. Conocimiento de los parámetros de configuración de la API de OpenAI y cómo afectan a la calidad y precisión de las respuestas. 5. Buenas prácticas en la gestión de datos JSON y transmisión segura de información. Entregables: Un script o sistema funcional que: Reciba los datos estructurados enviados desde Odoo (entradas) y los procese con la API de OpenAI. Devuelva las respuestas generadas por ChatGPT en un formato compatible con Odoo. Funcione correctamente con nuestra base de datos de documentos en el contexto de un sistema RAG. Documentación básica que incluya: Configuración de la API. Explicación de los parámetros ajustados y su impacto. Solución a errores comunes o límites de la API. Revisión opcional y sugerencias para la optimización de nuestros prompts. Detalles adicionales: Nosotros nos encargaremos de la extracción y preparación de los datos desde Odoo, así como de la personalización de los prompts. La base de datos incluye unos 10 documentos, siendo el más grande de aproximadamente 400 páginas y la mayoría en torno a 40 páginas. Los documentos contienen textos legales y tablas. Buscamos orientación sobre las mejores prácticas para configurar la API y manejar consultas eficientes en un sistema RAG.