DEV Community: Guillermo Ruiz

Visualizando el Espacio: Cómo construir tu propia app de satélites con IA y streamlit

Guillermo Ruiz — Thu, 03 Oct 2024 10:51:08 +0000

Siempre he sentido una profunda fascinación por las estrellas y las galaxias. De pequeño, con apenas 12 años, solía pasarme las noches observando el cielo desde mi habitación. Vivir en un pequeño pueblo tenía la ventaja de disfrutar de un firmamento despejado, libre de contaminación lumínica. Una noche, mientras intentaba identificar algunas constelaciones, vi un punto que se movía lentamente. Emocionado, corrí a despertar a mis padres (eran las 1:00 a.m.). “¡Papá, papá! ¡Algo se está moviendo en el cielo!”. Mi padre se levantó, miró con calma y, sin inmutarse, dijo: “Guille, gilipollas, eso es un satélite”. Acto seguido, se dio la vuelta y volvió a la cama.

Esa anécdota, aunque breve, me marcó profundamente. Tanto así, que mi proyecto de fin de carrera fue un “Simulador de Comunicaciones Digitales vía Satélite”. Siempre digo, medio en broma, que quería trabajar con satélites y explorar el espacio... y lo más lejos que llegué fue a trabajar en “la nube”.

Introducción

En el campo de la exploración espacial, los satélites desempeñan un papel fundamental. Para entender mejor este campo, hemos desarrollado una aplicación utilizando Streamlit, potenciada por la inteligencia artificial de Amazon Bedrock y las capacidades de Amazon Q Developer. La aplicación permite explorar una extensa base de datos de satélites, visualizar sus órbitas y obtener información detallada sobre cada uno de ellos.

A lo largo del desarrollo, nos hemos apoyado en Amazon Q Developer para optimizar la escritura del código y perfeccionar nuestra lógica. Aprovechamos tanto sus recomendaciones en tiempo real como el entorno de chat para resolver errores y ajustar funcionalidades. Esto nos ha permitido agilizar el proceso y poder centrarnos en la experiencia educativa.

Estructura del Proyecto y Configuración del Entorno

Estructura de Directorios

Para nuestro proyecto de visualización de satélites, hemos utilizado la siguiente estructura de directorios:

streamlit-project/
│
├── venv/                             # Entorno virtual de Python
├── data/                             # Carpeta de datos
│   ├── UCS-Satellite-Database-1-1-2023.csv  # Base de datos de satélites de la UCS
│   └── data.ipynb                    # Notebook para análisis de datos preliminares
├── configuration.ini                 # Archivo de configuración con rutas y parámetros
└── satellites.py                     # Contiene el código completo de la lógica de la aplicación
└── README.md                         # Contiene la documentación del proyecto

Descripción de los Archivos

venv/: Contiene el entorno virtual de Python, donde se instalan las dependencias necesarias para la ejecución del proyecto sin afectar otras configuraciones del sistema.

data/:

UCS-Satellite-Database-1-1-2023.csv: Archivo CSV con la base de datos de satélites proporcionada por la Union of Concerned Scientists (UCS), que es la fuente de datos principal para la aplicación.
data.ipynb: Jupyter Notebook con análisis preliminar del conjunto de datos, donde se visualizan las columnas, se realizan pruebas de limpieza y se genera un análisis exploratorio.

configuration.ini:

Archivo de configuración que permite especificar rutas y otros parámetros del proyecto, facilitando la modificación sin necesidad de alterar el código fuente. El contenido de configuration.ini podría ser similar a:

[input_data]
input_file = data/UCS-Satellite-Database-1-1-2023.csv

satellites.py:

Este archivo contiene el core de la aplicación: toda la lógica para la carga de datos, el procesamiento y la visualización con Streamlit. Además, integra la IA de Amazon Bedrock junto con algunas de las sugerencias generadas por Amazon Q Developer (que, aunque no siempre son perfectas, nos permiten ajustarlas y optimizar nuestro código).

Configuración del Entorno Virtual en VS Code

Para configurar y ejecutar nuestra aplicación Streamlit en VS Code usando un entorno virtual, sigue estos pasos:

Abre VS Code y navega hasta la carpeta de tu proyecto.
Abre una nueva terminal en VS Code (Terminal > New Terminal).
Crea un nuevo entorno virtual:

python3 -m venv venv

Activa el entorno virtual:

source venv/bin/activate

Configura VS Code para usar el entorno virtual:
Presiona Ctrl+Shift+P (o Cmd+Shift+P en macOS) para abrir la paleta de comandos.
Escribe "Python: Select Interpreter" y selecciona esta opción.
Elige el intérprete de Python en la carpeta venv de tu proyecto.
Ahora puedes abrir el archivo satellites.py en VS Code y editarlo según sea necesario.

Para ver cómo está quedando nuestra aplicación, simplemente necesitamos ejecutar la aplicación en streamlit:

Integración de Amazon Q Developer

Durante el desarrollo, implementamos dos formas de aprovechar las capacidades de Amazon Q Developer:

Recomendaciones de Código en Tiempo Real: Al escribir el código en el editor, Q Developer ofreció sugerencias basadas en patrones de código comunes y buenas prácticas. Esto nos permitió corregir errores y optimizar funciones sin tener que salir del entorno de desarrollo.

Interacción a través de un Chat IA: Si no te gustan las recomendaciones en el editor, puedes usar el entorno de chat de Q Developer. Haciendo preguntas específicas, obtuvimos ayuda en la resolución de problemas, como la codificación del fichero utilizado.

Otro uso destacado de Q Developer fue la optimización del prompt que utilizamos. Partíamos del siguiente código:

Nos encontramos con un problema, nuestra función permitía que el asistente respondiera sobre temas no relacionados con el espacio y los satélites. Para solucionarlo, decidimos implementar restricciones más estrictas. Con las recomendaciones de Q Developer, refinamos el prompt estableciendo guardrails, asegurando que las respuestas se mantuvieran siempre dentro del contexto deseado.

En el apartado Integración con Amazon Bedrock tienes la versión mejorada basada en sus sugerencias.

Si realizamos una pregunta fuera del ámbito espacial, el modelo nos indica que no está diseñado para responder ese tipo de consultas.

Si queréis integrar Amazon Q en vuestro editor VS Code, mi compañero Denis Traub os lo explica paso a paso en 1 minuto 👉 Cómo integrar Amazon Q Developer en VS Code.

La Base: Streamlit y Pandas

Nuestra aplicación se construye sobre Streamlit, un framework de Python que facilita la creación de aplicaciones web interactivas. Utilizamos Pandas para manejar y analizar los datos de la base de datos de satélites de UCS.

import streamlit as st
import pandas as pd

@st.cache_data
def load_data():
    file_path = 'UCS-Satellite-Database-1-1-2023.csv'
    df = pd.read_csv(file_path, encoding='latin1')
    df['Date of Launch'] = pd.to_datetime(df['Date of Launch'], format='%m/%d/%Y', errors='coerce')
    return df

df = load_data()

Este código carga los datos y los prepara para su uso en la aplicación. La función @st.cache_data asegura que los datos se carguen una sola vez y se almacenen en caché para un acceso más rápido.

Visualización de Datos con Plotly

Para crear visualizaciones interactivas, utilizamos Plotly. Esto nos permite generar gráficos dinámicos que muestran información como la distribución de satélites por país o tipo de órbita.

import plotly.express as px

st.subheader('Top 10 Countries by Number of Satellites')
top_countries = df['Country of Operator/Owner'].value_counts().nlargest(10)
fig = px.bar(top_countries, title='Top 10 Countries by Number of Satellites')
st.plotly_chart(fig)

Visualización de Órbitas en 3D

Uno de los aspectos más complicados fue la creación de una visualización 3D de las órbitas de los satélites. Utilizamos Plotly para crear un globo terráqueo interactivo con la órbita del satélite superpuesta.

import plotly.graph_objects as go
import numpy as np

# Cálculo de la órbita
t = np.linspace(0, 2*np.pi, 100)
r = (perigee + apogee) / 2 + 6371  # Radio promedio de la órbita
x = r * np.cos(t)
y = r * np.sin(t) * np.cos(np.radians(inclination))
z = r * np.sin(t) * np.sin(np.radians(inclination))

# Conversión a latitud/longitud
orbit_lon = np.degrees(np.arctan2(y, x))
orbit_lat = np.degrees(np.arcsin(z/r))

fig = go.Figure()

# Añadir la órbita
fig.add_trace(go.Scattergeo(
    lon = orbit_lon,
    lat = orbit_lat,
    mode = 'lines',
    line = dict(width = 2, color = 'yellow'),
    name = 'Orbit'
))

# Añadir la posición del satélite
fig.add_trace(go.Scattergeo(
    lon = [lon],
    lat = [lat],
    mode = 'markers',
    marker = dict(size = 15, color = 'red', symbol = 'star'),
    name = 'Satellite'
))

fig.update_geos(
    projection_type = "orthographic",
    landcolor = "lightgreen",
    oceancolor = "lightblue",
    showocean = True,
    showland = True,
    showcoastlines = True,
    coastlinecolor = "black",
    showlakes = True,
    lakecolor = "blue",
    showcountries = True,
    countrycolor = "black",
    center = dict(lon = lon, lat = lat),
    projection_rotation = dict(lon = lon, lat = lat, roll = 0)
)

st.plotly_chart(fig)

Integración de Amazon Bedrock

La magia de nuestra aplicación, o al menos lo más interesante, radica en la integración de Amazon Bedrock, que nos permite incorporar capacidades de inteligencia artificial para responder preguntas de los usuarios sobre satélites.

# Bedrock response function
def get_bedrock_response(prompt, model_id="anthropic.claude-v2"):
    bedrock = boto3.client(service_name='bedrock-runtime', region_name='us-east-1')

        # Define the allowed topics
    allowed_topics = ["space", "astronomy", "NASA", "ISS", "ESA", "satellites"]

    # Create a guardrail instruction
    guardrail_instruction = (
        "You are an AI assistant specialized in space-related topics. "
        "Your responses must be strictly related to space, astronomy, NASA, ISS, ESA, or satellites. "
        "If the query is not related to these topics, politely inform the user that you can only "
        "discuss space-related subjects and suggest they rephrase their question to be about space."
    )

    # Combine the guardrail instruction with the user's prompt
    full_prompt = f"{guardrail_instruction}\n\nHuman: {prompt}\n\nAssistant:"

    body = json.dumps({
        "prompt": full_prompt,
        "max_tokens_to_sample": 500,
        "temperature": 0.5,
        "top_p": 1,
        "stop_sequences": ["\n\nHuman:"]
    })

    response = bedrock.invoke_model(
        body=body,
        modelId=model_id,
        accept='application/json',
        contentType='application/json'
    )

    response_body = json.loads(response.get('body').read())
    raw_response = response_body.get('completion', '')

    # Additional check to ensure the response is on-topic
    if not any(topic.lower() in raw_response.lower() for topic in allowed_topics):
        return ("I apologize, but I can only provide information about space, astronomy, "
                "NASA, ISS, ESA, or satellites. Could you please ask a question related to these topics?")

    return raw_response.strip()

Esta función utiliza el cliente de Boto3 para interactuar con Amazon Bedrock. Enviamos una pregunta (prompt) al modelo de IA, y este genera una respuesta. Si la respuesta está dentro de los límites de seguridad (guardrails) establecidos, nos proporcionará la información solicitada. De lo contrario, indicará que no está entrenado para responder a ese tipo de consultas.

Implementación del Chat IA

Implementamos dos secciones de chat en nuestra aplicación: una para preguntas generales sobre satélites y otra para preguntas específicas sobre un satélite seleccionado.

st.subheader('Ask Questions About Satellites')
question = st.text_input('Enter your question about satellites:')
if question:
    with st.spinner('Generating response...'):
        prompt = f"Human: Answer this question about satellites: {question}\nOnly provide information related to satellites, space technology, and Earth observation. Do not discuss politics, military details, or any sensitive topics.\n\nAssistant:"
        response = get_bedrock_response(prompt)
        st.write(response)

La función interactúa con Amazon Bedrock, permitiendo a los usuarios realizar consultas específicas sobre los satélites seleccionados.

Quizás os preguntéis, ¿por qué dos funciones de IA si parecen iguales?

Aunque la implementación del Chat IA también utiliza la misma función de get_bedrock_response, su enfoque es diferente: este chat está específicamente diseñado para preguntas sobre satélites individuales. Es importante ajustar el prompt para que cada respuesta se centre en la información específica del satélite seleccionado. Podemos añadir instrucciones adicionales para mantener la coherencia si fuese necesario.

Nuestra Aplicación

A continuación os mostramos cómo queda la aplicación, destacando las dos principales opciones de navegación: "Overview" y "Satellite Search".

En la vista "Overview", podéis explorar rápidamente las estadísticas y visualizaciones de los satélites, como el número total por país o tipo de órbita.

En la opción "Satellite Search", es posible buscar información detallada de un satélite específico, incluyendo su nombre, órbita, velocidad y trayectoria.

Código Completo

Si queréis replicar (y mejorar la aplicación) os dejamos el código en el siguiente repositorio.

Link: https://github.com/iaasgeek/satellites-AI/tree/main

Conclusión

Esta aplicación combina el potencial de Streamlit para interfaces de usuario, Plotly para visualizaciones interactivas y Amazon Bedrock para capacidades de IA, creando una forma distinta de explorar satélites.

En el futuro, planeamos incorporar visualizaciones 3D más avanzadas y aprovechar aún más la IA para ofrecer análisis predictivos y recomendaciones basadas en los datos espaciales.

Como veis, este proyecto muestra cómo la integración de diferentes tecnologías puede dar lugar a herramientas educativas que pueden ser entretenidas, en nuestro caso, en el ámbito de la exploración espacial.

Boletín AWS Open Source, September Edition

Guillermo Ruiz — Mon, 30 Sep 2024 21:34:55 +0000

En esta edición de la newsletter, exploraremos herramientas y soluciones open-source de la comunidad. Desde nuevas funcionalidades en AWS como bedrock-litellm para integrar OpenAI con Amazon Bedrock, hasta el uso de AWS Nitro Enclaves para proteger datos sensibles. Además, abordamos soluciones de automatización en clústeres EKS y simulación robótica en la nube. Con re:Invent a la vuelta de la esquina (Diciembre 2-6, Las Vegas), destacamos algunas sesiones de open-source que no te puedes perder y cerramos con una serie de artículos que cubren desde el desarrollo de aplicaciones en Streamlit hasta la optimización de cargas de trabajo en Amazon EKS.

Todo esto gracias a la comunidad, cuya colaboración hace posible esta newsletter.

Comencemos!

Tools

bedrock-litellm

bedrock-litellm es un proyecto que facilita la compatibilidad de OpenAI con Amazon Bedrock. OpenAI suele ser una de las opciones predeterminadas para integrar herramientas y bibliotecas de IA generativa, y con bedrock-litellm, ahora tienes la posibilidad de redirigir estas solicitudes para que utilicen modelos fundacionales gestionados por Amazon Bedrock. El proyecto utiliza litellm para llevar a cabo esta integración y se despliega en un clúster de Kubernetes.

apeman

apeman es una nueva herramienta que ayuda a los equipos de seguridad a mapear y visualizar rutas de ataque de AWS Identity. El archivo README proporciona instrucciones detalladas para comenzar, pero también es útil el artículo "Project Apeman: A Comprehensive Guide To Graph-Based AWS Security Analysis".

aws-mine

aws-mine es un proyecto de Steven Smiley dirigido a la seguridad. Ofrece un sistema de honey tokens para AWS que te permite crear claves de acceso que se pueden dejar en distintos lugares para atraer a posibles atacantes. Si se utilizan, recibirás una notificación en unos 4 minutos, lo que te permitirá investigar el activo comprometido.

bedrock-embed-web

bedrock-embed-web es un proyecto creado por Olivier Leplus que facilita la integración de modelos fundacionales de Amazon Bedrock en una interfaz de chat dentro de tus aplicaciones web.

validate-aws-policies

validate-aws-policies es una herramienta en línea de Python desarrollada por Alejandro Velez para validar políticas de AWS utilizando boto3 y la API de Access Analyzer. En su blog post "Continuous Delivery applied to Authorization with IAM Identity Center and AWS IAM Access Analyzer – Part 1", Alejandro muestra cómo integrar esta herramienta en tu pipeline de CI/CD, incluyendo un video demostrativo.

Demos, Soluciones y Workshops

deploy-langfuse-on-ecs-with-fargate

Este repositorio contiene el código en Python de AWS CDK para desplegar la aplicación Langfuse utilizando Amazon Elastic Container Registry (ECR) y Amazon Elastic Container Service (ECS). Si no estás familiarizado con Langfuse, se trata de una plataforma LLM (Large Language Models) de código abierto que ayuda a los equipos a depurar, analizar e iterar de forma colaborativa sus aplicaciones basadas en modelos de lenguaje. Es ideal para aquellos que buscan mejorar la gestión de sus implementaciones de IA.

sample-code-for-a-secure-vault-using-aws-nitro-enclaves

Este repositorio contiene una solución de almacenamiento segura usando AWS Nitro Enclaves, una funcionalidad disponible exclusivamente a través del hipervisor AWS Nitro System en instancias Amazon EC2 compatibles. Estos entornos son críticos cuando necesitas asegurar datos sensibles (como Información de Salud Protegida (PHI) o Información Personal Identificable (PII)) y garantizar que solo puedan ser descifrados a través de canales aprobados. Si quieres conocer más sobre Nitro Enclaves, te recomendamos revisar la documentación de este proyecto o ver los blogs de Guillermo Ruiz, donde habla de esto.

Y hablando de Guillermo, sigue indagando en la infraestructura utilizada para entrenar modelos de IA. ¿Es segura la infraestructura? ¿Pueden robar mi modelo una vez entrenado? ¿cómo puedo entrenar modelos sobre miles de nodos? Muchas de estas preguntas quedan resueltas en GenAI Series: Protegiendo Datos con AWS Nitro Enclaves y AWS KMS y GenAI Series: SageMaker HyperPod.

Elizabeth Fuentes, Developer Advocate en AWS, nos trae una serie de artículos donde nos enseña a construir un motor de búsqueda multimodal usando diferentes tecnologías. La serie se compone de los siguiente artículos:

-De Notebook a Serverless: Creando un Motor de Búsqueda Multimodal con Amazon Bedrock y PostgreSQL

-Construyendo un Motor de Búsqueda Multimodal con Amazon Titan Embeddings, Aurora Serveless PostgreSQL y LangChain

-Desplegando una Aplicación de Embeddings Serverless con AWS CDK, Lambda y Amazon Aurora PostgreSQL

No nos alejamos de CDK, ya que Pahud Hsieh ha adoptado la IA generativa y te muestra cómo usar herramientas como Amazon Q Developer (no es de código abierto, lamentablemente) para crear tus aplicaciones con AWS CDK en Writing CDK like a Pro using Amazon Q Customizations o cómo construir métodos L2 de CDK en Generate CDK Construct Methods Using Amazon Q Customizations. Si te interesa la automatización de infraestructura y CDK, esta lectura es imprescindible.

Cambiando de tercio, Michele Ricciardi comparte cómo habilitar el versionado y gestión de prompts usando LangChain y Amazon Bedrock en su post: Integrate Amazon Bedrock Prompt Management in LangChain applications. Perfecto para quienes buscan gestionar sus cadenas de prompts en aplicaciones más complejas.

Simulación de robots en la nube con EC2 y O3DE
No podía dejar pasar esta oportunidad para hablar de robótica e IoT. El último artículo de Mike, Simulando Robots en la Nube con EC2 y O3DE, te muestra cómo acelerar el desarrollo robótico utilizando simuladores. En este caso, utiliza Open 3D Engine (O3DE), un proyecto de código abierto que te puede ayudar a mejorar tus flujos de trabajo en robótica. ¡Échale un vistazo!

Cloud Native

Alex Rodríguez, AWS Community Builder, nos viene a hablar de ArgoCD, una herramienta declarativa de Gitops hecha para gestionar aplicaciones en Kubernetes de forma continua. La idea es que ArgoCD se encargue de mantener sincronizado el estado real de las aplicaciones y recursos en el clúster con lo que existe en GIT. Podéis leer más en su artículo Gestiona tus aplicaciones en EKS con ArgoCD.

Y no abandonamos a los hermanos Rodriguez (aka as AWSTwins), ya que Rubén nos trae un artículo sobre la gestión de escalado de Kubernetes utilizando Karpenter, una herramienta open source que nos permite escalar según demanda y además nos selecciona las instancias más óptimas de forma automática. Blog

¿Te interesa la monitorización de clústeres EKS? El artículo Automate Monitoring for your Amazon EKS Cluster using CloudWatch Container Insights presenta una solución automatizada basada en eventos para monitorizar tu clúster EKS utilizando métricas de CloudWatch Container Insights, además de otros servicios AWS. ¡Un tutorial práctico bastante completo!

Desarrollando Procesadores Personalizados usando OpenTelemetry en .NET 8 explora cómo desarrollar un procesador personalizado utilizando OpenTelemetry en el ecosistema de .NET. Es un tutorial práctico y detallado que guía a los desarrolladores en la implementación de estos procesadores.

Gestión de secretos en Amazon EKS para instituciones reguladas proporciona un resumen de tres opciones para gestionar secretos en Amazon EKS: External Secrets Operator (ESO), Sealed Secrets y AWS Secrets and Configuration Provider (ASCP), destacando las principales consideraciones para los clientes del sector financiero al elegir entre estas alternativas.

Cómo ejecutar WebAssembly en Amazon EKS es una guía paso a paso que explica cómo AWS permite a los usuarios aprovechar todo el potencial de Wasm (WebAssembly) mediante una integración fluida con EKS. Es un tutorial práctico ideal para quienes buscan implementar Wasm en sus aplicaciones.

Videos de la Semana

Introducción a OpenTofu en AWS: Chris Hill te muestra cómo aprovisionar infraestructura, gestionar el estado de manera efectiva e implementar buenas prácticas de automatización. También cubre cómo importar recursos existentes a OpenTofu para optimizar la gestión de la nube.

Introducción a Implementaciones en AWS con OpenTofu, Scalr y GitHub: David Hundley realiza una sesión de programación en vivo donde usa OpenSearch como un almacén vectorial para una solución de RAG, utilizando OpenTofu como capa de infraestructura como código para simplificar el despliegue.

El Mundo de Rust

Darko Mesaros se planteó recientemente la necesidad de enviar datos vía Amazon Kinesis. Pero en lugar de usar la CLI, decidió que mejor era hacerlo en Rust.

Sesiones Open Source en re:Invent

Para ir abriendo apetito, os dejamos algunas de las sesiones open-source que encontraréis en re:Invent.

STG325 | Herramientas Open Source para la Innovación de Datos en Amazon S3

Descubre cómo integrar herramientas open source como S3A, S3FileIO y Mountpoint para mejorar el procesamiento de datos y el aprendizaje automático en Amazon S3.

KUB403 | Escalado de Inferencia de Modelos LLM en Amazon EKS

Aprende a construir clústeres escalables y acelerados por GPU en Amazon EKS para inferencias de modelos de lenguaje (LLM), utilizando frameworks de última generación, AMIs optimizadas y NVIDIA CUDA.

OPN309-R | Prácticas Responsables para la IA Generativa con Open Source

Explora cómo utilizar Kubernetes y herramientas de código abierto para implementar IA generativa de forma ética y sostenible. Esta sesión cubre consideraciones clave para entrenar y desplegar modelos de IA respetando los principios de escalabilidad y resiliencia de Kubernetes.

XNT404 | Migración a PostgreSQL con .NET en AWS

Descubre cómo migrar aplicaciones .NET de SQL Server a PostgreSQL con Amazon RDS y AWS DMS. Aprende a refactorizar código y a superar los retos que se presentan en este tipo de migraciones.

OPN407 | Captura de Paquetes de Red con Mountpoint para Amazon S3 y Karpenter

Aprende cómo capturar paquetes de red en tiempo real con Mountpoint para Amazon S3 y escalar dinámicamente la infraestructura con Karpenter. Ideal para análisis forense y respuesta a incidentes de seguridad.

OPN308-R | Optimización de Cargas de Trabajo Cuantitativas con Open Source

Conoce cómo usar herramientas open source como Ray, Apache Iceberg y Spark para potenciar cargas de trabajo cuantitativas en AWS, optimizando costos con instancias Spot y servicios gestionados.

OPN201 | OpenSearch: De Fork a Fundación Linux

Conoce la evolución de OpenSearch desde su creación como un fork de Elasticsearch hasta su incorporación en la Fundación Linux, detallando su crecimiento y los planes futuros del proyecto.

AIM207-S | Búsqueda Vectorial Segura con Open Source (patrocinado por Aiven)

Descubre cómo las técnicas de búsqueda híbrida pueden mejorar la precisión de búsqueda en aplicaciones de IA, combinando técnicas avanzadas de texto y campo con opciones open source.

OPN310 | Despliegue de Aplicaciones Streamlit en AWS

Explora cómo crear y desplegar aplicaciones interactivas de análisis de datos usando Streamlit y AWS, abordando temas como autenticación y uso de AWS CDK para automatizar el ciclo de vida.

SVS402 | Carga de Imágenes de Contenedores con Seekable OCI (SOCI)

Implementa SOCI para reducir el tiempo de carga de contenedores mediante la carga diferida de imágenes en Amazon ECS y AWS Fargate, optimizando así los tiempos de despliegue y la utilización de recursos.

Para ver más charlas open-source, utilizad el siguiente enlace: https://registration.awsevents.com/flow/awsevents/reinvent24/public/page/catalog?search=open-source

Y hasta aquí nuestra edición de este mes. Nos vemos el mes que viene con una nueva edición. Hasta entonces, Happy coding!

GenAI Series: SageMaker HyperPod

Guillermo Ruiz — Tue, 24 Sep 2024 07:31:00 +0000

Amazon SageMaker HyperPod es uno de los grandes desconocidos de AWS. Se trata de una capacidad de entrenamiento distribuido diseñada para modelos de IA a gran escala y que tienen un alto consumo de recursos, como los modelos fundacionales (FM) y los modelos generativos. Es una extensión de las capacidades de Amazon SageMaker, creada específicamente para abordar los retos que surgen al entrenar modelos en miles de nodos durante largos periodos.

Vamos a ver qué características tiene:

1. Infraestructura Optimizada y Preconfigurada

HyperPod viene con bibliotecas preconfiguradas para el entrenamiento distribuido de SageMaker, optimizadas para escenarios que implican grandes conjuntos de datos y modelos. Estas bibliotecas están diseñadas para funcionar en configuraciones multinodo y multi-GPU. Con soporte nativo para paralelismo de datos y de modelos, HyperPod distribuye de manera eficiente las cargas de trabajo de entrenamiento entre una amplia flota de aceleradores.

El servicio está diseñado para escalar sin problemas a miles de nodos. La infraestructura subyacente está optimizada para maximizar el rendimiento y minimizar la sobrecarga de comunicación entre nodos distribuidos.

2. Procesamiento en Paralelo y Distribución Eficiente de Cargas

Lo que hace interesante a HyperPod es que particiona automáticamente tanto los modelos como los datos, asegurando que cada nodo en el clúster recibe una carga equilibrada. Esta partición es clave para el procesamiento en paralelo, permitiendo que los modelos de IA se entrenen mucho más rápido que en configuraciones tradicionales.

Quizás hayáis oído que HyperPod reduce el Tiempo de Entrenamiento en un 40%:. Esta afirmación se basa en su capacidad para paralelizar el trabajo en una amplia flota de GPUs, optimizando tanto la computación como la comunicación entre nodos.

3. Resiliencia con Self-healing y Tolerancia a Fallos

La necesidad de clústeres Self-Healing: A medida que los modelos de IA generativa escalan y requieren miles de nodos y semanas (o incluso meses) de entrenamiento continuo, la probabilidad de fallos de hardware aumenta. A diferencia de los clústeres a pequeña escala, donde unos pocos nodos pueden ser suficientes y el tiempo de inactividad es mínimo, los clústeres a gran escala enfrentan un mayor riesgo de interrupciones.

Self-healing consiste en dotar a un sistema de la capacidad de tomar decisiones autónomas al monitorizar y optimizar su estado de forma continua, adaptándose automáticamente a nuevas condiciones. El objetivo es lograr un sistema que se ajuste a cambios en la demanda y se recupere de los errores de manera proactiva.

Detección y recuperación de fallos: HyperPod ofrece resiliencia integrada. Monitoriza en tiempo real la salud de cada nodo en el cluster. Si se detecta un nodo defectuoso (por problemas de hardware, inestabilidad de red, etc.), se elimina automáticamente y se reemplaza por uno nuevo y en buen estado. El sistema reanuda el entrenamiento desde el último punto de control, minimizando la pérdida de datos y evitando la necesidad de reiniciar todo el proceso.
Checkpointing Automático: El checkpoint es fundamental en HyperPod. Vamos a guardar regularmente el estado del entrenamiento, asegurando que, en caso de un fallo inesperado, el entrenamiento pueda reanudarse desde el último punto guardado. Este proceso es especialmente importante para trabajos de larga duración que pueden extenderse por semanas o meses.

4. Automatización del entrenamiento y Gestión de Resiliencia

Experiencia de usuario y automatización: Uno de los mayores beneficios de HyperPod es que los usuarios no necesitan configurar manualmente la tolerancia a fallos ni gestionar la infraestructura distribuida. SageMaker se encarga de todo el proceso: desde la distribución de cargas de trabajo hasta la detección de fallos, reemplazo de nodos y reanudación del entrenamiento, todo sin intervención del usuario.
Optimización iterativa del modelo: Al automatizar la resiliencia y gestionar clusters distribuidos a gran escala, HyperPod permite a los data scientists centrarse más en la optimización del modelo que en la gestión de la infraestructura. Este enfoque reduce la complejidad operativa y acelera el tiempo para obtener valor de los modelos de IA.

5. EKS ahora disponible en Hyperpod

Recientemente, hemos anunciado la compatibilidad con Amazon Elastic Kubernetes Service (EKS), una integración que permite gestionar clústeres de HyperPod mediante Kubernetes. Esta nueva capacidad amplía las opciones de orquestación disponibles, permitiendo a los usuarios elegir entre Slurm y EKS para gestionar las cargas de trabajo.

La compatibilidad con EKS ofrece una flexibilidad adicional para escalar, administrar y monitorear los recursos a nivel de clúster y nodo, mejorando el control y la visibilidad del rendimiento de la infraestructura.

En el siguiente artículo de las series veremos un ejemplo práctico con SLURM y EKS.

6. Casos de Uso Avanzados y Escalabilidad

Modelos Fundacionales (FMs) e IA Generativa: HyperPod es especialmente adecuado para entrenar modelos fundacionales y modelos generativos que requieren grandes recursos de cómputo y suelen entrenarse con conjuntos de datos masivos y diversos. Ejemplos incluyen modelos como GPT, BERT y otras arquitecturas basadas en transformadores utilizadas en procesamiento de lenguaje natural (NLP), visión por computadora e IA multimodal.

7. Estrategias de Entrenamiento Distribuido

HyperPod aprovecha estrategias avanzadas como la acumulación de gradientes, entrenamiento de precisión mixta y paralelismo de datos fragmentados para maximizar la eficiencia y reducir el tiempo de entrenamiento.

Acumulación de Gradientes

Esta técnica se utiliza cuando se trabaja con grandes modelos de lenguaje en entornos donde la memoria GPU es limitada. En lugar de actualizar los parámetros del modelo en cada iteración, se acumulan gradientes durante varias iteraciones antes de aplicar una actualización. Esto permite trabajar con batch sizes efectivos más grandes sin necesidad de disponer de grandes recursos de memoria.

Entrenamiento de Precisión Mixta

Aquí se combinan cálculos en diferentes precisiones (por ejemplo, FP16 y FP32) para reducir el consumo de memoria y acelerar el entrenamiento, manteniendo una precisión casi idéntica a la de los cálculos en FP32. Esto es útil en modelos con millones o miles de millones de parámetros, donde la reducción en el tamaño de los datos puede significar una mejora considerable en la velocidad de procesamiento.

NOTA:

El entrenamiento de precisión mixta es una técnica que se utiliza en el entrenamiento de modelos de machine learning para mejorar la eficiencia, particularmente en términos de memoria y velocidad de cálculo. La idea principal es combinar cálculos en diferentes precisiones numéricas, como FP16 (punto flotante de 16 bits) y FP32 (punto flotante de 32 bits).

FP16 (Half-Precision): Este formato de punto flotante utiliza 16 bits para representar números, lo que significa que ocupa menos memoria y permite realizar más operaciones en paralelo dentro de una GPU. Sin embargo, debido a su menor precisión, puede introducir errores numéricos en algunos cálculos.
FP32 (Single-Precision): Este formato utiliza 32 bits para representar números y es el estándar en la mayoría de los modelos de deep learning. Es más preciso, pero requiere más memoria y tiene un mayor coste computacional.

¿Cómo Funciona la Precisión Mixta?

En el entrenamiento de precisión mixta, los cálculos que no requieren alta precisión (como multiplicaciones de matrices) se realizan en FP16 para ahorrar memoria y acelerar el proceso. Mientras tanto, las operaciones críticas donde la precisión es más importante, como la acumulación de gradientes, se mantienen en FP32. De esta forma, se logra un equilibrio entre rendimiento y precisión.

Además, para mitigar los problemas de precisión que pueden surgir al usar FP16, se utiliza lo que se llama "escalado dinámico de pérdida" (dynamic loss scaling), que ajusta dinámicamente la escala de los gradientes para evitar que se vuelvan demasiado pequeños y se pierdan en los límites de representación de FP16.

Ventajas:

Mayor Velocidad: Al usar FP16 para ciertas operaciones, se pueden realizar más cálculos por ciclo de reloj en la GPU, acelerando el proceso de entrenamiento.
Menor Uso de Memoria: La representación más compacta de FP16 permite que los modelos más grandes entren en la memoria de la GPU.
Escalabilidad: El menor uso de memoria permite entrenar modelos más grandes o utilizar batch sizes más amplios, lo que a menudo conduce a un entrenamiento más estable.

Paralelismo de Datos Fragmentados

En lugar de replicar el modelo completo en cada nodo, esta técnica divide los datos entre múltiples nodos, donde cada uno procesa solo una parte de los datos en paralelo. Al combinar esta estrategia con técnicas como el paralelismo de modelos y el sharding de parámetros, HyperPod permite escalar de forma eficiente, distribuyendo de manera óptima tanto los datos como los cálculos. (Ver Nota para más información)

Nota: SageMaker implementa el paralelismo de datos fragmentados mediante la implementación de MIC, que es una biblioteca que minimiza la comunicación a escala y que se analiza en la entrada del blog Near-linear Scaling of Gigantic-model training on.

Conclusión

Amazon SageMaker HyperPod integra las mejores prácticas en entrenamiento distribuido con la gestión automatizada de infraestructura. Al ofrecer tolerancia a fallos, capacidades de autosanación (self-healing) y bibliotecas distribuidas preconfiguradas, HyperPod reduce drásticamente el tiempo y la complejidad asociados con el entrenamiento de modelos de IA a gran escala. Esto facilita a las organizaciones innovar más rápido y escalar iniciativas de IA con confianza, permitiéndoles centrarse en el rendimiento del modelo en lugar de en las complejidades de los sistemas distribuidos.

En el próximo blog, mostraremos un ejemplo práctico de cómo utilizar HyperPod para entrenar modelos de IA a gran escala y cómo optimizar su rendimiento en entornos distribuidos.

Recursos de AWS para el módulo Digitalización Aplicada en grados medios y superiores de Formación Profesional (FP)

Guillermo Ruiz — Thu, 19 Sep 2024 20:16:29 +0000

El Real Decreto 659/2023, de 18 de julio establece el módulo Digitalización Aplicada a los Sectores Productivos como obligatorio en los planes de estudio de la FP. Entre los diferentes contenidos de este módulo, destacan el cloud computing y la inteligencia artificial.

A tales efectos, os pueden resultar de utilidad los siguientes contenidos gratuitos (incluyendo en su caso las insignias digitales (Credly) o certificados que proporcionan):

A) Cloud computing

• AWS Educate: Introducción a Cloud 101 (3h): El objetivo de este curso es sentar las bases para el conocimiento de la nube y ayudarlo a decidir cuál será su siguiente paso en el aprendizaje. https://aws.amazon.com/es/education/awseducate/

• AWS SkillBuilder:
-Fundamentos de AWS: introducción a los aspectos esenciales de la nube de AWS (1 h): https://explore.skillbuilder.aws/learn/course/external/view/elearning/12596/fundamentos-de-aws-introduccion-a-los-aspectos-esenciales-de-la-nube-de-aws-espanol-de-espana-aws-foundations-getting-started-with-the-aws-cloud-essentials-spanish-from-spain
-Fundamentos de la nube de AWS para profesionales (7 h): https://explore.skillbuilder.aws/learn/course/external/view/elearning/10455/fundamentos-de-la-nube-de-aws-para-profesionales-espanol-de-espana-aws-cloud-practitioner-essentials-spanish-from-spain

Ejemplos de certificados:

• AWS Cloud Quest (Cloud Practitioner) https://explore.skillbuilder.aws/learn/course/external/view/elearning/20546/aws-cloud-quest-cloud-recertify-cloud-practitioner-spanish ): Se trata de un curso gamificado en español de introducción al Cloud con una duración de entre 12 y 14 horas para aprender los conceptos básicos de la nube y que otorga una insignia una vez finalizado.

• AWS Academy https://aws.amazon.com/es/training/awsacademy/ : AWS Academy es un programa educativo integral y gratuito diseñado por Amazon Web Services (AWS) para ayudar a las instituciones académicas a preparar a los estudiantes para carreras en la nube. Dentro de los diferentes cursos, destaca el curso AWS Academy Cloud Foundations con 20 horas de duración.

B) Inteligencia artificial y proyecto de transformación digital

•AWS Party Rock https://partyrock.aws/ : permite a los usuarios crear aplicaciones que utilizan modelos de lenguaje natural preentrenados para generar texto, respuestas y más. Party Rock se basa en la API de Bedrock, que forma parte de los servicios de IA de AWS. La propuesta de Party Rock se centra en permitir que cualquier persona pueda crear aplicaciones de IA sin necesidad de tener conocimientos avanzados en programación o aprendizaje automático. Utilizando modelos de lenguaje natural preentrenados, Party Rock simplifica el proceso de desarrollo al proporcionar una interfaz intuitiva y sencilla de usar.

Como desarrollar una aplicación: https://aws.amazon.com/blogs/aws/build-ai-apps-with-partyrock-and-amazon-bedrock/
PartyRock, cómo funciona?: https://community.aws/content/2bda8Y8ppDXAl7pIWD3unQMo3Yz/aws-party-roc
Premio nacional a las mejores aplicaciones desarrolladas con PartyRock (en fase de elaboración)

Toda la información sobre PartyRock y el premio nacional a las mejores aplicaciones desarrolladas con estará disponible en: https://dev.to/t/alianzatechskills2jobs

Estos recursos ofrecen una excelente oportunidad para que los estudiantes de Formación Profesional desarrollen habilidades prácticas y actualicen sus conocimientos en áreas clave como cloud computing e Inteligencia Artificial, dotándoles de las competencias necesarias para tener éxito en sus futuras carreras.

No dudéis en contactarnos si necesitáis más información o alguna propuesta para mejorar los contenidos.

El equipo de AWS

GenAI Series: Protegiendo Datos con AWS Nitro Enclaves y AWS KMS

Guillermo Ruiz — Mon, 09 Sep 2024 22:00:00 +0000

En el primer artículo de esta serie, hemos hablado de los tres principios que nos permitían asegurar la infraestructura sobre la que corre nuestra IA.

Estos principios son:

1. Aislar completamente los datos de IA del operador de infraestructura,
2. Permitir a los clientes aislar sus propios datos y
3. Garantizar comunicaciones seguras entre dispositivos de infraestructura de aceleración de ML.

Para el segundo principio veíamos la combinación entre AWS Nitro Enclaves y AWS Key Management Service (KMS) lo que nos permitía encriptar y transferir datos de manera segura. Es hora de ver un ejemplo práctico de este principio.

Introducción

Los modelos de Aprendizaje Automático (ML) se utilizan para inferir datos sensibles en sectores como la salud, automoción, finanzas y farmacéutica (entre otros). Estas industrias requieren herramientas que protejan sus datos en tránsito, almacenamiento y procesamiento, asegurando su aislamiento durante todo el proceso.

Durante el procesamiento, las amenazas pueden originarse desde el propio stack tecnológico, como puede ser el sistema operativo o los programas instalados en el host. El poder disponer de un proceso que aplique la separación de roles y responsabilidades dentro de una organización nos permitirá minimizar la capacidad del personal para acceder a datos sensibles. En este blog, vamos a ver cómo ejecutar inferencia de ML dentro de Nitro Enclaves para mostrar cómo se protegen los datos sensibles durante el procesamiento. Esto nos va a permitir reducir la superficie de ataque cuando los datos se descifran para su procesamiento.

¿Qué son las Nitro Enclaves?

Las Nitro Enclaves nos permiten crear entornos de cómputo aislados dentro de instancias EC2 para proteger y procesar de forma segura datos que son altamente sensibles. Las enclaves no tienen almacenamiento persistente, no tienen acceso interactivo y no tienen redes externas. La comunicación entre la instancia y el enclave se realiza utilizando un canal local seguro llamado vsock. Por defecto, ni siquiera un usuario administrador o root en la instancia principal podrá acceder al enclave.

Visión General

En nuestro ejemplo vamos a ver cómo implementar una carga de trabajo de IA/ML y ejecutar inferencias dentro de Nitro Enclaves para procesar de forma segura nuestros datos. Utilizaremos una imagen para demostrar el proceso de cómo los datos pueden ser cifrados, almacenados, transferidos, descifrados y procesados cuando sea necesario, minimizando el riesgo de nuestros datos.

                   +------------------------------------+
                   |        Machine Learning            |
                   |       Object Recognition           |
                   +------------------------------------+
                                  |
                                  |
                         +--------v--------+
                         |  Data Security  |
                         +----------------+
                                  |
                                  |
                         +--------v--------+
                         |   Infrastructure|
                         |      Layer     |
                         +--------+--------+
                                  |
                                  |
                         +--------v--------+
                         |  AWS Nitro     |
                         |  Enclaves      |
                         |                |
                         +----------------+

¿Cómo lo vamos a hacer?

Vamos a desplegar una carga de trabajo que utiliza un modelo de IA/ML de código abierto para detectar objetos en una imagen que representará nuestros datos sensibles, y devolveremos un resumen del tipo de objetos que hayamos detectado.

A continuación os mostramos la imagen que utilizaremos:

Para cifrar la imagen, vamos a utilizar un script en Python que se ejecuta en una instancia de EC2 (aplicación Encryptor - ver Figura 2) ; en el mundo real, este paso se realizaría en un entorno seguro como un Nitro Enclave o en una estación de trabajo (segura) antes de transferir los datos cifrados. La aplicación Encryptor utiliza el cifrado de AWS KMS con una clave para cifrar.

Nota: también es posible utilizar claves asimétricas para realizar el cifrado/descifrado.

Ahora que la imagen está cifrada, veamos cada componente y qué papel juega en la arquitectura de la solución. En la figura 3 tenemos cómo se vería dicha arquitectura:

La aplicación Cliente lee el archivo cifrado y lo envía al Servidor a través del canal vsock (canal de comunicación local seguro).
El servidor, que se ejecuta dentro de un Nitro Enclave, extrae la clave de datos cifrada y la envía a AWS KMS para que la descifre. Una vez que la clave de datos se descifra, el servidor la utiliza para descifrar la imagen y ejecutar inferencias en ella para detectar los objetos en la imagen (en nuestro caso, coches de F1). Una vez que la inferencia está completa, los resultados se devuelven a la aplicación Cliente sin exponer la imagen original o los datos sensibles.
Para permitir que el Nitro Enclave se comunique con AWS KMS, utilizamos la herramienta de Enclave KMS que utiliza el vsock para conectarse a AWS KMS y descifrar la clave cifrada.
El vsock-proxy (empaquetado con el Nitro CLI) enruta el tráfico entrante desde la herramienta KMS hacia AWS KMS siempre que el punto final de AWS KMS esté incluido en la lista de permisos del vsock-proxy. La respuesta de AWS KMS se envía luego de regreso a la Herramienta de Enclave KMS a través del vsock.

Como parte de la solicitud a AWS KMS, la herramienta de Enclave KMS extrae y envía un documento firmado que contiene las mediciones del enclave para confirmar su identidad. AWS KMS verifica este documento antes de descifrar la clave de datos. Una vez verificada, la clave se descifra y se devuelve de forma segura a la herramienta KMS, que la transfiere de manera segura al servidor para descifrar la imagen.

Environment Setup

Vaya por delante que para ejecutar la siguiente solución necesitaréis una cuenta de AWS y un role (IAM) con los permisos adecuados.

Plantilla CloudFormation

Paso 1. Nos bajamos la siguiente plantilla de CloudFormation: nitro-enclave-demo.yaml. Esta plantilla nos permitirá desplegar los recursos necesarios. A grandes rasgos:

Definirá los parámetros, como la ID de la última AMI de Amazon Linux.
Creará los recursos como un grupo de seguridad, puntos de enlace de VPC, una puerta de enlace de internet, VPC, subredes públicas y privadas, tablas de rutas, registros de flujo de VPC, roles de IAM, instancias EC2, y claves KMS.
Configurará la seguridad para permitir el acceso a sistemas de administración de AWS y servicios como SSM, EC2, y KMS.
Establecerá una infraestructura para ejecutar instancias EC2 en una VPC con acceso controlado a través de puntos de enlace privados y configuración de roles de IAM.
Proporcionará integración con servicios de AWS como STS y KMS a través de puntos de enlace privados.

Paso 2. Una vez desplegado, desde la pestaña de "Resources" en el stack NitroEnclaveStack de la consola de CloudFormation, buscaremos la instancia (NitroEnclaveInstance) y haremos click en su ID para navegar a la instancia.

Paso 3. Selecciona "Session Manager" y haz click en "Connect".

Configuración EC2

Después de haber provisionado la instancia EC2 y conectarnos a ella, sigue estos pasos para configurarla:

Paso 1. Instala la CLI de Nitro Enclaves que te permitirá construir y ejecutar una aplicación de Nitro Enclave:

sudo amazon-linux-extras install aws-nitro-enclaves-cli -y
sudo yum install aws-nitro-enclaves-cli-devel -y

Paso 2. Verifica que la CLI de Nitro Enclaves se haya instalado correctamente ejecutando el siguiente comando:

nitro-cli --version

Paso 3. Para descargar la aplicación desde GitHub y construir una imagen de Docker, primero necesitas instalar Docker y Git ejecutando los siguientes comandos:

sudo yum install git -y
sudo usermod -aG ne ssm-user
sudo usermod -aG docker ssm-user
sudo systemctl start docker && sudo systemctl enable docker

La Configuración del Enclave de Nitro

Como comentábamos al principio, una Enclave de Nitro es un entorno aislado que se ejecuta dentro de la instancia EC2, por lo tanto, necesitamos especificar los recursos (CPU y Memoria) que el servicio de asignación de Enclave de Nitro dedica al contenedor del enclave.

Usaremos los siguientes comandos para establecer la CPU y Memoria disponibles para que el servicio de asignación de Enclave de Nitro las asigne a tu contenedor:

ALLOCATOR_YAML=/etc/nitro_enclaves/allocator.yaml
MEM_KEY=memory_mib
DEFAULT_MEM=20480
sudo sed -r "s/^(\s*${MEM_KEY}\s*:\s*).*/\1${DEFAULT_MEM}/" -i "${ALLOCATOR_YAML}"
sudo systemctl start nitro-enclaves-allocator.service && sudo systemctl enable nitro-enclaves-allocator.service

Para verificar que la configuración se haya aplicado, deberás ejecutar el siguiente comando y tomar nota de los valores para memory_mib y cpu_count:

cat /etc/nitro_enclaves/allocator.yaml

Creando una Imagen de Enclave de Nitro

Descarga el Proyecto y Construye la Imagen Base de Enclave

Ahora que la instancia EC2 está configurada, descargaremos el código y construiremos la imagen base de Docker del enclave. Nosotros hemos modificado la imagen para utilizar la de F1. Por defecto el proyecto utiliza otra imagen contenida en el Kit de Desarrollo de Software (SDK) de Nitro Enclaves que permite a un enclave solicitar un documento de certificación firmado criptográficamente del hipervisor de Nitro. Incluye medidas únicas (hashes SHA384) que se utilizan para demostrar la identidad del enclave a servicios como AWS KMS.

Clona el Proyecto en GitHub

cd ~/ && git clone https://github.com/aws-samples/aws-nitro-enclaves-ai-ml-object-detection.git

Navega hasta la carpeta del proyecto clonado y construye la imagen "enclave_base":

cd ~/aws-nitro-enclaves-ai-ml-object-detection/enclave-base-image
sudo docker build ./ -t enclave_base

Nota: El paso anterior tomará aproximadamente de 10 a 12 minutos para completarse. Puedes tomarte un café tranquilamente.

Construye y Ejecuta la Imagen de Enclave de Nitro

Para construir la imagen de Enclave de Nitro del trabajo, vamos a construir una imagen de docker de tu aplicación y luego utilizaremos la CLI de Nitro para construir la imagen de Enclave de Nitro:

Descarga el modelo pre-entrenado de TensorFlow:

cd ~/aws-nitro-enclaves-ai-ml-object-detection/src
mkdir -p models/faster_rcnn_openimages_v4_inception_resnet_v2_1 && cd models/
wget -O tensorflow-model.tar.gz https://tfhub.dev/google/faster_rcnn/openimages_v4/inception_resnet_v2/1?tf-hub-format=compressed
tar -xvf tensorflow-model.tar.gz -C faster_rcnn_openimages_v4_inception_resnet_v2_1

Navega hasta la carpeta del caso de uso y construye la imagen de docker para la aplicación:

cd ~/aws-nitro-enclaves-ai-ml-object-detection/src
sudo docker build ./ -t nitro-enclave-container-ai-ml:latest

Usa la CLI de Nitro para construir un Archivo de Imagen de Enclave (.eif) utilizando la imagen de docker que construimos en el paso anterior:

sudo nitro-cli build-enclave --docker-uri nitro-enclave-container-ai-ml:latest --output-file nitro-enclave-container-ai-ml.eif

La salida del paso anterior produce los registros de configuración de plataforma o hashes PCR y un archivo de imagen de enclave de nitro (.eif). Toma nota del valor de PCR0, que es un hash del archivo de imagen de enclave. Ejemplo PCR0:

{
    "Measurements": {
        "PCR0": "7968aee86dc343ace7d35fa1a504f955ee4e53f0d7ad23310e7df535a187364a0e6218b135a8c2f8fe205d39d9321923"
        ...
    }
}

Lanza el contenedor usando el Archivo de Imagen de Enclave (.eif) generado en el paso anterior y asígnale recursos. Deberemos asignar al menos 4 veces el tamaño del archivo EIF para la memoria del enclave. Esto es necesario porque el sistema de archivos tmpfs utiliza la mitad de la memoria y el resto se utiliza para descomprimir el initramfs inicial donde reside el ejecutable de la aplicación. Para la asignación de CPU, deberás asignar CPU en núcleos completos, es decir, 2x vCPU para instancias con hiperprocesamiento x86.

En nuestro caso, vamos a asignar 14 GB o 14,366 MB para el enclave:

sudo nitro-cli run-enclave --cpu-count 2 --memory 14336 --eif-path nitro-enclave-container-ai-ml.eif

Nota: Dale unos segundos para que el servidor se inicie antes de ejecutar la aplicación Cliente en la siguiente sección.

Actualiza la Política de Clave KMS para Incluir el Hash PCR0

Ahora que tienes el valor de PCR0 para tu imagen de enclave, actualiza la política de clave KMS para permitir únicamente el acceso de tu contenedor de Enclave de Nitro a la clave KMS.

Paso 1. Navega al servicio AWS KMS y asegúrate de estar en la misma región donde se implementó tu plantilla de CloudFormation.

Paso 2. Selecciona "Claves administradas por el cliente".

Paso 3. Busca una clave con el alias "EnclaveKMSKey" y haz clic en ella.

Paso 4. Haz clic en "Editar" en la "Política de clave".

Paso 5. Desplázate hasta el final de la política de clave y reemplaza el valor de "EXAMPLETOBEUPDATED" para la clave "kms:RecipientAttestation:PCR0" con el hash PCR0 que anotaste en la sección anterior y haz clic en "Guardar cambios".

Detección de Objetos de IA/ML usando un Enclave de Nitro

Ahora que tienes un archivo de imagen de enclave, ejecuta los componentes de la solución.

Instalación de Requisitos para la Aplicación Cliente

Paso 1. Instala los requerimientos de Python usando el siguiente comando:

cd ~/aws-nitro-enclaves-ai-ml-object-detection/src
pip3 install -r requirements.txt

Paso 2. Establece la región en la que se implementó tu pila de CloudFormation. En nuestro caso seleccionamos North Virginia:

CFN_REGION=us-east-1

Paso 3. Ejecuta el siguiente comando para encriptar la imagen usando la clave KMS de AWS "EnclaveKMSKey", asegúrate de reemplazar "us-east-1" con la región donde desplegaste tu plantilla de CloudFormation:

python3 ./envelope-encryption/encryptor.py --filePath ./images/car-race.jpg --cmkId alias/EnclaveKMSkey --region $CFN_REGION

Paso 4. Verifica que la salida contenga: ¿file encrypted? True

Nota: El comando anterior generará dos archivos: un archivo de imagen encriptada y un archivo de clave de datos encriptada. El archivo de clave de datos se genera para que podamos demostrar un intento desde la instancia principal de desencriptar la clave de datos.

Lanzamiento del Proxy VSock

Lanzaremos el Proxy VSock que hace de intermediario para las solicitudes desde el Enclave de Nitro a un punto final externo, en este caso, a AWS KMS. Ten en cuenta que el archivo vsock-proxy-config.yaml contiene una lista de endpoints que permiten listar aquellos con los que un enclave puede comunicarse.

cd ~/aws-nitro-enclaves-ai-ml-object-detection/src
vsock-proxy 8001 "kms.$CFN_REGION.amazonaws.com" 443 --config vsock-proxy-config.yaml &

Detección de Objetos usando Enclaves de Nitro

Envíaremos la imagen encriptada al enclave para desencriptar la imagen y usar el modelo de IA/ML para detectar objetos y devolver un resumen de los objetos detectados:

cd ~/aws-nitro-enclaves-ai-ml-object-detection/src
python3 client.py --filePath ./images/air-show.jpg.encrypted | jq -C '.'

El paso anterior toma alrededor de un par de minutos en finalizar cuando se llama por primera vez. Dentro del enclave, el servidor desencripta la imagen, la ejecuta a través del modelo de IA/ML para generar una lista de objetos detectados y devuelve esa lista a la aplicación del cliente.

Credenciales de la Instancia Principal

Intento de Desencriptar la Clave de Datos usando las Credenciales de la Instancia Principal

Para demostrar que la instancia principal no puede desencriptar el contenido, intenta desencriptar la imagen usando las credenciales de la instancia principal:

cd ~/aws-nitro-enclaves-ai-ml-object-detection/src
aws kms decrypt --ciphertext-blob fileb://images/air-show.jpg.data_key.encrypted --region $CFN_REGION

Nota: Se espera que el comando falle con AccessDeniedException, ya que a la instancia principal no se le permite desencriptar la clave de datos.

Limpiamos nuestro entorno

Como siempre, os aconsejamos que una vez hayáis probado y verificado el funcionamiento, procedáis a borrar la infraestructura para no incurrir en gastos adicionales.

Paso 1. Abre la consola de AWS CloudFormation en: https://console.aws.amazon.com/cloudformation/.

Paso 2. Selecciona el stack que creaste anteriormente, (ej: NitroEnclaveStack).

Paso 3. Elige Eliminar, luego elige Eliminar stack.

Paso 4. El estado del stack es inicialmente DELETE_IN_PROGRESS. Haz clic en el botón Actualizar periódicamente para actualizar su estado. El estado cambia a DELETE_COMPLETE después de que haya terminado y el nombre del stack ya no aparecerá en tu lista de stacks activas.

Conclusión

En este post, hemos visto cómo procesar datos sensibles con Enclaves de Nitro en Amazon EC2, así como cómo la integración de un enclave con AWS KMS para restringir el acceso y que solo el Enclave de Nitro pueda usar la clave para desencriptar la imagen.

En el próximo post hablaremos de Amazon SageMaker HyperPod, una potente solución para entrenar modelos de IA a gran escala, ideal para aquellos que requieren un alto consumo de recursos, como los modelos fundacionales y los generativos.

Boletín AWS Open Source, AI Edition

Guillermo Ruiz — Wed, 28 Aug 2024 06:10:00 +0000

Bienvenidos a esta nueva edición del boletín open-source de AWS. Dado que estamos en verano, hemos querido hacer un especial sobre Inteligencia Artificial Generativa (GenAI). En este número encontraréis herramientas, soluciones, demos y talleres relacionados con la IA.

Todo esto gracias a la comunidad, cuya colaboración hace posible esta newsletter.

Comencemos!

Novedades y Herramientas

Productividad

Framework Orquestador Agentes Múltiples IA

El framework del Orquestador de Agentes Múltiples es una herramienta muy útil para implementar sistemas de inteligencia artificial que comprenden varios agentes especializados. Su propósito principal es encaminar de manera inteligente las consultas de los usuarios a los agentes más apropiados mientras mantiene una conciencia contextual a lo largo de las interacciones.

Para más información: https://awslabs.github.io/multi-agent-orchestrator/

quickstart-for-amazon-q
Quickstart-for-amazon-q proporciona recursos para comenzar a usar Amazon Q en tu entorno de desarrollo (IDE).

refchecker
El problema de los grandes modelos de lenguaje (LLM), es su tendencia a alucinar o hacer afirmaciones que suenan plausibles pero son inexactas. Refchecker mejora la calidad de los datos en tus modelos con verificación automatizada. Consulta la publicación para esta herramienta: Nueva herramienta y conjunto de datos para detectar alucinaciones en los grandes modelos de lenguaje.

fm-leaderboarder

fm-leaderboarder compara LLMs y encuentra el más adecuado para tu caso de uso (basado en tus propias tareas, indicaciones y datos).

bedrock-vscode-playground
bedrock-vscode-playground es una extensión de Visual Studio Code (VS Code) que permite experimentar con LLMs en Amazon Bedrock desde VS Code.

Promptus
Promptus, una herramienta de prompt engineering que te permite crear y organizar prompts de manera eficiente. Con Promptus, puedes:

Construir rápidamente prompts usando una interfaz intuitiva.
Versionar automáticamente y comparar las iteraciones de los prompts para optimizar la calidad de los mismos.
Organizar los prompts en proyectos y compartirlos con compañeros de equipo.
Ver un historial de tus prompts y volver fácilmente a cualquier ejecución de prompt anterior.
Ya seas un investigador, creador de contenido o emprendedor, Promptus te brinda el poder de desbloquear todo el potencial de la IA generativa.

generative-ai-newsletter-app
generative-ai-newsletter-app es una solución serverless lista para permitir crear boletines informativos de forma automática con resúmenes generados por inteligencia artificial. La aplicación ofrece a los usuarios la capacidad de influir en las sugerencias de la IA generativa para personalizar cómo se resumen los contenidos, el tono con el que escribe, el público objetivo y más. Los usuarios pueden dar estilo al boletín de noticias HTML, definir con qué frecuencia se crean los boletines y compartirlos con otros.

partysmith

partysmith es un proyecto de nuestro AWS Community Builder Stephen Sennett, que proporciona una forma no oficial de transformar tus aplicaciones PartyRock de AWS en aplicaciones SvelteKit de stack completo desplegables. Los usuarios pueden poner la URL de una aplicación PartyRock publicada, seleccionar la configuración deseada y PartySmith te devolverá una aplicación en un archivo ZIP lista para su uso. Puedes obtener más información leyendo la publicación: PartySmith: lleva las aplicaciones PartyRock a tu lugar.

amazon-bedrock-client-for-mac
amazon-bedrock-client-for-mac es un repositorio que te proporciona el código para el Cliente de Amazon Bedrock en MacOS. La app está construida con SwiftUI. Sirve como una interfaz de cliente para AWS Bedrock, permitiendo a los usuarios interactuar con los modelos de AWS Bedrock.

python-bedrock-converse-generate-docs
python-bedrock-converse-generate-docs es un proyecto de Alan Blockley, miembro de AWS Community Builder, que genera documentación para un archivo de código fuente utilizando la API de Anthropic Bedrock Runtime. La documentación generada se formatea en markdown y se almacena en el directorio de salida especificado. Alan también ha escrito un blog, No es un chatbot: Escribiendo Documentación, que muestra cómo funciona y cómo empezar. Otra cosa interesante de este proyecto es que utiliza la API Converse, la cual deberías revisar si aún no la has visto o utilizado.

get-the-news-rss-atom-feed-summary
get-the-news-rss-atom-feed-summary es una demostración fantástica que muestra algunas de las capacidades que los grandes modelos de lenguaje (LLMs) pueden ayudarte a introducir en tus aplicaciones. El código de la demo proporciona un resumen de las noticias más recientes de un feed RSS o Atom utilizando Amazon Bedrock.

Infraestructura

foundation-model-benchmarking-tool

El foundation-model-benchmarking-tool es una herramienta comparativa de modelos Fundacionales (FM). Ejecuta cualquier modelo en Amazon SageMaker y evalúa su rendimiento en términos de tipo de instancia y opciones de stack de servicio. Uno de los desafío con los FMs es la capacidad de evaluar su rendimiento en términos de latencia de inferencia, rendimiento y coste para determinar qué modelo, ejecutado con qué combinación de hardware y stack de servicio, proporciona la mejor combinación de rendimiento y precio para una carga de trabajo dada.

bedrock-access-gateway
bedrock-access-gateway proporciona APIs RESTful compatibles con OpenAI para Amazon Bedrock. Amazon Bedrock ofrece una amplia gama de modelos fundacionales (como Claude 3 Opus/Sonnet/Haiku, Llama 2/3, Mistral/Mixtral, etc.) y un conjunto amplio de capacidades para construir aplicaciones de inteligencia artificial generativa. A veces, es posible que tengas aplicaciones desarrolladas utilizando APIs o SDKs de OpenAI y desees experimentar con Amazon Bedrock sin modificar tu código. O simplemente quieras evaluar las capacidades de estos modelos base en herramientas como AutoGen, etc. Bueno, este repositorio te permite acceder a los modelos de Amazon Bedrock de forma transparente a través de APIs y SDKs de OpenAI, lo que te permite probar estos modelos sin necesidad de realizar cambios en el código

cfn-bedrock-notify

cfn-bedrock-notify es una herramienta creada por nuestro compañero Du'an Lightfoot donde incorpora de una forma muy creativa e interesante los grandes modelos de lenguaje (LLMs) para ayudarte a solucionar despliegues fallidos de CloudFormation. ¿Cuántas veces has tenido un despliegue fallido y has tenido que recurrir a un buscador para ayudarte a resolver el problema? Bueno, con este proyecto, cualquier problema detectado se envía a través de SNS a Amazon Bedrock utilizando Anthropic Claude v3, y (con suerte) la respuesta a tus problemas se devuelve a través del correo electrónico del suscriptor de SNS. ¡Genial!

Train Llama2 con AWS Trainium en Amazon EKS
Sanjeev Ganjihal y Scott Perry nos muestran cómo puedes utilizar AWS Trainium con Neuronx-nemo-megatron en Amazon EKS para abordar las crecientes demandas computacionales y los desafíos de costos en el entrenamiento de modelos de IA avanzados. Si eso suena como algo que necesitas saber más, entonces sumérgete en su blog.

Open source observability for AWS Inferentia nodes within Amazon EKS clusters te guía a través del patrón de Observabilidad open-source para AWS Inferentia. Podrás ver cómo monitorear el rendimiento de los chips de aprendizaje automático, utilizados en un clúster de Amazon Elastic Kubernetes Service (Amazon EKS), con nodos de plano de datos basados en instancias de Amazon Elastic Compute Cloud (Amazon EC2) del tipo Inf1 e Inf2. [Hands-on]

Acelera la inferencia de PyTorch con torch.compile en procesadores AWS Graviton, te muestra cómo optimizar el rendimiento de torch.compile en instancias EC2 basadas en AWS Graviton3, y luego cómo usar las optimizaciones para mejorar el rendimiento de inferencia [Hands-On].

amazon-bedrock-serverless-prompt-chaining
Este repositorio proporciona diferentes ejemplos de cómo utilizar AWS Step Functions y Amazon Bedrock para construir aplicaciones de IA generativa complejas, sin servidor y altamente escalables con prompt chains.

bedrock-multi-tenant-saas
En este repositorio, os mostramos cómo construir un servicio SaaS interno para acceder a modelos fundacionales (FMs) con Amazon Bedrock en una arquitectura multitenant. Disponer de un SaaS interno para modelos FMs puede abordar los requisitos de gobernabilidad y proporcionar una interfaz simple y consistente para los usuarios finales.

Crea una solución RAG end-to-end utilizando Bases de Conocimiento para Amazon Bedrock y AWS CloudFormation.

Este artículo demuestra cómo automatizar de manera fluida el despliegue de una solución RAG de extremo a extremo utilizando Bases de Conocimiento para Amazon Bedrock y AWS CloudFormation, permitiendo a las organizaciones configurar rápidamente un potente sistema RAG sin complicaciones.

Seguridad

agent-evaluation
agent-evaluation es un framework impulsado por inteligencia artificial generativa para probar agentes virtuales. Agent Evaluation implementa un agente LLM (evaluador) que orquestará conversaciones con tu propio agente (target) y evaluará las respuestas durante la conversación. El repositorio tiene enlaces a documentos detallados que proporcionan configuraciones de ejemplo y una guía de referencia para que puedas comenzar. ¡Es una lectura práctica que no querrás perderte!

alarm-context-tool
alarm-context-tool mejora la resolución de problemas en CloudWatch con análisis contextual de IA. Utilizando las capacidades de IA generativa de Amazon Bedrock, resume los hallazgos, identifica las posibles causas raíz y ofrece enlaces a documentación relevante para ayudar a los operadores a resolver problemas de manera más eficiente. La implementación está diseñada para una fácil integración en los flujos de trabajo de observabilidad existentes, reduciendo significativamente los tiempos de respuesta y mejorando el análisis del root cause.

Aplicación de IA Generativa para la remediación de CVE: parcheo temprano de vulnerabilidades en pipelines de integración continua

Este artículo muestra cómo los equipos de ingeniería pueden automatizar la remediación eficiente de CVEs (vulnerabilidades y exposiciones comunes) de contenedores en las primeras etapas de su pipeline de integración continua (CI). Utilizando servicios en la nube como Amazon Bedrock, Amazon Inspector, AWS Lambda y Amazon EventBridge, es posible diseñar una solución sin servidor impulsada por eventos para detectar y parchear automáticamente vulnerabilidades en contenedores. El uso de IA generativa y tecnologías serverless puede simplificar lo que solía ser un desafío complejo.

Demos, Ejemplos, Soluciones y Talleres

IA Generativa y LLMs

llm-colosseum

llm-colosseum es otro repositorio que ofrece una forma más divertida de comparar LLMs. Nuestro compañero Banjo pone a luchar (¿recordáis el juego Street Fighter?) 14 LLMs. Al cabo de 314 partidas obtuvo un ganador. ¿Queréis saber quién resultó el ganador? En su blog nos cuenta los detalles.

genai-sports-commentary

genai-sports-commentary es un repositorio que apela a ese fan del deporte que llevamos dentro. Puedes aplicar la IA generativa y LLMs para crear contenidos altamente personalizables para los fans del deporte. En nuestro ejemplo, usaremos un modelo base para generar comentarios basados en datos de fútbol americano creados sintéticamente (en realidad, los datos podrían ser obtenidos directamente de los estadios o de la nube). El modelo generará una variedad de comentarios utilizando diferentes indicaciones que le hayamos dado. Por ejemplo, crear indicaciones en un estilo de escritura particular o en un idioma específico.

real-time-social-media-analytics-with-generative-ai
Aquí os presentamos una solución para el análisis de redes sociales en tiempo real con IA generativa. Este repositorio te ayuda a construir e implementar una arquitectura AWS que puede combinar datos con GenAI utilizando el Servicio Administrado de Amazon para Apache Flink y Amazon Bedrock.

hackernews-converse-api-demo
Este repositorio proporciona ejemplos sobre cómo puedes usar la API Converse de Amazon Bedrock. Uno de los casos que presenta es el resumen de los comentarios de un hilo de Hacker News. Es un ejemplo sencillo, pero te muestra lo fácil que es incorporar IA generativa en tus propias aplicaciones. También puedes consultar la publicación de blog de apoyo, Ahorra tiempo leyendo comentarios de Hacker News usando la API Converse.

genai-asl-avatar-generator
genai-asl-avatar-generator es un repositorio que demuestra el poder de varios servicios de AWS trabajando en conjunto para habilitar una traducción fluida de voz/texto a animaciones de avatar en Lenguaje de Señas Americano (ASL). Consulta la publicación del blog de apoyo, Avatares en Lenguaje de Señas Americano potenciados por IA Generativa, donde Suresh Poopandi explica el proyecto, el código y cómo se integra todo.

serverless-genai-food-analyzer-app

Muchas veces nos preguntáis por el código de las demos que mostramos en nuestros AWS Summits. Pues bien, aquí tenéis esta aplicación que analiza los alimentos usando IA generativa y serverless. Fue la ganadora del AWS Hackathon France 2024 y se presentó como demo en el AWS Summit Paris y de Madrid 2024 (Foodlens). Con Foodlens, simplemente escaneas un código de barras de un producto y obtienes explicaciones de los ingredientes e información nutricional que puedes personalizar con tus alergias o si estás siguiendo una dieta, introducir tus requerimientos. También puedes tomar una foto de los productos y recibir recetas personalizadas basadas en tus preferencias alimenticias. ¿Qué os parece?

Multimedia y Vídeo

youtube-video-summarizer-with-bedrock
youtube-video-summarizer-with-bedrock es un proyecto de de Zied Ben Tahar que utiliza grandes modelos de lenguaje (LLMs) para crear un resumen de videos de YouTube. Zied también ha creado una publicación de blog de apoyo, Resumen de video impulsado por IA con Amazon Bedrock, que proporciona todo lo que necesitas para poner en marcha este proyecto.

video-understanding-solution
video-understanding-solution es una solución para ayudarte a ahorrar tiempo en videos sin tener que ver cada uno. Puedes subir el video y la solución te generar un resumen impulsado por IA. También admite preguntas y respuestas sobre el video como "¿Qué hay de gracioso en el video?", "¿Cómo se ve Jeff Bezos allí?", y "¿Qué camisa lleva?". También puedes buscar videos utilizando la búsqueda semántica, por ejemplo, "Cultura e historia de Amazon". Esta solución extrae información de escenas visuales, audio, textos visibles y celebridades o rostros detectados en el video. Utiliza un LLM que puede entender visualmente y describir los fotogramas del video.

Puedes subir videos a tu bucket de S3 utilizando la consola de AWS, CLI, SDK u otros medios (por ejemplo, a través de AWS Transfer Family). Esta solución activará automáticamente procesos que incluyen llamadas a Amazon Transcribe para la transcripción de voz, llamadas a Amazon Rekognition para extraer los objetos visibles y llamadas a Amazon Bedrock con el modelo Claude 3 para extraer escenas y texto visualmente visible. El LLM utilizado puede realizar VQA (respuestas a preguntas visuales) a partir de imágenes (fotogramas de video), que se utiliza para extraer la escena y el texto. Esta información combinada se utiliza para generar el resumen. Echa un vistazo al README para ver algunos excelentes videos de demostración de esto en acción. Vale la pena explorar esta demo.

amazon-bedrock-audio-summarizer

amazon-bedrock-audio-summarizer proporciona una forma automatizada de transcribir y resumir ficheros de audio utilizando AWS. Utiliza Amazon S3, AWS Lambda, Amazon Transcribe y Amazon Bedrock (con Claude 3 Sonnet) para crear transcripciones de texto y resúmenes a partir de grabaciones de audio que hayamos cargado. Este proyecto apareció en la publicación en el blog del Dr. Werner Vogels, Hackeando nuestro camino hacia mejores reuniones de equipo.

svdxt-sagemaker-huggingface

svdxt-sagemaker-huggingface es un repositorio de Gary Stafford, que muestra el campo emergente de la generación de videos a través de Stable Video Diffusion XT (SVT-XT) de Stability AI. Este modelo fundacional es un modelo de difusión que toma una imagen fija como marco de condicionamiento y genera un video a partir de ella. El repositorio proporciona todo lo necesario para comenzar y muestra algunos de los videos que Gary ha creado, ¡una pasada!

Caracterización de Imágenes Satelitales utilizando el taller de Amazon Bedrock
Esta aplicación en Python te permite caracterizar imágenes satelitales utilizando el modelo Anthropic Claude en el entorno de ejecución de Amazon Bedrock.

Series y Publicaciones Destacadas

Infraestructura de IA

Nuestro compañero Guillermo Ruiz ha iniciado una serie de artículos donde explora la 𝗶𝗻𝗳𝗿𝗮𝗲𝘀𝘁𝗿𝘂𝗰𝘁𝘂𝗿𝗮 𝘆 𝗹𝗼𝘀 𝗰𝗼𝗺𝗽𝗼𝗻𝗲𝗻𝘁𝗲𝘀 𝗰𝗹𝗮𝘃𝗲 𝗽𝗮𝗿𝗮 𝗲𝗻𝘁𝗿𝗲𝗻𝗮𝗿 𝗺𝗼𝗱𝗲𝗹𝗼𝘀 𝗱𝗲 𝗶𝗻𝘁𝗲𝗹𝗶𝗴𝗲𝗻𝗰𝗶𝗮 𝗮𝗿𝘁𝗶𝗳𝗶𝗰𝗶𝗮𝗹 en la nube. Abordará temas como la arquitectura de red con Nitro y protocolos como SRD, así como el uso de servicios avanzados como SageMaker Hyperpod. A medida que avance, profundizará en cada concepto y presentará ejercicios prácticos para poner en acción lo aprendido.

Si alguna vez te has preguntado "¿qué tiene AWS de especial para entrenar mis modelos?", en estos blogs encontrarás la respuesta.

API Converse Amazon BedRock
Dennis Traub nos trae un tutorial para aprender de manera práctica cómo utilizar la nueva API de Converse de Amazon Bedrock para interactuar con modelos de inteligencia artificial generativa en Amazon Bedrock, utilizando el AWS SDK para JavaScript.

Abishek Gupta ha varias publicaciones de obligada lectura en este área. En primer lugar, Bases de datos vectoriales para aplicaciones de inteligencia artificial generativa, donde comparte cómo superar limitaciones utilizando bases de datos vectoriales y RAG. En la siguiente publicación, Cómo usar la Generación Aumentada por Recuperación (RAG) para aplicaciones en Go, Abi nos muestra cómo implementar RAG con LangChain y PostgreSQL usando Go.

João Galego explora dos proyectos de código abierto (RAGmap y RAGxplorer) que ayudan a explorar los embeddings que creamos. Lo tenéis disponible en su publicación Mapeando embeddings: de significado a vectores y viceversa.

Nuestra compañera Elizabeth Fuentes nos introduce un enfoque innovador con 𝗔𝗴𝗲𝗻𝘁𝘀 𝗳𝗼𝗿 𝗔𝗺𝗮𝘇𝗼𝗻 𝗕𝗲𝗱𝗿𝗼𝗰𝗸, 𝗔𝗺𝗮𝘇𝗼𝗻 𝗔𝘂𝗿𝗼𝗿𝗮 𝘃𝗲𝗰𝘁𝗼𝗿𝗶𝘇𝗮𝗱𝗮 𝘆 𝗣𝗼𝘀𝘁𝗴𝗿𝗲𝗦𝗤𝗟 𝗽𝗮𝗿𝗮 𝗔𝗺𝗮𝘇𝗼𝗻 𝗕𝗲𝗱𝗿𝗼𝗰𝗸, proporcionando alternativas avanzadas para el diseño de sistemas serverless y el desarrollo de chatbots inteligentes. Además, dispone de una serie de publicaciones relacionadas con asistentes virtuales que utilizan IA, que no os podéis perder.

Seguimos con un fanático de WordPress, Rio Astamal, quien comparte cómo puedes usar la IA generativa para construir un plugin de WordPress que se integra con Amazon Bedrock, en su blog Creé un plugin de inteligencia artificial para WordPress para que los creadores sean más productivos. Así es cómo lo hice.

¿Buscas una guía sobre cómo construir el mejor RAG para tu producto?
¡Este increíble repositorio https://github.com/NirDiamant/RAG_Techniques enumera todas las mejores prácticas y técnicas!

Por último, si sois usuarios de Hugging Face ahora tenéis disponible AWS Inferentia2. Podéis implementar más de 100,000 modelos en AWS Inferentia2 usando Amazon SageMaker, incluidas arquitecturas populares como BERT y RoBERTa. Los endpoints de inferencia de Hugging Face os facilitarán la implementación. Simplemente eliges tu modelo y seleccionas la opción de instancia Inf2. Para que os hagáis una idea: podemos implementar modelos Llama 3 en:

inf2-small: 2 núcleos, 32 GB de memoria (0.75/hora)
inf2-xlarge: 24 núcleos, 384 GB de memoria (12/hora)
Los endpoints admiten el agrupamiento continuo, el streaming y son compatibles con la API de mensajes del SDK de OpenAI, lo que garantiza una transición fluida para tus aplicaciones GenAI.

Proyectos Abiertos y Repositorios

aws-genai-rfpassistant

aws-genai-rfpassistant es un repositorio que contiene el código e infraestructura como código para un asistente de solicitudes de propuestas (RFP) impulsado por IA generativa, utilizando Amazon Bedrock y AWS Cloud Development Kit (CDK). Esto puede ser muy útil si responder a RFPs es parte de tu trabajo y estás buscando formas de optimizar tu enfoque. La documentación en el repositorio es muy completa. No lo he probado personalmente, pero he participado en la redacción y revisión de RFPs en el pasado, por lo que entiendo el dolor que llevó a la creación de este proyecto.

Self-hosted AI starter kit
Aquí tienes un kit de inicio de IA de código abierto y que puedes desplegar en tu instancia de EC2 (autoalojado).

Esta plantilla de Docker Compose configurará un entorno de desarrollo low-code completamente funcional para construir aplicaciones de IA.

Este kit incluye 4 elementos:

• Una plataforma low-code (n8n) con más de 400 componentes e integraciones de IA
• Ollama, para ejecutar tus modelos localmente
• Un almacén de vectores de alto rendimiento (Qdrant)
• PostgreSQL (¡por supuesto!)

bedrock-embed-web

bedrock-embed-web es un nuevo proyecto de mi colega Olivier Leplus que facilita más la integración de modelos fundacionales de Amazon Bedrock dentro de una interfaz de chat en tus aplicaciones web.

Vídeos del Mes

Usando Amazon Q Developer para escribir código para Observabilidad

Ricardo Ferreira nos muestra en este vídeo cómo puedes utilizar herramientas como Amazon Q Developer para ayudarte a integrar OpenTelemetry en tus aplicaciones. En este video, Ricardo muestra cómo utilizar Amazon Q Developer para instrumentar un microservicio escrito en Go para OpenTelemetry.

AI Ejecutando Su Propio Código: Intérprete de Código Agente

Mi compañero Mike Chambers nos muestra en este video cómo utilizar el intérprete de código agente de Amazon Bedrock para permitir que los modelos de IA realicen tareas complejas de matemáticas y análisis de datos. Mike demuestra cómo crear un agente utilizando Claude 3 Sonnet que puede escribir y ejecutar código Python en un entorno sandbox seguro.

El Mundo de Rust

Darko Mesaros nos presenta una forma práctica de invocar modelos en Amazon Bedrock. Escrito en Rust, podéis encontrar el código en su Github o ¡podéis verlo en Twitch!

¿Sabías que Rust 🦀 no tiene una implementación tan ordenada como LangChain?, Darko se ha embarcado en la misión de solucionar este problema y ha creado en Bedrust una función de CHAT! ¡Ya puedes tener una conversación con cualquier modelo en ejecución en Amazon Bedrock!

Joshua Mo nos muestra cómo utilizar AWS Bedrock con Rust, donde despliega una API que puede recibir un prompt JSON de una solicitud HTTP y devolver una respuesta de AWS Bedrock que se puede transmitir o devolver como una respuesta completa.

Dr. Werner Vogels nos presenta una CLI sencilla en Rust llamada Distill, que resume y extrae detalles importantes de nuestras reuniones diarias. Después de compilar desde el código fuente, simplemente pasa el archivo multimedia a Distill CLI y selecciona el bucket de S3 donde deseas almacenar el archivo. Hoy en día, Distill admite la salida de resúmenes como documentos de Word, archivos de texto e impresión directa en la terminal (de forma predeterminada). Encontrarás que es fácilmente extensible: mi equipo (OCTO) ya lo está utilizando para exportar resúmenes de nuestras reuniones de equipo directamente a Slack (y trabajando en el soporte para Markdown).

Y hasta aquí nuestra edición especial de IA. Esperamos que el contenido os haya sido útil. Nos vemos el mes que viene con una nueva edición. Hasta entonces, Happy coding!

GenAI Series: Explorando AWS Nitro y SRD

Guillermo Ruiz — Tue, 27 Aug 2024 07:15:00 +0000

En la actualidad, la inteligencia artificial (IA) requiere infraestructuras capaces de manejar inmensas cantidades de datos de manera eficiente y segura. AWS destaca por ofrecer herramientas avanzadas como el Sistema Nitro y el protocolo Scalable Reliable Datagram (SRD), diseñados para tener un alto rendimiento y asegurar la protección de los modelos de IA durante su entrenamiento.

Desafíos en el Entrenamiento de Modelos de IA

Entrenar modelos de IA a gran escala es una tarea que demanda muchos recursos computacionales y la disposición de redes de baja latencia. Estas cargas de trabajo suelen involucrar la transferencia constante de grandes volúmenes de datos entre múltiples nodos de cómputo. Si no disponemos de la infraestructura necesaria, estos modelos pueden enfrentarse a problemas como latencias, pérdida de paquetes y, en última instancia, un rendimiento inconsistente. Aquí es donde AWS Nitro y SRD entran en juego.

AWS Nitro: La base de Seguridad y Rendimiento

El Sistema Nitro es la columna vertebral de las instancias EC2 de AWS. Este sistema descompone las funciones de virtualización tradicionales, delegando tareas críticas a hardware dedicado.

Nota: El Sistema Nitro de AWS fue desarrollado para superar las limitaciones del hipervisor tradicional, como el uso excesivo de recursos que no agregaban valor directo al cliente. El enfoque tradicional basado en el hipervisor Xen requería dedicar hasta un 30% de los recursos a la gestión de funciones de red, almacenamiento y monitoreo. Para superar esta limitación, AWS diseñó el Sistema Nitro, el cual descompone la arquitectura en componentes dedicados, aumentando significativamente el rendimiento y la seguridad.

Antes:

Después:

Seguridad Basada en Hardware

Nitro utiliza un "chip de seguridad" que introduce un root of trust basado en hardware, verificando continuamente la integridad del sistema y reduciendo la superficie de ataque. Esto es crucial en entrenamientos de IA, donde la integridad de los datos y modelos es prioritaria. Además, el sistema minimiza el acceso a operadores y no permite rutas de administración convencionales como SSH, protegiendo los datos sensibles.

Optimización para Cargas Intensivas

Las tarjetas Nitro gestionan operaciones de E/S, liberando la CPU para que se concentre exclusivamente en el cómputo. Esto es útil en entrenamientos de IA que demandan grandes cantidades de recursos para tareas como el procesamiento paralelo en GPUs. Asimismo, al ofrecer redes de 100 Gbps, Nitro asegura la disponibilidad del ancho de banda necesario para flujos de datos masivos.

Innovaciones Clave del Sistema Nitro

Reducción del Jitter en la Red: Nitro minimiza el "jitter" (variabilidad en los tiempos de respuesta), lo que permite ejecutar aplicaciones en tiempo real que requieren tiempos de respuesta de microsegundos.

Mejoras en la Latencia de Almacenamiento: Al mover la gestión del almacenamiento a Nitro Cards, se reduce significativamente la latencia en operaciones de disco, incluso en instancias no optimizadas para almacenamiento.

Optimización de Red a 100 Gbps: Nitro habilita conexiones de red de hasta 100 Gbps en AWS, permitiendo una transmisión de datos para cargas de trabajo que dependen fuertemente de la red, como HPC o aprendizaje automático.

SRD: El Protocolo de Transporte que Transforma el Entrenamiento de IA

El protocolo Scalable Reliable Datagram (SRD) es esencial para habilitar la comunicación eficiente en infraestructuras distribuidas que entrenan modelos de IA. Este protocolo fue diseñado para superar los obstáculos de TCP y RoCE, los cuales como veremos, tienen sus limitaciones.

Reducción de Latencias y Evitación de Bloqueos

A diferencia de TCP, SRD permite la entrega fuera de orden de paquetes, evitando los bloqueos de cabecera (head-of-line blocking) y minimizando la latencia. Esto es vital en los entrenamientos distribuidos, donde cada milisegundo cuenta para la sincronización de múltiples nodos. Al emplear transmisión multipath, SRD distribuye los paquetes a través de múltiples rutas y evita la congestión, mejorando significativamente la fiabilidad y el rendimiento.

Control de Congestión y Adaptabilidad

El algoritmo avanzado de control de congestión de SRD ajusta dinámicamente la transmisión de datos en función de las condiciones de la red. Esto es clave en entornos donde los flujos de datos pueden variar drásticamente, como en el entrenamiento de modelos complejos de IA. Comparado con TCP, SRD ofrece tiempos de finalización de flujos (FCT) más rápidos y latencias más bajas, lo cual es crítico para optimizar los tiempos de convergencia de los modelos.

Comparación con Otros Protocolos: el turno de RoCE

Hemos visto cómo SRD se diferencia de TCP, pero echemos un vistazo a otro protocolo como RoCE (RDMA over Converged Ethernet). RoCE es una opción popular para reducir la latencia en redes de centros de datos mediante el uso de RDMA. Sin embargo, tiene limitaciones significativas en términos de escalabilidad en entornos multitenant como AWS, principalmente debido a su dependencia de mecanismos como el Priority Flow Control (PFC), que no tiene buena adaptación en redes de gran escala.

Limitaciones de RoCE en la Nube y Ventajas de SRD

Problemas de Escalabilidad: RoCE es eficiente en entornos controlados de HPC, pero en una infraestructura tan masiva y compartida como AWS, el uso de PFC puede generar congestión y "deadlocks". Estos problemas son difíciles de gestionar y pueden causar degradaciones en el rendimiento.
Con SRD evitamos completamente el uso de PFC y, en su lugar, manejamos la congestión de manera dinámica, adaptándonos a las condiciones de red. Esto hace que sea mucho más adecuado para entornos de nube a gran escala, donde la agilidad y la eficiencia en la transmisión de datos son críticas.

Rendimiento en Entornos de IA

RoCE ofrece baja latencia porque permite el acceso directo a la memoria entre nodos sin involucrar al procesador, reduciendo la sobrecarga de procesamiento. Sin embargo, su implementación y mantenimiento en la nube requieren una gran precisión en la configuración de la red. Es complejo en entornos multitenant y a gran escala, donde incluso pequeños errores de configuración pueden afectar la estabilidad de toda la red.

SRD, por otro lado, automatiza gran parte de este proceso y ofrece un rendimiento comparable o incluso superior en escenarios de congestión intensa, algo común durante el entrenamiento distribuido de modelos de IA.

Implementación e Integración de SRD

SRD está integrado en las Nitro Cards de AWS, acercando el protocolo a la capa física de la red y eliminando cuellos de botella relacionados con el sistema operativo. Este diseño permite que AWS exponga el Elastic Fabric Adapter (EFA) a los usuarios como una interfaz de red de alto rendimiento, ideal para cargas de trabajo como el entrenamiento distribuido y aplicaciones basadas en MPI (Message Passing Interface).

Beneficios de Rendimiento

SRD ofrece mejoras significativas en tiempos de finalización de flujos (FCT) y en la reducción de la latencia en escenarios de tráfico con ráfagas o incast. Su capacidad para redirigir paquetes rápidamente y evitar puntos calientes de congestión mejora tanto la confiabilidad como el rendimiento general de la red, superando a protocolos tradicionales en términos de velocidad y resiliencia.

Conclusión

AWS Nitro y SRD son dos piezas críticas para la infraestructura en la nube. Nitro garantiza la máxima eficiencia y seguridad, mientras que SRD redefine la forma en que se transportan los datos en redes distribuidas a gran escala. En conjunto, estas tecnologías permiten un entorno optimizado para cargas de trabajo intensivas, como es el entranmiento de modelos de IA.

Referencias:

A Cloud-Optimized Transport Protocol for Elastic and Scalable HPC: https://assets.amazon.science/a6/34/41496f64421faafa1cbe301c007c/a-cloud-optimized-transport-protocol-for-elastic-and-scalable-hpc.pdf
Reinventing virtualization with the AWS Nitro System: https://www.allthingsdistributed.com/2020/09/reinventing-virtualization-with-nitro.html

Anexo - Terminología

1. Bloqueo de Cabecera (Head-of-Line Blocking)

El bloqueo de cabecera ocurre en redes y protocolos de comunicación cuando un paquete retrasado o bloqueado impide que otros paquetes en la cola avancen. En protocolos como TCP, los paquetes deben llegar en orden. Si un paquete se retrasa, otros paquetes que llegan después no pueden ser procesados hasta que se resuelva el retraso del primero. Esto aumenta la latencia y afecta el rendimiento en aplicaciones sensibles al tiempo.

2. Finalización de Flujos (Flow Completion Time - FCT)

El tiempo de finalización de flujos (FCT) es una métrica clave en redes que mide el tiempo total que tarda un flujo de datos desde que se inicia hasta que se completa. Es especialmente importante en aplicaciones de alta demanda, donde la rapidez con la que se transmiten y procesan los datos impacta directamente en el rendimiento.

3. Aplicaciones Basadas en MPI (Message Passing Interface)

MPI (Message Passing Interface) es un estándar utilizado en computación de alto rendimiento (HPC) para facilitar la comunicación entre nodos en sistemas distribuidos. Es común en simulaciones científicas y en el entrenamiento de modelos de IA que requieren coordinación precisa entre múltiples servidores.

4. Condiciones de Incast

Este fenómeno ocurre cuando múltiples fuentes envían datos simultáneamente a un solo destino, lo que puede causar sobrecarga en los switches.

5. Control de Congestión Avanzado

SRD emplea un algoritmo especializado que se ajusta rápidamente a las condiciones de la red, previniendo pérdidas de paquetes y minimizando la latencia. Esto es crítico en redes complejas donde la fluctuación en el tráfico puede impactar el rendimiento.

6. RDMA (Remote Direct Memory Access)

RDMA permite el acceso directo a la memoria de una máquina desde otra sin involucrar al procesador, la caché o el sistema operativo de la máquina de destino. Esto reduce drásticamente la latencia y libera recursos de CPU, lo que es esencial en aplicaciones de HPC y IA que requieren la transmisión rápida de datos entre nodos.

7. RoCE (RDMA over Converged Ethernet)

RoCE es una tecnología que extiende RDMA a través de redes Ethernet, ofreciendo baja latencia para aplicaciones de HPC. Sin embargo, en entornos de gran escala como la nube, RoCE enfrenta problemas de escalabilidad y congestión debido a su dependencia de control de flujo por prioridad (PFC).

8. PFC (Priority Flow Control)

PFC es un mecanismo utilizado en redes Ethernet para evitar la pérdida de paquetes al pausar el tráfico en situaciones de congestión. Sin embargo, su uso en redes grandes y compartidas como la nube puede llevar a problemas de bloqueo y "deadlocks".

Boletín AWS Open Source, July Edition

Guillermo Ruiz — Wed, 31 Jul 2024 08:50:04 +0000

En esta edición de la newsletter, exploraremos herramientas y soluciones open-source de la comunidad. Veremos cómo usar AWS SNS para gestionar notificaciones en arquitecturas de microservicios, analizaremos los métodos de autenticación en Amazon EKS y compartiremos recursos para desarrollar servicios web en Rust con AWS S3. También aprenderemos a gestionar servidores de juegos en Kubernetes y a implementar Cilium Service Mesh en Amazon EKS.

Todo esto gracias a la comunidad, cuya colaboración hace posible esta newsletter.

Comencemos!

Tools

threat-composer

Ahora puedes crear, ver y editar modelos de amenazas directamente dentro de Visual Studio Code utilizando la extensión AWS Toolkit.

Incorpora prácticas de modelado de amenazas en tu flujo de trabajo de desarrollo, modelando las amenazas justo al lado de lo que estás construyendo. Aprovecha la capacidad de tu sistema de control de versiones para gestionar la persistencia, el control de versiones, la autorización, el compartimiento y la revisión.

¡Un gran aplauso para Bijin Abraham Idicula, Jessie Wei y las fantásticas personas detrás de la extensión AWS Toolkit.

Extensión AWS Toolkit VS Code: https://lnkd.in/gsKVUXUK
Repositorio Threat Composer: https://lnkd.in/eXVQUYHJ

alarm-context-tool
alarm-context-tool mejora las Alarmas de AWS CloudWatch proporcionando contexto adicional que te ayudarña en la resolución de problemas y análisis. Mediante el uso de servicios como Lambda, CloudWatch, X-Ray y Amazon Bedrock, esta solución agrega y analiza métricas, logs y trazas para generar información relevante. Utilizando las capacidades de IA generativa de Amazon Bedrock, resume los hallazgos, identifica las posibles causas raíz y ofrece enlaces a documentación relevante para ayudar a los operadores a resolver problemas de manera más eficiente. La implementación está diseñada para una fácil integración en los flujos de trabajo de observabilidad existentes, reduciendo significativamente los tiempos de respuesta y mejorando el análisis del root cause.

OpenTelemetry-Collector

El colector de OpenTelemetry es el componente más adoptado del proyecto OpenTelemetry (OTel), y muchos lo utilizan en producción.

Sin embargo, aunque las señales de telemetría -trazas, métricas y logs- han sido declaradas GA en OTel, el colector de OTel aún no lo es. ¿Por qué? ¿Cuándo podemos esperar la tan esperada versión 1.0 del colector?

La estabilidad del colector es importante para que los usuarios sepan que está listo para producción, con todas las garantías necesarias, como soporte a largo plazo y compatibilidad con versiones anteriores.

Y es también importante para permitir que todo el proyecto OpenTelemetry sea aprobado para graduarse bajo la Cloud Native Computing Foundation (CNCF), donde actualmente está siendo evaluado.

El equipo de desarrollo ha hecho público la hoja de ruta (v1): https://lnkd.in/dSCWiykA

Y han facilitado un tablero del proyecto de hitos v1: https://lnkd.in/d3jhQQzt

Si queréis saber más, os recomendamos el siguiente artículo de Alex Boten publicado en el blog de OTel:
https://lnkd.in/dRywJpXm

Y si eres nuevo en OpenTelemetry y el colector, esto te puede interesar: https://lnkd.in/deaGHahR

csr-builder-for-kms
csr-builder-for-kms proporciona una biblioteca de Python para crear y firmar solicitudes de firma de certificados X.509 (CSRs) con llaves KMS.

project-lakechain
project-lakechain es un marco de trabajo experimental basado en AWS Cloud Development Kit (CDK). Este proyecto ha sido diseñado para ayudar a los clientes de AWS a construir y escalar diferentes tipos de pipelines de procesamiento de documentos, abarcando una amplia gama de casos de uso que incluyen extracción de metadatos, conversión de documentos, análisis NLP, resumen de textos, traducciones, transcripciones de audio, visión por computadora, pipelines de Generación Aumentada por Recuperación y mucho más. Actualmente está en fase Alfa, así que si encuentras alguna anomalía, asegúrate de reportar un problema.

Demos, Soluciones y Workshops

Framework Orquestador Agentes Múltiples IA

Para más información: https://awslabs.github.io/multi-agent-orchestrator/

Usa Amazon CloudWatch Contributor Insights para un análisis general de los registros de Apache, proporciona una guía práctica sobre cómo monitorizar y realizar análisis de los registros de Apache utilizando CloudWatch Contributor Insights [Hands-On].

Cloud Native

Arrancamos con nuestro AWS Community Builder Romar Cablao, quien continúa con su serie de publicaciones "Back2Basics" con la última, Back2Basics: Monitoring Workloads on Amazon EKS. En esta última publicación verás cómo usar Prometheus y Grafana para monitorizar algunas cargas de trabajo. A continuación, tenemos al AWS Community Builder Ant Weiss, quien ha compilado 9 maneras de levantar un clúster EKS - Manera 3 - eksctl, que como se describe, profundiza en las formas de usar eksctl.

Simplifica la implementación de Service Mesh con el complemento de Solo.io para Amazon EKS en AWS Marketplace, el cual explora una de las opciones que tienes al buscar gestionar cargas de trabajo de microservicios en AWS usando Istio. Si te quieres adentrar en este mundo, te aconsejamos sigas a Peter Jausovec, Developer Advocate para Solo.io.

Escala y simplifica el monitoreo de cargas de trabajo de ML en Amazon EKS con el contenedor AWS Neuron Monitor, que analiza el reciente lanzamiento del contenedor AWS Neuron Monitor. Este contenedor facilita la integración de herramientas avanzadas de monitoreo como Prometheus y Grafana, permitiéndote configurar y gestionar tus flujos de trabajo de aprendizaje automático (ML) con los chips de IA de AWS [Hands-On].

AWS: Kubernetes y API de Gestión de Accesos, un artículo del Community Builder Arseny Zinchenko, explora cómo el servicio Amazon EKS autentica y autoriza a los usuarios (tanto a usuarios reales como a Nodos de Trabajo). Este tema cubre los fundamentos básicos, por lo que vale la pena mantenerse al tanto de cómo funciona.

La guía del desarrollador para operar juegos en Kubernetes - Parte 1 es el primer artículo de una serie de publicaciones que te proporciona conocimientos para mejorar la creación de clústeres de Kubernetes para videojuegos [Hands-on].

Introducción a Cilium Service Mesh en Amazon EKS explica cómo desplegar Cilium Service Mesh como Ingress de Kubernetes y cómo aprovecharlo para dirigir el tráfico utilizando políticas de tráfico de la capa 7 basadas en Envoy [Hands-on].

Vídeos del Mes

En este curso completo de Rust para principiantes, aprenderás sobre los conceptos básicos del lenguaje y los mecanismos subyacentes. Más de 13 horas de contenido!

youtube.com

El Mundo de Rust

Joshua Mo ha creado una serie de artículos en Rust que nos ha parecido interesantes. En el primero de ellos, nos enseña cómo crear un servicio web que utiliza AWS S3 para almacenar y recuperar imágenes. También añadirá telemetría mediante trazas, revisará pruebas y otras cosas comunes para poner en producción una aplicación web en Rust.

En el segundo post nos muestra el uso de AWS SNS (Simple Notification Service) como mecanismo de notificación en arquitecturas de microservicios, permitiendo crear temas, suscribirse a ellos y enviar mensajes. Al final del artículo, Joshua habrá implementado dos servicios web funcionales: uno capaz de recibir mensajes de AWS SNS y otro encargado de enviarlos.

Y hasta aquí nuestra edición veraniega del boletín de noticias. Esperamos que hayáis disfrutado con el contenido. Nos vemos el mes que viene con una nueva edición. Hasta entonces, Happy coding!

Boletín AWS Open Source, June Edition

Guillermo Ruiz — Wed, 26 Jun 2024 06:30:00 +0000

Bienvenidos a una nueva edición del boletín de AWS Open Source. Con el verano a la vuelta de la esquina, muchos podréis disfrutar de unas merecidas vacaciones, y es el momento perfecto para conocer nuevas herramientas y soluciones.

En esta edición, exploraremos herramientas de pentesting específicas para AWS. Aprenderemos a asegurar nuestra infraestructura utilizando Infraestructura como Código (IaC). Además, conoceremos la locura de Álvaro Hernández, nuestro AWS Hero, con Dyna53. Introduciremos dos nuevas herramientas desarrolladas en Rust: una para la gestión de buckets en S3 y otra que resume y extrae detalles importantes de nuestras reuniones diarias. Por último, las últimas novedades en IA generativa.

Esperamos que disfrutéis la recopilación!

Tools

Sustainability Scanner

El Sustainability Scanner es una herramienta de código abierto diseñada para ayudar a los clientes a crear una infraestructura más sostenible en AWS mediante la evaluación de su infraestructura como código (IaC) frente a un conjunto de mejores prácticas de sostenibilidad y sugerencias de mejoras para aplicar a su código.

containers-cost-allocation-dashboard
containers-cost-allocation-dashboard proporciona todo lo necesario para crear un panel QuickSight para la asignación de costos de contenedores basado en datos de Kubecost. El panel te ofrece los costos y el uso de EKS dentro del clúster en un entorno multi-clúster, utilizando datos de un pod Kubecost autohospedado. El README contiene enlaces adicionales a recursos que te ayudarán a comprender cómo funciona esto, las dependencias y cómo implementar y configurar este proyecto.

cloudfront-hosting-toolkit

cloudfront-hosting-toolkit es una CLI diseñada para ayudarte a desplegar frontends de forma rápida y segura. Esta herramienta te simplifica la interacción con la plataforma AWS para desplegar sitios web estáticos. Te guía a través de la configuración de un nuevo repositorio, la ejecución del proceso de despliegue y proporciona el nombre de dominio al finalizar. Al seguir estos pasos, vinculas fácilmente tu repositorio de GitHub y despliegas la infraestructura necesaria, simplificando el proceso de despliegue. Puedes obtener más información leyendo la entrada del blog,Introducing CloudFront Hosting Toolkit, donde Achraf Souk, Corneliu Croitoru y Cristian Graziano te ayudan con una guía práctica sobre este proyecto.

terraform-aws-alternat
terraform-aws-alternat simplifica cómo puedes desplegar instancias NAT en alta disponibilidad, lo que puede ayudarte a reducir tus costos si necesitas proporcionar acceso a Internet dentro de tu VPC. Vale la pena revisar el README que proporciona detalles y comparaciones sobre el uso de este enfoque frente a los NAT Gateways.

Demos, Soluciones y Workshops

Dyna53
Dyna53 es una solución open-source creada por nuestro AWS Hero, Álvaro Hernández, que te permite implementar en tu cuenta de AWS una base de datos NoSQL de clave-valor que es escalable automáticamente. Expone la API de Dynamo, pero almacena datos en una zona de tu elección en Route53. Esta locura surgió de un comentario en redes sociales de Corey Quin, un influencer en el mundo cloud que rara vez deja pasar la oportunidad de examinar, analizar, explicar, burlarse y defender AWS, que de forma sarcástica dijo que Route 53 es la "Base de Datos Principal de Amazon". Pues bien, deseo concedido. Dyna53 es aquello con lo que Corey soñó alguna vez.

create-and-delete-ngw
Este proyecto contiene el código fuente y archivos de soporte para una aplicación serverless que asigna una dirección IP elástica, crea un Gateway NAT y agrega una ruta al Gateway NAT en una tabla de rutas VPC. La aplicación también elimina el Gateway NAT y libera la dirección IP elástica. El proceso para crear y eliminar un Gateway NAT está orquestado por una Máquina de Estados de AWS Step Functions, activada por un programador de EventBridge. La programación puede definirse mediante parámetros durante el proceso de implementación de SAM.

Cloud Native

StackGres
Volvemos con nuestro Hero, Álvaro Hernández, que nos trae Stackgres, una distribución de PostgreSQL para Kubernetes. Se trata de un stack que trae todo lo necesario para tener una implementación completa. No se trata solo de Postgres, sino que además tendréis disponible el agrupamiento de conexiones, conmutación por error y alta disponibilidad automáticas, monitoreo, copias de seguridad y recuperación ante desastres, y el registro centralizado...todo en uno.

IA Generativa

Mi compañero Dennis Traub nos trae un tutorial para aprender de manera práctica cómo utilizar la nueva API de Converse de Amazon Bedrock para interactuar con modelos de inteligencia artificial generativa en Amazon Bedrock, utilizando el AWS SDK para JavaScript.

serverless-genai-food-analyzer-app

amazon-bedrock-serverless-prompt-chaining

Este repositorio proporciona ejemplos de cómo usar AWS Step Functions y Amazon Bedrock para construir aplicaciones de IA generativa complejas, serverless y altamente escalables, utilizando el encadenamiento de prompts. Con el encadenamiento de prompts, puedes construir un conjunto de subtareas más pequeñas (prompts individuales). Juntas, estas subtareas conforman tu tarea compleja que deseas que el LLM complete para tu aplicación. Para lograr la tarea general, tu aplicación alimenta cada prompt de subtask al LLM en un orden predefinido o según un conjunto de reglas definidas. Hay muchos ejemplos en el README, así que échale un vistazo para aprender más sobre el encadenamiento de prompts y cómo puedes hacerlo al estilo sin servidor.

Security

Este mes os traemos a petición de los lectores, herramientas de pentesting en AWS para validar y verificar la seguridad de vuestros servicios.

Disclaimer: Como siempre, lo que os compartimos a continuación debe usarse de manera ética y con el consentimiento de vuestro cliente o empresa. No nos hacemos responsables del uso indebido que se pueda derivar de esta información.

A continuación os mostramos cinco herramientas populares para probar la seguridad en AWS.

Pacu es una herramienta de código abierto diseñado para pruebas de seguridad ofensiva. Permite a los testers simular escenarios de ataque en entornos de AWS para identificar debilidades de seguridad.

Características:

Diseño Modular: Pacu tiene una arquitectura modular, permitiendo a los usuarios cargar módulos específicos para tareas como enumeración, escalada de privilegios y explotación.
Automatización: Automatiza muchas de las tareas tediosas asociadas con las pruebas de penetración en AWS.
Gestión de Credenciales: Maneja múltiples credenciales de AWS, facilitando el cambio entre diferentes cuentas.
Módulos Personalizados: Los usuarios pueden desarrollar e integrar módulos personalizados para extender la funcionalidad de Pacu.

Capacidades Clave:

Enum IAM: Enumera usuarios, roles, políticas y grupos de IAM.
Buckets S3: Identifica buckets S3 mal configurados e intenta acceder a su contenido.
Escalada de Privilegios: Identifica posibles rutas de escalada de privilegios dentro del entorno de AWS.
Backdoor Lambda: Despliega un backdoor en funciones de AWS Lambda.

Instalación:

pip3 install -U pacu

Uso:
Para iniciar Pacu y crear una nueva sesión:

pacu

ScoutSuite es una herramienta de auditoría de seguridad multi-nube de código abierto que funciona con AWS, Azure y GCP. Proporciona una vista completa de la postura de seguridad de los entornos en la nube utilizando las APIs de los servicios en la nube.

Características:

Soporte Multi-Nube: Compatible con AWS, Azure y GCP, haciéndola versátil para entornos multi-nube.
Informes Detallados: Genera informes en HTML que proporcionan un análisis en profundidad de la configuración de seguridad.
Sin Agentes: No requiere la instalación de agentes dentro del entorno de la nube.

Capacidades Clave:

Análisis de IAM: Evalúa las configuraciones de IAM, identificando roles y políticas excesivamente permisivos.
Servicios de Almacenamiento: Evalúa la seguridad de los buckets S3, asegurando que no sean accesibles públicamente.
Configuración de Red: Revisa las reglas de grupos de seguridad y configuraciones de VPC para identificar posibles errores de configuración.
Registro y Monitoreo: Verifica la configuración de CloudTrail y CloudWatch para asegurar el registro y monitoreo adecuados.

Instalación:

pip3 install scoutsuite

Uso:
Para ejecutar ScoutSuite y generar un informe:

aws --profile <profile-name> configure
scout aws --profile <profile-name> -f

Ejemplo para EC2:

PMapper te ayuda a entender quién tiene permiso para hacer qué en AWS, usando gráficos y simulaciones. Es como un mapa que te muestra las relaciones y permisos entre usuarios y roles.

Características:

Análisis Basado en Gráficos: Utiliza un enfoque basado en gráficos para mapear entidades de IAM y sus permisos.
Visualizaciones: Proporciona representaciones visuales de las relaciones y permisos de IAM, facilitando la identificación de problemas de seguridad.
Simulación de Políticas: Simula evaluaciones de políticas de IAM para entender el impacto de políticas específicas en los permisos.
Lenguaje de Consulta: Permite a los usuarios consultar el gráfico de IAM para encontrar relaciones o configuraciones incorrectas.

Capacidades Clave:

Construcción de Gráficos de IAM: Construye un gráfico de entidades de IAM y sus relaciones basado en las políticas de IAM de la cuenta de AWS.
Identificación de Riesgos: Identifica permisos de alto riesgo y posibles rutas de escalada de privilegios.
Consultas Interactivas: Los usuarios pueden consultar de manera interactiva el gráfico de IAM para explorar permisos y relaciones específicas.
Permisos Efectivos: Determina los permisos efectivos de usuarios y roles simulando evaluaciones de políticas.

Instalación:

git clone https://github.com/nccgroup/PMapper.git
cd PMapper
pip install .

Uso:
Para crear un gráfico de permisos de IAM:

pmapper --profile <profile-name> graph create

Aquí tenéis un ejemplo de visualización:

Enumerate-IAM detalla los usuarios, roles y políticas en AWS, ayudando a identificar permisos excesivos o configuraciones incorrectas. Es como una lista completa de quién puede hacer qué y con qué permisos.

Características:

Enumeración Detallada: Proporciona información completa sobre las entidades de IAM y sus permisos.
Análisis de Políticas: Analiza las políticas de IAM para identificar aquellas excesivamente permisivas o mal configuradas.
Salida en JSON: Genera resultados en formato JSON, facilitando la integración con otras herramientas o procesos.

Capacidades Clave:

Enumeración de Usuarios y Roles: Lista todos los usuarios y roles de IAM dentro de una cuenta de AWS.
Extracción de Políticas: Extrae y analiza políticas inline y gestionadas.
Enumeración de Grupos: Lista todos los grupos de IAM y sus usuarios y políticas asociados.
Permisos Efectivos: Determina los permisos efectivos de los usuarios y roles de IAM.

Instalación:

git clone https://github.com/andresriancho/enumerate-iam.git
cd enumerate-iam
pip install -r requirements.txt

Uso:
Para ejecutar Enumerate-IAM y realizar una enumeración básica:

python enumerate-iam.py -h
python enumerate-iam.py --access-key <key-here> --secret-key <secret-here>

Ejemplo:

$ ./enumerate-iam.py --access-key AKIA... --secret-key StF0q...
2019-05-10 15:57:58,447 - 21345 - [INFO] Starting permission enumeration for access-key-id "AKIA..."
2019-05-10 15:58:01,532 - 21345 - [INFO] Run for the hills, get_account_authorization_details worked!
2019-05-10 15:58:01,537 - 21345 - [INFO] -- {
    "RoleDetailList": [
        {
            "Tags": [], 
            "AssumeRolePolicyDocument": {
                "Version": "2008-10-17", 
                "Statement": [
                    {
...
2019-05-10 15:58:26,709 - 21345 - [INFO] -- gamelift.list_builds() worked!
2019-05-10 15:58:26,850 - 21345 - [INFO] -- cloudformation.list_stack_sets() worked!
2019-05-10 15:58:26,982 - 21345 - [INFO] -- directconnect.describe_locations() worked!
2019-05-10 15:58:27,021 - 21345 - [INFO] -- gamelift.describe_matchmaking_rule_sets() worked!
2019-05-10 15:58:27,311 - 21345 - [INFO] -- sqs.list_queues() worked!

Prowler

Prowler es una herramienta de seguridad de código abierto diseñada para auditar y asegurar entornos de AWS. Se enfoca en verificar la conformidad con varios estándares y mejores prácticas de seguridad.

Características:

Auditorías de Seguridad: Realiza auditorías exhaustivas para identificar configuraciones incorrectas y vulnerabilidades en las cuentas de AWS.
Cumplimiento Normativo: Proporciona verificaciones para cumplir con estándares de seguridad como CIS AWS Foundations Benchmark, GDPR, HIPAA, ISO 27001, y SOC 2.
Reportes Detallados: Genera informes detallados en formato HTML y JSON que resumen los hallazgos y recomendaciones.
Modularidad: Prowler es altamente modular, permitiendo a los usuarios ejecutar controles específicos basados en sus necesidades y requisitos de cumplimiento.
Automatización: Facilita la automatización de auditorías de seguridad, permitiendo integrarse fácilmente en flujos de trabajo de DevOps y CI/CD.

Capacidades Clave:

Verificación de Configuraciones: Revisa configuraciones de IAM, S3, CloudTrail, VPC, y otros servicios de AWS para asegurar que cumplen con las mejores prácticas.
Detección de Vulnerabilidades: Identifica configuraciones débiles que podrían ser explotadas por atacantes.
Integración con SIEM: Los resultados de Prowler pueden integrarse con sistemas de gestión de eventos e información de seguridad (SIEM) para un análisis y respuesta más detallados.
Soporte Multi-Account: Puede auditar múltiples cuentas de AWS desde una única ejecución, facilitando la gestión de entornos grandes.

Instalación:

git clone https://github.com/prowler-cloud/prowler
cd prowler
./prowler

Uso:
Para ejecutar una auditoría básica y generar un informe en HTML, usa el siguiente comando:

./prowler -M html

Comando:

prowler aws --service iam accessanalyzer \
 --ignore-unused-services

                          _
 _ __  _ __ _____      _| | ___ _ __
| '_ \| '__/ _ \ \ /\ / / |/ _ \ '__|
| |_) | | | (_) \ V  V /| |  __/ |
| .__/|_|  \___/ \_/\_/ |_|\___|_|v3.13.0
|_| the handy cloud security tool

Date: 2024-02-13 11:45:13


This report is being generated using credentials below:

AWS-CLI Profile: [default] AWS Filter Region: [all]
AWS Account: [552455647653] UserId: [AROAYBIHMGGS6YI4ZXZD5:demo@prowler.com]
Caller Identity ARN: [arn:aws:sts::552455647653:assumed-role/AWSReservedSSO_ProwlerRole_2ad14f771534c04a/demo@prowler.com]

Executing 38 checks, please wait...

-> Scan completed! |▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉| 38/38 [100%] in 30.3s

Overview Results:
╭────────────────────┬────────────────────╮
│ 44.79% (43) Failed │ 55.21% (53) Passed │
╰────────────────────┴────────────────────╯

Account 552455647653 Scan Results (severity columns are for fails only):
╭────────────┬────────────────┬───────────┬────────────┬────────┬──────────┬───────╮
│ Provider   │ Service        │ Status    │   Critical │   High │   Medium │   Low │
├────────────┼────────────────┼───────────┼────────────┼────────┼──────────┼───────┤
│ aws        │ accessanalyzer │ FAIL (19) │          0 │      0 │        0 │    19 │
├────────────┼────────────────┼───────────┼────────────┼────────┼──────────┼───────┤
│ aws        │ iam            │ FAIL (24) │          2 │     15 │        7 │     0 │
╰────────────┴────────────────┴───────────┴────────────┴────────┴──────────┴───────╯
* You only see here those services that contains resources.

Detailed results are in:
 - HTML: /Users/toni/output/prowler-output-552455647653-20240213114513.html
 - JSON-OCSF: /Users/toni/output/prowler-output-552455647653-20240213114513.ocsf.json
 - CSV: /Users/toni/output/prowler-output-552455647653-20240213114513.csv
 - JSON: /Users/toni/output/prowler-output-552455647653-20240213114513.json


To see findings detail browse any of those files, for quick review, see the html one.

Si queréis ver cómo se puede detectar y evitar el 90% de los ataques en la nube os recomendamos el siguiente blog.

Todas estas herramientas son importantes para mantener la seguridad en AWS y asegurarse de que todo esté bien protegido. Combinadas con servicios existentes como Security Hub, GuardDuty, y otros, disponéis de un stack robusto para asegurar vuestros entornos.

Vídeos del Mes

Usando Amazon Q Developer para escribir código para Observabilidad

Desplegando projen-pipelines en público - Desarrollo de Open source en la práctica

El AWS Hero Johannes Koch, junto con el también AWS Hero Thorsten Höger y el AWS Community Builder Raphael Manke, examinan la implementación de projen pipelines, un nuevo proyecto que Thorsten y Johannes empezaron recientemente y que permite a los desarrolladores cambiar fácilmente entre diferentes sistemas CI/CD.

El Mundo de Rust

Mi compañero Darko Mesaros nos trae una nueva herramienta, Shuk, escrita en Rust y que te permite cargar archivos de cualquier tamaño en Amazon S3 y compartirlos con otros mediante una URL pre-signed. Lo más interesante es que soporta multipart uploads.

Y hasta aquí nuestra edición de este mes. Muchas gracias a todos por seguir compartiendo vuestro conocimiento y mostrándonos nuevas soluciones y proyectos open-source. Este boletín no sería posible sin vuestra colaboración.

Nos vemos en unas semanas! Si queréis destacar alguna herramientas o solución que os parezca interesante, por favor, dejarnos vuestras propuestas en los comentarios.

Hasta entonces, sed buenos, happy coding!

Impulsa tu Carrera: Únete a la Comunidad de Desarrolladores de AWS en Iberia (User Groups)

Guillermo Ruiz — Tue, 18 Jun 2024 16:00:52 +0000

AWS User Groups

Únete a las comunidades de desarrolladores de AWS en Iberia para seguir perfeccionando tus habilidades en computación en la nube y avanzar en tu carrera profesional. Podrás mantenerte actualizado en las tecnologías de AWS, conectar con profesionales destacados y participar en actividades que harán que tu experiencia de aprendizaje aún más enriquecedora.

AWS Alicante: https://www.meetup.com/aws-user-group-alicante/
AWS Algarve: https://www.meetup.com/loule-cloud-computing-meetup-group/
AWS Andorra La Vella
AWS Asturias: https://www.meetup.com/aws-user-group-asturias/
AWS Barcelona: https://www.meetup.com/Barcelona-Amazon-Web-Services-Meetup/
AWS Bilbao: https://www.meetup.com/AWS-Bilbao/
AWS Castelo Branco: https://www.meetup.com/aws-user-group-castelo-branco/
AWS Las Palmas: https://www.meetup.com/aws-las-palmas-user-group/
AWS Lisboa: https://www.meetup.com/aws-user-group-lisbon/
AWS Madrid: https://www.meetup.com/Madrid-Amazon-Web-Services-Meetup/
AWS Palma de Mallorca: https://www.meetup.com/Amazon-Web-Services-User-Group-Palma-Spain/
AWS Sevilla: https://www.meetup.com/aws-user-group-sevilla/
AWS Valencia: https://www.meetup.com/AWS-Valencia/
AWS Zaragoza: https://www.meetup.com/awszgz/

Y aprovechamos para dejaros unos recursos que os podrán ser muy útiles para seguir aprendiendo:

AWS Skillbuilders

AWS Skillbuilders es un programa diseñado para ayudar a los desarrolladores, arquitectos y profesionales de TI a mejorar sus habilidades en AWS y hacer crecer sus carreras en el campo de la computación en la nube.

Link: https://skillbuilder.aws/

AWS Cloud Quest

AWS Cloud Quest una plataforma educativa que permite a las personas aprender y perfeccionar sus habilidades en la nube de una manera divertida, interactiva y práctica.

Link: https://aws.amazon.com/training/digital/aws-cloud-quest/

AWS JAM

AWS JAM es una experiencia de aprendizaje y desarrollo de habilidades en un entorno de colaboración y competencia, diseñada para que los desarrolladores y profesionales de TI profundicen en los servicios y tecnologías de AWS.

Link: https://jam.awsevents.com/

AWS GameDays

AWS GameDays es una experiencia de aprendizaje práctica y simulada que permite a los profesionales de TI y desarrolladores desarrollar y poner a prueba sus habilidades en la gestión de crisis y la resolución de problemas en la nube.

Link: https://aws.amazon.com/gameday/

AWS DeepRacer

AWS DeepRacer es una plataforma interactiva y gamificada que permite a los desarrolladores, ingenieros y entusiastas de la IA aprender y practicar habilidades de aprendizaje por refuerzo (RL) de una manera práctica y divertida.

Link: https://aws.amazon.com/deepracer/student/

AWS PartyRock

AWS PartyRock es un espacio donde puedes construir aplicaciones generadas por IA en un campo de juego impulsado por Amazon Bedrock. Es una forma rápida y divertida de aprender sobre IA generativa.

Link: https://partyrock.aws/

Descubriendo AWS DeepRacer: Experiencias y consejos para AWS DeepRacer de los finalistas de las SpainSkills

Guillermo Ruiz — Tue, 18 Jun 2024 14:45:32 +0000

Experiencias con AWS DeepRacer y el aprendizaje por refuerzo

La competición de AWS DeepRacer dentro de la demostración cloud de las SpainSkills fue una oportunidad única para que los finalistas de las diferentes comunidades autónomas participantes experimentaran con el aprendizaje por refuerzo de forma práctica. Algunos de estos finalistas han compartido sus experiencias y consejos para futuros participantes en las competiciones organizadas por la Alianza Tech de AWS (Skills to Jobs Tech Alliance). Por orden alfabético de la Comunidad Autonómica de los finalistas:

Mario (Aragón, CPIFP Pirámide): Improvisación y experimentación

Mario nos explica como pasó todo un día entrenando modelos y compitiendo online, encontrando la experiencia divertida a pesar de la curva de aprendizaje inicial. Interactuar con otros participantes y aprender sobre inteligencia artificial fueron algunos de los aprendizajes que destaca en este video. Para él, lo más emocionante fue observar al modelo aprender y mejorar según los parámetros que iba modificando. Por último, Mario enfatiza la importancia de experimentar con diferentes configuraciones para comprender el proceso de aprendizaje.

Robin (Canarias, IES Lomo de la Herradura): Una valiosa herramienta docente

Robin destaca AWS DeepRacer como un método de enseñanza efectivo para entender la inteligencia artificial y el aprendizaje por refuerzo. Combina entrenamiento virtual con una competición en un circuito físico, lo que le permite profundizar en estos conceptos de forma gamificada. Lo más emocionante fue usar los coches físicos en la pista, centrándose en mantener la estabilidad del coche y optimizar la velocidad. También alaba la consola de AWS por su facilidad de uso.

Sergio (Cantabria, IES Augusto González Linares): Sorprendido por la sencillez

A pesar de ser nuevo en el ámbito del Machine Learning, Sergio quedó sorprendido por la facilidad para comenzar con AWS DeepRacer. El momento más emocionante fue la segunda ronda de la competición, en la que se enfocó en controlar la velocidad del coche y disfrutar de la experiencia. Sergio anima a los interesados a participar, enfatizando que es una actividad divertida y no deben preocuparse por los errores. También explica como su mayor reto fue aproximarse a la nueva tecnología, pero una vez comenzó a practicar con funciones sencillas fue mejorando sus resultados.

Andoni (País Vasco, IES Xabier Zubiri Manteo BHI): Carreras físicas intensas

Andoni expresó la satisfacción de entrenar distintos modelos y observar su progreso en persona, lo que le ha inspirado a seguir sus estudios con un máster en inteligencia artificial. Los momentos más intensos fueron las carreras físicas, donde los coches estaban muy igualados y se generaba suspense sobre los resultados finales. Su principal reto fue optimizar la velocidad del coche a través de la función de recompensa.

Como podemos ver, AWS DeepRacer es una excelente iniciativa que permite a los estudiantes aprender sobre inteligencia artificial y aprendizaje por refuerzo de forma práctica y divertida.

¡Esperamos que haya más competiciones como ésta en el futuro!

Únete a la comunidad de desarrolladores de AWS para aprender más sobre cloud y tecnología: https://dev.to/aws-espanol/impulsa-tu-carrera-unete-a-la-comunidad-de-desarrolladores-de-aws-en-iberia-user-groups-h0m

Empleabilidad en el ámbito cloud, by Experis

Guillermo Ruiz — Tue, 18 Jun 2024 14:38:47 +0000

En el marco de la participación de Experis en la Alianza Tech de AWS (Skills to Jobs Tech Alliance), Experis, Amazon Web Services y Fundación Human Age Institute organizaron una jornada para impulsar la empleabilidad de más de 1.200 jóvenes en el ámbito Cloud en el mes de octubre de 2023.

• Programa de la jornada: https://humanageinstitute.org/evento/aws-poweryou-xperience-oportunidades-profesionales-en-cloud-25-de-octubre/?instance_id=351

• Nota prensa de la jornada: https://humanageinstitute.org/experis-amazon-web-services-y-human-age-institute-impulsan-la-empleabilidad-de-mas-de-1-200-jovenes-en-el-ambito-cloud/

Aquí tenéis las diferentes sesiones que se impartieron:

1.¿Sabes qué es Experis y qué es Experis Academy?

Fernando Aguilar, Head of Experis Academy nos presenta Experis, una compañía global con más de 25 años de experiencia en Tecnologías de la Información, y Experis Academy.

Fernando Aguilar nos explica el liderazgo de Experis en consultoría tecnológica, con una fuerte presencia en España y operaciones en más de 45 países. Ofrecen servicios de transformación empresarial, infraestructura de nube y aplicaciones empresariales, con un enfoque en la mejora y el reciclaje profesional a través de su unidad Experis Academy. Las colaboraciones con gigantes del sector, como Amazon Web Services, garantizan que ofrecen una formación profesional muy demandada y cierran la brecha entre los profesionales de la tecnología y la demanda del mercado.

2.Tendencias y desarrollos en Cloud
Miguel Ángel Castaño, manager Clou&Infraestructure Experis, analiza los avances, actuales tendencias y desarrollos en Cloud.

Miguel Ángel Castaño nos explica como la computación en nube es una tecnología crucial para los profesionales de TI, haciendo hincapié en el cambio hacia la administración de sistemas en la nube en lugar de dispositivos físicos. Analiza la importancia del aprendizaje continuo y la adaptación a las nuevas tecnologías, como la computación cuántica, los contenedores y la automatización en el campo de la TI. Miguel Ángel también destaca los beneficios de eficiencia y seguridad de la computación en nube, y hace hincapié en la necesidad de que los profesionales desarrollen sus habilidades para satisfacer las demandas del cambiante panorama de TI.

3. Roles y carreras en Cloud
Marcos Fernandez, Manager Cloud & Infraestructure Experis, repasa los roles más demandados en el entorno Cloud y analiza los perfiles y responsabilidades

Enlace en breve

4.Demanda de empleo y salarios en Cloud
Fernando Aguilar, Head of Experis Academy, analiza la demanda de empleo en el entorno Cloud y el rango salarial de sus profesionales

Fernando Aguliar comparte la alta demanda de empleo en el sector tecnológico, centrándose en 38 perfiles tecnológicos específicos que representan el 90% de la demanda. Destaca el desafío para las empresas a la hora de encontrar profesionales con habilidades específicas y aborda la escasez de profesionales tecnológicos, ya que, en general, el 70% de las ofertas de trabajo permanecen sin cubrir. Además, hace hincapié en la necesidad de actualizar continuamente las competencias y los conocimientos para seguir siendo competitivos en el mercado laboral, y se discuten las estrategias tradicionales y actuales para la adquisición de talento en las empresas, incluidas la recalificación y el fomento del talento interno. Por último, subraya la importancia de adaptarse a las demandas del mercado, adquirir nuevas habilidades constantemente y capacitarse continuamente para mantenerse al día con los cambios tecnológicos en el mercado laboral.

5. Preparación para una carrera en Cloud
Fernando Aguilar, Head of Experis Academy; Bárbara Rodrigo, Cloud & Infraestructure Experis y Andrea Ortiz, consultora selección de perfiles Cloud Experis PERM IT, comparten como preparar una carrera en Cloud.

Los ponentes proporcionan información sobre las trayectorias profesionales en el campo de la tecnología, haciendo hincapié en la importancia de la adaptabilidad y el aprendizaje continuo. Analizan los desafíos a los que se enfrenta la industria, incluida la gestión de proyectos, las relaciones con los clientes y el desarrollo de habilidades. En esta sesión, se enfatiza la importancia de las habilidades técnicas y no técnicas, como la comunicación y la resolución de problemas. Además, se comparten consejos sobre cómo navegar en entornos corporativos, recomendaciones para el desarrollo profesional y consejos sobre habilidades de comunicación con personas que no tienen experiencia en tecnología. Por último, se destaca la importancia de las certificaciones de AWS, como Cloud Practitioner, que conducen a puestos como el de ingeniero de redes, así como las estrategias de negociación y los factores que influyen en los rangos salariales del sector tecnológico.

6. Consejos para un proceso de selección exitoso en el sector Cloud
Taller impartido por Paula Rojas, impulsora de Empleabilidad en Fundación Human Age Institute y Bárbara Rodrigo, Cloud & Infraestructure Experis en el que dan consejos para un proceso de selección exitoso en el sector Cloud.

Paula Rojas proporciona una guía sobre la elaboración de currículums, enfatizando la importancia de usar palabras clave y competencias que se alineen con las ofertas de trabajo. También profundiza en el uso efectivo de LinkedIn, haciendo hincapié en la creación de redes, la optimización de perfiles y la interacción con los contactos para el crecimiento profesional. Además, se abordan consejos sobre cómo mantener un lenguaje corporal equilibrado y abierto durante las entrevistas para establecer una buena relación y la importancia de usar frases cortas y orientadas a la acción para mejorar la pronunciación vocal. Por último, se destaca la importancia de incorporar diversas habilidades y experiencias en los currículums, incluso si no están directamente relacionados con un trabajo, para mejorar el perfil de cada candidato.