Skip to content

Commit b9e7dc1

Browse files
RodolfoFerroRodolfoFerro
committed
Updates slides.
1 parent 7eb40a0 commit b9e7dc1

2 files changed

Lines changed: 279 additions & 7 deletions

File tree

‎slides/slides.pdf‎

158 KB
Binary file not shown.

‎slides/slides.tex‎

Lines changed: 279 additions & 7 deletions
Original file line numberDiff line numberDiff line change
@@ -103,9 +103,13 @@
103103
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
104104
\section{Intro al aprendizaje profundo}
105105

106-
% ----------- Motivación 01 ------------------
107-
\subsection{Motivación}
106+
\begin{frame}
107+
\sectionpage
108+
\end{frame}
108109

110+
\subsection{Introducción}
111+
112+
% ----------- Motivación 01 ------------------
109113
\begin{frame}{Motivación}{Intro al aprendizaje profundo}
110114
\begin{figure}
111115
\centering
@@ -137,9 +141,7 @@
137141
\end{figure}
138142
\end{frame}
139143

140-
% ----------- ¿Qué es el DL? 01 --------------
141-
\subsection{Introducción}
142-
144+
% ----------- ¿Qué es el DL? 01 --------------
143145
\begin{frame}{¿Qué es el \textsl{Deep Learning}?}{Intro al aprendizaje profundo}
144146
\begin{quotation}[David Foster (Generative Deep Learning)]
145147
El aprendizaje profundo (Deep Learning) comprende algoritmos de Machine Learning que (particularmente) utilizan múltiples capas apiladas de unidades de procesamiento para aprender representaciones en un alto nivel sobre datos no estructurados.
@@ -1435,6 +1437,11 @@
14351437
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
14361438
\section{Visión computacional profunda}
14371439

1440+
1441+
\begin{frame}
1442+
\sectionpage
1443+
\end{frame}
1444+
14381445
% ----------- Intro a imágenes 01 ------------
14391446
\subsection{Introducción a imágenes}
14401447
\begin{frame}{¿Qué es una imagen?}{Visión computacional profunda}
@@ -1494,7 +1501,6 @@
14941501
\end{frame}
14951502

14961503
% ----------- Espacios de color --------------
1497-
\subsection{Espacios de color}
14981504
\begin{frame}{Espacios de color}{Visión computacional profunda}
14991505
\begin{figure}
15001506
\centering
@@ -1988,6 +1994,12 @@
19881994
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
19891995
% ----------- Anuncio -----------------------
19901996
\section{Modelado profundo de secuencias}
1997+
1998+
1999+
\begin{frame}
2000+
\sectionpage
2001+
\end{frame}
2002+
19912003
\subsection{Sesión con Mtro. Paco}
19922004

19932005
\begin{frame}{¡Anuncio!}{Modelado profundo de secuencias}
@@ -2002,6 +2014,12 @@
20022014
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
20032015
% ----------- Modelos generativos 01 --------
20042016
\section{Modelado generativo profundo}
2017+
2018+
2019+
\begin{frame}
2020+
\sectionpage
2021+
\end{frame}
2022+
20052023
\subsection{Introducción a modelos generativos}
20062024

20072025
\begin{frame}{¿Qué son los Modelos Generativos?}{Modelado generativo profundo}
@@ -2247,14 +2265,268 @@
22472265
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
22482266
\section{Panorama actual y futuro}
22492267

2250-
% ----------- Modelos generativos -----------
2268+
\begin{frame}
2269+
\sectionpage
2270+
\end{frame}
2271+
2272+
% ----------- Panorama actual 01 ------------
2273+
\begin{frame}{Evolución de la IA}{Panorama actual y futuro}
2274+
\begin{itemize}
2275+
\item \textbf{1950s - 1970s: Nacimiento de la IA}
2276+
\begin{itemize}
2277+
\item \textbf{1943: Primeras Ideas Inspiradas en el Cerebro.} \\Warren McCulloch y Walter Pitts proponen el primer modelo computacional de una red neuronal, sentando las bases teóricas para la IA inspirada en el funcionamiento del cerebro humano.
2278+
2279+
\item \textbf{1950: Alan Turing y el Test de Turing.} \\Alan Turing publica "Computing Machinery and Intelligence", donde introduce el concepto de "máquinas pensantes" y el Test de Turing para evaluar la inteligencia de las máquinas.
2280+
2281+
\item \textbf{1956: La Conferencia de Dartmouth.} \\Considerada el nacimiento oficial de la IA como campo académico, John McCarthy, Marvin Minsky, Nathaniel Rochester, y Claude Shannon organizan una conferencia donde acuñan el término "Inteligencia Artificial".
2282+
2283+
\item \textbf{1960s: Primeros Sistemas de IA.} \\Desarrollo de programas pioneros como ELIZA (un bot conversacional) y SHAKEY (el primer robot móvil con capacidad para razonar sobre sus acciones).
2284+
\end{itemize}
2285+
\end{itemize}
2286+
\end{frame}
2287+
2288+
% ----------- Panorama actual 02 ------------
2289+
\begin{frame}{Evolución de la IA}{Panorama actual y futuro}
2290+
\begin{itemize}
2291+
\item \textbf{1980s - 1990s: Primer Invierno de la IA y Resurgimiento}
2292+
\begin{itemize}
2293+
\item \textbf{1970s - 1980s: Invierno de la IA.} \\\textit{Desilusión y retroceso:} Los resultados limitados y el alto costo computacional llevan a una disminución en la financiación y el interés por la IA, un período conocido como el "Invierno de la IA".
2294+
2295+
\item \textbf{1980s: Resurgimiento con \textit{Expert Systems}.} \\\textit{Sistemas expertos:} Aumento del interés en sistemas basados en reglas que emulan la toma de decisiones humana en dominios específicos, como MYCIN en medicina.
2296+
2297+
2298+
\item \textbf{Finales de 1980s: Introducción del aprendizaje profundo} \\\textit{Backpropagation (Retropropagación):} Se populariza como un método eficiente para entrenar redes neuronales multicapa, marcando un hito en la IA.
2299+
\end{itemize}
2300+
\end{itemize}
2301+
\end{frame}
2302+
2303+
% ----------- Panorama actual 03 ------------
2304+
\begin{frame}{Evolución de la IA}{Panorama actual y futuro}
2305+
\begin{itemize}
2306+
\item \textbf{1990s - 2010s: Expansión y dominio del Deep Learning}
2307+
\begin{itemize}
2308+
\item \textbf{1997: Deep Blue vence a Garry Kasparov.} \\Deep Blue de IBM derrota al campeón mundial de ajedrez Garry Kasparov, demostrando la capacidad de las máquinas para superar a humanos en tareas complejas.
2309+
2310+
\item \textbf{2000s: Auge de los datos y el poder computacional.} \\\textit{Big Data:} La proliferación de datos digitales y la mejora en el poder computacional permiten entrenar modelos más grandes y complejos. \textit{Internet y Cloud Computing:} La IA se beneficia de la creciente disponibilidad de datos en línea y el acceso a recursos computacionales en la nube.
2311+
2312+
\item \textbf{2012: AlexNet y la revolución del Deep Learning.} \\AlexNet gana el concurso ImageNet con una red neuronal convolucional profunda, marcando el inicio de la revolución del deep learning en visión por computadora.
2313+
2314+
\item \textbf{2014: Generative Adversarial Networks (GANs).} \\Ian Goodfellow introduce las GANs, que permiten generar datos sintéticos realistas, revolucionando áreas como la creación de imágenes.
2315+
\end{itemize}
2316+
\end{itemize}
2317+
\end{frame}
2318+
2319+
% ----------- Panorama actual 04 ------------
2320+
\begin{frame}{Evolución de la IA}{Panorama actual y futuro}
2321+
\begin{itemize}
2322+
\item \textbf{2010s - Presente: Transformers y la nueva era de la IA}
2323+
\begin{itemize}
2324+
\item \textbf{2017: Introducción de Transformers.} \\Vaswani et al. presentan el Transformer en el artículo "Attention is All You Need", revolucionando el procesamiento de lenguaje natural y superando a los RNNs en muchas tareas.
2325+
2326+
\item \textbf{2018: BERT y el avance en NLP.} \\\textit{Big Data:} BERT (Bidirectional Encoder Representations from Transformers) redefine el estado del arte en NLP con un enfoque bidireccional, mejorando la comprensión contextual.
2327+
2328+
\item \textbf{2020s: Modelos de Lenguaje de Gran Escala (LLMs).} \\\textit{GPT-3:} Los modelos de lenguaje como GPT-3 de OpenAI muestran capacidades asombrosas en la generación de texto, abriendo nuevas posibilidades y desafíos éticos.
2329+
2330+
\item \textbf{IA Multimodal y Modelos de Difusión.} \\\textit{Modelos Multimodales:} Integración de múltiples tipos de datos (texto, imagen, audio) en un solo modelo. \textit{Modelos de Difusión:} Innovación en la generación de imágenes y otros datos complejos, ampliando el horizonte de la creatividad artificial.
2331+
\end{itemize}
2332+
\end{itemize}
2333+
\end{frame}
2334+
2335+
% ----------- Panorama actual 05 ------------
2336+
\begin{frame}{Factores clave en la evolución de la IA}{Panorama actual y futuro}
2337+
\begin{itemize}
2338+
\item \textbf{Big Data: }
2339+
\begin{itemize}
2340+
\item La abundancia de datos ha permitido entrenar modelos más complejos y precisos.
2341+
\end{itemize}
2342+
\item \textbf{Potencia computacional:}
2343+
\begin{itemize}
2344+
\item \textbf{GPUs y TPUs:} Facilitación del entrenamiento de redes profundas.
2345+
\item \textbf{Cloud computing:} Acceso a recursos computacionales a gran escala.
2346+
\end{itemize}
2347+
\item \textbf{Algoritmos y optimización:}
2348+
\begin{itemize}
2349+
\item \textbf{Retropropagación y optimizadores:} Mejoras en la eficiencia y precisión del entrenamiento de redes neuronales.
2350+
\end{itemize}
2351+
\item \textbf{Democratización de la IA:}
2352+
\begin{itemize}
2353+
\item \textbf{Contenido técnico:} El contenido técnico especializado es más accesible.
2354+
\item \textbf{Plataformas, repositorios y ecosistemas:} Creación de plataformas y ambientes completos que permiten hacer uso y re-entrenamiento de modelos robustos de forma sencilla, así como acceso a grandes conjuntos de datos para entrenamiento.
2355+
\end{itemize}
2356+
\end{itemize}
2357+
\end{frame}
2358+
2359+
% ----------- Panorama actual 06 ------------
2360+
\begin{frame}{Transformers y su revolución}{Panorama actual y futuro}
2361+
\begin{itemize}
2362+
\item Es un modelo de deep learning que procesa secuencias de datos en paralelo utilizando mecanismos de autoatención.
2363+
\item \textbf{Autoatención:} Permite a los modelos enfocarse en diferentes partes de una secuencia simultáneamente, mejorando la eficiencia y precisión.
2364+
\item \textbf{Arquitectura:}
2365+
\begin{itemize}
2366+
\item \textbf{Encoder-decoder:} Transformadores clásicos para traducción automática.
2367+
\item \textbf{Self-Attention (Autoatención):} Clave para manejar dependencias a largo plazo.
2368+
\end{itemize}
2369+
\end{itemize}
2370+
\end{frame}
2371+
2372+
% ----------- Panorama actual 07 ------------
2373+
\begin{frame}{Transformers y su revolución}{Panorama actual y futuro}
2374+
\begin{figure}
2375+
\centering
2376+
\includegraphics[width=0.5\textwidth]{transformer}
2377+
\end{figure}
2378+
\end{frame}
2379+
2380+
% ----------- Panorama actual 08 ------------
2381+
\begin{frame}{Impacto y aplicaciones de los Transformers}{Panorama actual y futuro}
2382+
\begin{itemize}
2383+
\item \textbf{Procesamiento de Lenguaje Natural (NLP):}
2384+
\begin{itemize}
2385+
\item \textbf{BERT (2018):} Representación bidireccional del lenguaje que mejoró la comprensión contextual.
2386+
\item \textbf{GPT (Generative Pretrained Transformer):} Generación de texto coherente y fluido.
2387+
\end{itemize}
2388+
\item \textbf{Visión por computadora:}
2389+
\begin{itemize}
2390+
\item \textbf{Vision Transformers (ViT):} Aplicación de transformers para tareas de clasificación de imágenes.
2391+
\end{itemize}
2392+
\item \textbf{Variantes avanzadas:}
2393+
\begin{itemize}
2394+
\item \textbf{GPT-3 (2020):} Uno de los modelos de lenguaje más grandes, con capacidad para generar texto coherente y realizar tareas complejas.
2395+
\item \textbf{Transformers Multimodales:} Integración de texto, imagen, y otras modalidades en un solo modelo.
2396+
\end{itemize}
2397+
\end{itemize}
2398+
\end{frame}
2399+
2400+
% ----------- Panorama actual 09 ------------
2401+
\begin{frame}{Impacto y aplicaciones de los Transformers}{Panorama actual y futuro}
2402+
\begin{figure}
2403+
\centering
2404+
\includegraphics[width=\textwidth]{transformer-models}
2405+
\end{figure}
2406+
\end{frame}
2407+
2408+
% ----------- Panorama actual 10 ------------
2409+
\begin{frame}{Modelos de lenguaje de gran escala (LLMs)}{Panorama actual y futuro}
2410+
\begin{itemize}
2411+
\item Son modelos entrenados en grandes volúmenes de texto para generar, comprender, y manipular lenguaje natural.
2412+
\item \textbf{Características:}
2413+
\begin{itemize}
2414+
\item \textbf{Pre-entrenamiento en datasets masivos:} Aprende patrones generales del lenguaje antes de ser ajustado para tareas específicas.
2415+
\item \textbf{Capacidades avanzadas:} Desde completar texto hasta realizar traducciones y análisis sentimentales.
2416+
\end{itemize}
2417+
\end{itemize}
2418+
\end{frame}
2419+
2420+
% ----------- Panorama actual 11 ------------
2421+
\begin{frame}{Aplicaciones clave de LLMs}{Panorama actual y futuro}
2422+
\begin{itemize}
2423+
\item \textbf{Generación de texto:} Creación de contenido automatizado, desde artículos hasta código.
2424+
\item \textbf{Chatbots y asistentes virtuales:} Asistentes como ChatGPT, que pueden sostener conversaciones coherentes.
2425+
\item \textbf{Traducción automática:} Mejora en la precisión y fluidez en traducciones entre diferentes idiomas.
2426+
\item \textbf{Asistencia en programación:} Herramientas que ayudan a los desarrolladores a escribir y depurar código.
2427+
\end{itemize}
2428+
\end{frame}
2429+
2430+
% ----------- Panorama actual 12 ------------
2431+
\begin{frame}{Desafíos y consideraciones éticas}{Panorama actual y futuro}
2432+
\begin{itemize}
2433+
\item \textbf{Sesgos en modelos:} Los LLMs pueden reflejar y amplificar sesgos presentes en los datos de entrenamiento.
2434+
\item \textbf{Uso ético y responsable:} Implicaciones de confiar en modelos que pueden generar información incorrecta o sesgada.
2435+
\item \textbf{Tendencias futuras:}
2436+
\begin{itemize}
2437+
\item \textbf{Modelos multimodales:} Expansión hacia modelos que pueden manejar múltiples tipos de datos simultáneamente.
2438+
\item \textbf{Optimización y sostenibilidad:} Reducción del costo computacional y mejora en la eficiencia.
2439+
\end{itemize}
2440+
\end{itemize}
2441+
\end{frame}
2442+
2443+
% ----------- Ejercicio 13 ------------------
2444+
\begin{frame}{Ejercicio}{Panorama actual y futuro}
2445+
\begin{center}
2446+
{\Large \textbf{Ejercicio: Exploración de HuggingFace}}
2447+
\end{center}
2448+
\begin{figure}
2449+
\centering
2450+
\includegraphics[width=0.7\textwidth]{hf}
2451+
\end{figure}
2452+
\end{frame}
2453+
2454+
% ----------- Panorama actual 13 ------------
22512455
\begin{frame}{Estructura de modelos generativos}{Panorama actual y futuro}
22522456
\begin{figure}
22532457
\centering
22542458
\includegraphics[width=0.7\textwidth]{generative-overview}
22552459
\let\thefootnote\relax\footnote{{\tiny “What are Diffusion Models?” Lilian Weng. \url{https://lilianweng.github.io/posts/2021-07-11-diffusion-models/}}}
22562460
\end{figure}
22572461
\end{frame}
2462+
2463+
% ----------- Panorama actual 14 ------------
2464+
\begin{frame}{Modelos de difusión}{Panorama actual y futuro}
2465+
\begin{itemize}
2466+
\item Son modelos generativos que aprenden a generar datos simulando el proceso inverso de difundir ruido a través de datos.
2467+
\item \textbf{Funcionamiento:}
2468+
\begin{itemize}
2469+
\item \textbf{Proceso de difusión:} Agregación gradual de ruido a los datos de entrenamiento.
2470+
\item \textbf{Proceso inverso:} El modelo aprende a revertir este ruido, generando datos realistas.
2471+
\end{itemize}
2472+
\end{itemize}
2473+
\end{frame}
2474+
2475+
% ----------- Panorama actual 15 ------------
2476+
\begin{frame}{Ejemplos y aplicaciones de modelos de difusión}{Panorama actual y futuro}
2477+
\begin{itemize}
2478+
\item \textbf{Generación de Imágenes:}
2479+
\begin{itemize}
2480+
\item \textbf{DALL-E 2:} Generación de imágenes a partir de descripciones textuales.
2481+
\item \textbf{Stable Diffusion:} Generación de imágenes de alta calidad con control sobre el proceso creativo.
2482+
\end{itemize}
2483+
\item \textbf{Simulaciones realistas:} Creación de mundos virtuales y simulaciones precisas para aplicaciones en videojuegos y simulación científica.
2484+
\end{itemize}
2485+
\end{frame}
2486+
2487+
% ----------- Panorama actual 16 ------------
2488+
\begin{frame}{Desafíos y consideraciones éticas}{Panorama actual y futuro}
2489+
\begin{itemize}
2490+
\item \textbf{Controlabilidad:} Desafíos en el control preciso de la salida generada por los modelos.
2491+
\item \textbf{Complejidad computacional:} La generación puede ser costosa en términos de tiempo y recursos.
2492+
\item \textbf{Potencial futuro:}
2493+
\begin{itemize}
2494+
\item \textbf{Ampliación a otras modalidades:} Aplicación en generación de audio, video, y otros tipos de datos.
2495+
\item \textbf{Innovaciones en creatividad artificial:} Implicaciones para el arte, el diseño, y la innovación tecnológica.
2496+
\end{itemize}
2497+
\end{itemize}
2498+
\end{frame}
2499+
2500+
% ----------- Ejercicio 14 ------------------
2501+
\begin{frame}{Ejercicio}{Panorama actual y futuro}
2502+
\begin{center}
2503+
{\Large \textbf{Ejercicio: Exploración de Dream Studio}}
2504+
\end{center}
2505+
\begin{figure}
2506+
\centering
2507+
\includegraphics[width=0.6\textwidth]{stability}
2508+
\end{figure}
2509+
\end{frame}
2510+
2511+
% ----------- Lecturas recomendadas 07 ------
2512+
\begin{frame}{Lecturas recomendadas}{Panorama actual y futuro}
2513+
\begin{itemize}
2514+
\item \colorbox{blue!10}{\href{https://www.datacamp.com/tutorial/how-transformers-work}{How Transformers Work:}} A Detailed Exploration of Transformer Architecture
2515+
\item \colorbox{blue!10}{\href{https://huggingface.co/learn/nlp-course/es/chapter0/1}{NLP Course}} by HuggingFace
2516+
\item \colorbox{blue!10}{\href{https://www.youtube.com/watch?v=SZorAJ4I-sA}{Transformers, explained:}} Understand the model behind GPT, BERT, and T5
2517+
\item \colorbox{blue!10}{\href{https://lilianweng.github.io/posts/2021-07-11-diffusion-models/}{What are Diffusion Models?}}
2518+
\item \colorbox{blue!10}{\href{https://beta.dreamstudio.ai/generate}{Dream Studio}} by stability.ai
2519+
\end{itemize}
2520+
\end{frame}
2521+
2522+
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
2523+
% ----------- Empaquetado de modelos --------
2524+
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
2525+
\section{Empaquetado de modelos}
2526+
2527+
\begin{frame}
2528+
\sectionpage
2529+
\end{frame}
22582530

22592531
\end{document}
22602532

0 commit comments

Comments
 (0)