Estimación de la pose de un vehículo respecto a su estacionamiento en simulación

Proyecto de tesis

Ing. Rubén Martínez González

rubenmartinezgonzalez94@gmail.com

Autor

Dr. Arturo Espinosa Romero

eromero@correo.uady.mx

Asesor

Jun, 2025

Introducción

• Haciendo introducción al tema, podemos debatir algunas cuesitones sobre el estacionamiento como:

Estacionamiento

• Importancia
• Problemas
• Soluciones

• Su importancia ya permite a los conductores dejar sus vehículos de forma segura en estos espacios mientras realizan otras actividades.

• y cual es el problema con esto , pues En lugares concurridos, puede ser complicado encontrar un lugar o incluso si ya encontraste un lugar, la maniobra para posicionar el vehículo dentro del espacio se puede entorpecer por obstaculos o falta de visibilidad o inexperiencia del conductor. o incluso conductores habilidosos pueden fallar cuando es necesario una serie de maniobras que dependen unas de otras y si calculas mal en alguna , en la siguiente maniobra se tendria rectificar esta equivocación.

• que ayuda a solucionar este problema , pues Con la ayuda de sistemas de asistencia al conductor.

Sistemas de asistencia al conductor

• Los sistemas de asistencia al conductor son programas informáticos que proporcionan información sobre el entorno del vehículo.

• Algunos son tan avanzados que pueden estacionar el vehículo de forma autónoma y otros más simples que solo proporcionan información sobre la distancia a objetos cercanos y orientacion del vehículo.

• Una solución que puede contribuir a la mejora de estos sistemas es la inteligencia artificial. Si una IA aprendiera a estacionar un vehículo en un ambiente controlado, con este conocimiento podría retornar información de utilidad para cumplir esta tarea.

Aprendizaje por Refuerzo

• Agente
• Acciones
• Entorno

• Interprete
• Estado
• Recompensa

• Dentro de la inteligencia artificial, un buen candidato para esta situación son los algoritmos de aprendizaje por refuerzo.

• Estos algoritmos se basan en la interacción de un agente con un entorno. El agente realiza acciones en el entorno que pueden ser interpretadas y evaluadas según va cambiando el estado del entorno. estos cambios en el entorno pueden ser evaluados con una recompensa que el agente utiliza para aprender a elegir acciones cada vez mejores.

• En el caso de estacionamiento, el agente sería el vehículo, las acciones serían las maniobras que puede realizar el vehículo, acelerar, frenar, girar. El entorno sería el estacionamiento. El intérprete sería un sistema que analice los datos de los sensores del vehículo, como la cámara. El estado podría ser la pose del vehículo con respecto al estacionamiento. La recompensa podría ser una función que evalue que tan bien esta este estado.

• pero… ¿Qué haría falta para implementar un algoritmo así? Pues el agente, las acciones y el entorno nos lo puede proveer un simulador. Y el intérprete para obtener el estado y que tanmbien esta este estado lo podemos implementar con un sistema de visión computacional.

Visión Computacional

• y en construir este sistema de vision computacional sera nuesto objetivo en esta investigacion.

• donde podemos procesar los datos de la camara y representar la posicion del vehículo con respecto al estacionamiento.

• Para representar esta posición el mayor desafio es detectar los cajones de estacionamiento a partir de las imagenes capturadas por la camara del vehiculo ya que el poder ubicar los cajones de estacionamientoes fundamental en cualquier tarea de planeacion de movimiento

Marco Teórico

por lo que podemos definir el marco teorico de la investigacion como:

Objetivo general

Desarrollar un sistema de estimación de la posición relativa al estacionamiento de un vehículo mediante cámaras y sensores para estacionamiento automático

Preguntas de investigación

• ¿Cómo se puede representar la posición de un vehículo con respecto a su espacio de estacionamiento?
• ¿Cómo se puede estimar esta posición utilizando las cámaras y sensores del vehículo?
• ¿Cómo usar esta posición estimada para que el vehículo se estacione automáticamente?

Metodología

como parte de la metodología a seguir, necesitamos un entorno de simulación que nos permita modelar esta situación lo mas realista posible.

Entorno de simulación

Carla

• Código abierto (Dosovitskiy et al. 2017)

• Entornos urbanos

• Ciudades, carreteras, estacionamientos

• Vehículos, peatones, semáforos, sensores

• Api Python

• 

Proponemos: Carla (Car learning to act) pssei.

• Un simulador de código abierto para la investigación de la conducción autónoma.
• Incluye mapas de entornos urbanos con ciudades, carreteras, estacionamientos,
• así como diversos actores como vehículos, peatones, semáforos o sensores
• que proveen interfaces para manipular su comportamiento a conveniencia.

Diseño del entorno de simulación

• para recrear el entorno se simulara un estacionamiento y un vehiculo equipado con camaras y sensores con el objetivo de estacionarse

• las imagenes de arriba son ejemplos la simulacion

• y las imagenes de abajo son ejemplos de los datos capturados por la camara

Detección del estacionamiento

una vez que tengamos los datos de la camara captados en el entorno de sumulacion podemos procesarlos para detectar la ubicacion estacionamiento

Propiedades

• Los estacionamientos suelen formar estructuras regulares, organizada como una retícula de paralelogramos.
• Las líneas de los paralelogramos al proyectarse en la cámara pueden intersectarse en los “puntos de fuga”.

Hay dos propiedades que podemos aprovechar para plantear el mé- todo:

Proyección de la imagen en el plano de la cámara

Y estos puntos de fuga son una propiedad muy interesante ya que Cuando proyectamos un escenario del mundo real en 3 dimensiones como un estacionamiento a un plano de 2 dimensiones como el sensor de una camara, se produce una transformacion en la imagen. Esta transformacion provoca que las líneas paralelas en el mundo real, al proyectarse en el plano de la camara, se interseten en un punto de fuga.

Geometría del estacionamiento

Dado que las líneas de los cajones de estacionamiento son paralelas por su geometría, se forman patrones en una retícula de paralelogramos. esta reticula esta definida por los puntos de fuga.

Geometría del estacionamiento

Esto permite utilizar tecnicas de deteccion de líneas para identificar los puntos de fuga y estimar la posicion de la retícula de estacionamiento.

Geometría del estacionamiento

ya que conociendo la ubicacion de los puntos de fuga y las equaciones de las líneas podriamos calcular la ubicacion de cualquier punto de interes en la reticula.

Detección de líneas paralelas

• Umbralización
• Detección de contornos (Algoritmo de Canny)
• Lineas paralelas (Transformada de Hough)

Para detectar las líneas paralelas de interes en la imagen, primero se hace un preprocesamiento del area debajo del horizonte de la imagen donde estara el estacionamiento. donde se resaltan las lineas claras mediante umbralizacion

luego se utiliza el algorithmo de Canny para detectar los bordes de las figuras resaltadas en la umbraizacion.

y sobre estos contornos encontrados se aplica la transformada de Hough para detectar coordenadas de inicio y fin de las líneas resultantes

Ecuaciones de las rectas de las líneas

\(a x + b y + c = 0\) \[ \begin{aligned} \left[\begin{array}{ccc} x_1 & y_1 & 1 \\ x_2 & y_2 & 1 \end{array}\right] \begin{bmatrix} a \\ b \\ c \end{bmatrix} = \begin{bmatrix} 0 \\ 0 \end{bmatrix} \end{aligned} \]

• Calculamos el espacio nulo (a,b,c) de cada recta
• SVD (Descomposición en valores singulares)

Una vez obtenidas las coordenadas de inicio y fin de cada línea paralela, podemos utilizar la ecuacion general de la recta ax+by+c=0 ,para formular un sistema de ecuaciones de esta forma matricial donde x1,y1 y x2,y2 son las coordenadas de inicio y fin de cada recta y abc son los coeficientes que podemos resolver con la descomposicion en valores singulares.

Ubicación de puntos de fuga

• Intersección de las rectas
• \(P= l_1 \times l_2\)
• Detección de cúmulos de puntos

Dado que ya se tendrian las ecuaciones de todas las líneas en el plano de la camara, podemos calcular todas las interscciones de cada par de líneas realizando el producto cruz entre las ecuaciones homogéneas de cada par de líneas.

y de las intersecciones oresultantes, podemos filtrar todas las que no esten cerca del horizonte de la imagen ya que conocemos que la camara del vehiculo esta orientada paralela al suelo hacia el horizonte

y la mayor cantidad de estas intersecciones cercanas al horizonte, se aglomeraran en una zona cercana a los puntos de fuga y podemos determinar estas zonas usando algoritmos de agrupamiento de cumulos de puntos, espesificamente utilizamos AgglomerativeClustering de sklearn

Intersección de n líneas

La intersección de n líneas homogéneas está dado por el eigen vector asociado al eigen valor más pequeño de la matriz \(M\) donde: \[ M = \sum_{i=1}^{n} w_i l_i l_i^T \] donde \(w_i\) es una ponderación asociado a la línea \(l_i\) .

Geometric Computation for Machine Vision (Kanatani 1993)

teniendo identificadas estos cumulos de intersecciones donde sabemos que estan los puntos de fuga, para saber la ubicacion del punto de fuga que mejor representa estas intersecciones,

podemos calcular el eigen vector asociado al eigen valor mas pequeño de la matriz M donde M es la suma de cada linea homogenea por su transpuesta y multiplicada por una ponderacion que calculamos en dependencia de la longitud de cada linea

w - ponderacion

líneas que concurren en los puntos de fuga

• y realizando esta operacion ya tendriamos la ubicacion de los puntos de fuga de la imagen
• y podemos filtrar las lineas relevantes que los generaron

Experimentación y ajuste de parámetros

• debido a que es muy costoso en cuanto a hardweare tener el simulador abierto durante mucho tiempo,
• grabamos secuencias de varias simulaciones y construimos una aplicacion en python
• para hacer la experimentacion de estos metodos vision computacional procesando estas secuencias.
• durante la ejecucion de la aplicacion se pueden ajustar los parametros de cada etapa del procesamiento, como los umbrales de canny, hough, clustering, cercania al horizonte, etc.
• y se pueden ver los resultados de cada etapa del procesamiento en tiempo real presionando atajos de teclado.

Ajuste de la retícula (RANSAC)

• entonces una vez que tenemos estas lineas relevantes que representan la reticula de estacionamiento,
• podemos ajustar una reticula a estas lineas utilizando el algoritmo RANSAC
• que es un algoritmo iterativo que ajusta un modelo a los datos con muchos valores atípicos .
• este es un caso tipico donde se utiliza para encontrar cual es la linea que mejor representa una nube de puntos

• RANdom SAmple Consensus
• Es un algoritmo iterativo utilizado para ajustar modelos a datos con muchos valores atípicos (outliers)

Ajuste de la retícula (RANSAC)

• en nuestro caso, utilizamos una variacion de RANSAC que ajusta el modelo una reticula de n x n a las lineas detectadas
• para esto el algoritomo …

Ajuste de la retícula (RANSAC)

• y al final del algoritmo la homografia con menor error es una buena candidata para mapear la reticula regular a los cajones de estacionamiento.
• en este ejempo se ve como los cajones mas cercanos a la camara se ajustaron bastante bien
• tambien se ve como un efecto espejo arriba del horizonte de la imagen debido a un trabajo pendiente que aun queda por hacer y es acotar los limites de la reticula que proyectamos.

mediciones en la retícula

• \[ \mathbf{p}_1 = [x_1, y_1, 1]^T , \mathbf{p}_2 = [x_2, y_2, 1]^T \]

• \[ \mathbf{P}_1 = \mathbf{H} \cdot \mathbf{p}_1,\quad \mathbf{P}_2 = \mathbf{H} \cdot \mathbf{p}_2 \]

• \[ d = \sqrt{(X_2 - X_1)^2 + (Y_2 - Y_1)^2} \]

• Teniendo la matriz de homografía \(H\) que mapea el plano de la cámara al espacio del estacionamiento:
• Sean dos puntos en la imagen:
• Convertimos los puntos de imagen a coordenadas reales en el plano:
• Calculamos la distancia euclidiana en el espacio:
• Esto permite medir distancias reales usando solo la imagen y la homografía.

Posición relativa

para esto utilizaremos 4 vectores de distancias \(\rho\) desde la camara a las 4 esquinas de uno de los cajones de estacionamiento ubicados en la reticula. y 4 angulos \(\theta\) que serian los angulos de orientacion entre los vectores de distancias y el eje de la camara. y de esta forma tendriamos 4 vectores de coordenadas polares que junto a la altura conocida de la camara z serian coordenadas cilindricas que representan la posicion del vehiculo con respecto al cajon de estacionamiento.

y estos vectores de coordenadas seran los que usaremos como modelo del estado del sistema.

Aplicación en ambiente de RL

• y hasta aqui ya tendriamos cumplido el objetivo de la investigacion, que es poder representar la posicion del vehiculo con respecto al estacionamiento a partir de las imagenes de la camara.

• pero para demostrar como se puede utilizar esta investigacion para entrenar un agente de aprendizaje por refuerzo hicimos una experimentacion extra de nuestro modelo en un ambiente de RL.

Highway-env

• Colección de entornos para tareas de conducción autónoma y toma de decisiones tácticas (Leurent 2018)

• y para esto nos apoyamos en la librería highway-env que es una colección de entornos para tareas de conducción autónoma y toma de decisiones tácticas.
• esta libreria disena sus environments utilizando la libreria gymnasium, muy popular para implementar entornos
• y baseline3 para entrenar los agentes con implementaciones confiables de algoritmos de aprendizaje por refuerzo como deep Q-Network, Proximal Policy Optimization, Soft Actor-Critic, este último es el que utilizamos en nuestra experimentación.
• aqui podemos ver algunos de los entornos que provee, rotondas, intersecciones, curvas, estacionamiento, etc.

Parking-env

• Acciones: espacio continuo
  Box([-1, -1], [1, 1]) → [aceleración, dirección]
• Observación: vector continuo de 6 elementos:
  [x, y, vx, vy, cos(θ), sin(θ)]
  
• Objetivo: alcanzar una posición objetivo (Landmark) con orientación deseada.
• Recompensa: basada en la distancia al objetivo y penalizaciones por acciones: \[ r = -|g - s| - α·|a| \]

este enviroment de estacionamiento se llama parking-env y es un entorno de estacionamiento

• g: posición del goal (desired_goal)
• s: estado actual (achieved_goal)
• a: acción tomada
• α: regularizador factor de penalización a acciones extremas

Parking-env (Nuestra versión)

• Initialization Wrapper
• Observation Wrapper
• Action Wrapper

Entrenamiento del agente

Initial
ep_len_mean	87.5
ep_rew_mean	-51.8
success_rate	0
time
episodes	4
fps	52
time_elapsed	6
total_timesteps	350
train
actor_loss	-2.41
critic_loss	0.0353
ent_coef	0.78
ent_coef_loss	-0.832
learning_rate	0.001
n_updates	249

Highway-env
ep_len_mean	20.1
ep_rew_mean	-6.92
success_rate	0.93
time
episodes	3292
fps	36
time_elapsed	2758
total_timesteps	99957
train
actor_loss	1.44
critic_loss	0.00482
ent_coef	0.00608
ent_coef_loss	0.622
learning_rate	0.001
n_updates	99856

Our Wrapper
ep_len_mean	92
ep_rew_mean	-35.2
success_rate	0.18
time
episodes	101
fps	12
time_elapsed	1520
total_timesteps	9210
train
actor_loss	-0.76
critic_loss	0.041
ent_coef	0.62
ent_coef_loss	-0.34
learning_rate	0.001
n_updates	8215

Avances y Planificación

Actividad	Ene	Feb	Mar	Abr	May	Jun	Jul	Ago	Sep	Oct	Nov	Dic	Ene	Feb	Mar	Abr	May	Jun
Investigación y revisión bibliográfica	✅	✅	✅	✅	✅	✅	✅	✅	✅	✅	✅
Diseño y Configuración del Entorno Simulado	✅	✅	✅	✅	✅
Adquisición y pre-procesamiento de Datos					✅	✅	✅	✅
Interpretar los datos de los sensores							✅	✅	✅
Obtención de mediciones en la imagen									✅	✅
Detección de lineas y puntos de fuga										✅	✅	✅
Estimación de la posición de la retícula												✅	✅	✅
Estimación de distancias															✅	✅
Estimación de la posición relativa															✅	✅
Establecer los límites de la retícula																		⏳
Utilizar la posición en algoritmos de RL																✅	✅	⏳
Documentación y Análisis de Resultados	✅	✅	✅	✅	✅	✅	✅	✅	✅	✅	✅	✅	✅	✅	✅	✅	✅	⏳
Redacción y Revisión del documento de tesis												✅	✅	✅	✅	✅	✅	⏳

Fin

Gracias por su atención…

Extras

Recomendaciones

• Utilizar patrones de retículas mas complejas
• Fusionar información de la retícula de cada frame para construir un mapa con memoria de frames pasados
• Detectar estacionamientos ocupados para exluirlos de la retícula

Gymnasium

• Provee un API para crear y compartir entornos de aprendizaje por refuerzo (Towers et al. 2024).
• Permite evaluar agentes en diversos entornos estandarizados.
• El núcleo de Gym es Env, una clase de Python de alto nivel representando los procesos de decisión de Markov (MDP)
• La clase proporciona a los usuarios la capacidad de generar un estado inicial, realizar la transición a nuevos estados dada una acción y observar el entorno.

Stable-baselines 3

• Implementaciones confiables de algoritmos de aprendizaje por refuerzo en PyTorch. (Raffin et al. 2021)
• API de Gymnasium para interactuar con los entornos.
• Interfaz sencilla para entrenar y evaluar agentes de RL.
• Admite algoritmos populares como
  • DQN (DeepQ-Network)
  • PPO (Proximal Policy Optimization)
  • SAC (Soft Actor-Critic)
  • A2C (Advantage Actor-Critic)

Propiedades de la representación homogénea de líneas y puntos

si \(l_1\) y \(l_2\) son la representación homogénea de dos líneas en el plano el punto donde se intersectan esta dado por: \[ P = l_1 \times l_2 \]

si \(p_1\) y \(p_2\) son la representación homogénea de dos puntos en el plano la línea que pasa por estos puntos esta dado por: \[ l = p_1 \times p_2 \]

Hartley, R., & Zisserman, A. (2003). Multiple view geometry in computer vision. Cambridge university press.

Hipótesis

“Estimando la posición relativa al estacionamiento de un vehículo mediante cámaras y sensores, y utilizando esta posición, se puede lograr un sistema de estacionamiento automático en simulación.”

Objetivos específicos:

• Modelar un ambiente de simulación de un vehículo y estacionamiento.
• Obtener datos de los sensores del vehículo en simulación.
• Interpretar los datos de los sensores mediante técnicas de visión computacional.
• Procesar los datos y estimar la posición del vehículo con respecto al estacionamiento.
• Utilizar la posición estimada para lograr un sistema de parqueo automático en simulación.

Trabajos relacionados

Características / Trabajos relacionados	Propia	Autonomous Driving Architectures (Bachute and Subhedar 2021)	Vision-based Autonomous Car Racing (Cai et al. 2021)	Model-based Probabilistic Collision Detection (Althoff, Stursberg, and Buss 2009)	Cost-effective Vehicle Detection System (Alam, Jaffery, and Sharma 2022)
Utilización de cámaras RGB y sensores	X	X	X	X	X
Algoritmos de Aprendizaje Automático	X	X	X	X	X
Modelar la pose del vehiculo en el estacionamiento	X
Maniobras de estacionamiento		X
Análisis de tareas en la conducción autónoma		X		X
Detección de vehículos en conducción autónoma	X				X
Predicción estocástica de ocupación de la carretera				X
Aprendizaje por refuerzo imitativo			X

• Se han revisado trabajos relacionados con este contexto donde se utilizan camaras y sensores para resolver el problema de la conducción autónoma como el estacionamiento.

• Pero esto no es precisamente lo que queremos proponer en este trabajo. Queremos proponer un sistema de visión computacional que permita modelar la posición del vehículo con respecto al estacionamiento y utilizar este modelo para delegar la solución del estacionamiento a un algoritmo de aprendizaje automático.

Referencias

Alam, Altaf, Zainul Abdin Jaffery, and Himanshu Sharma. 2022. “A Cost-Effective Computer Vision-Based Vehicle Detection System.” Concurrent Engineering 30 (2): 148–58. https://journals.sagepub.com/doi/abs/10.1177/1063293X211069193.

Althoff, Matthias, Olaf Stursberg, and Martin Buss. 2009. “Model-Based Probabilistic Collision Detection in Autonomous Driving.” IEEE Transactions on Intelligent Transportation Systems 10 (2): 299–310. https://ieeexplore.ieee.org/abstract/document/4895669.

Bachute, Mrinal R, and Javed M Subhedar. 2021. “Autonomous Driving Architectures: Insights of Machine Learning and Deep Learning Algorithms.” Machine Learning with Applications 6: 100164. https://www.sciencedirect.com/science/article/pii/S2666827021000827.

Cai, Peide, Hengli Wang, Huaiyang Huang, Yuxuan Liu, and Ming Liu. 2021. “Vision-Based Autonomous Car Racing Using Deep Imitative Reinforcement Learning.” IEEE Robotics and Automation Letters 6 (4): 7262–69. https://ieeexplore.ieee.org/abstract/document/9488179.

Dosovitskiy, Alexey, German Ros, Felipe Codevilla, Antonio Lopez, and Vladlen Koltun. 2017. “CARLA: An Open Urban Driving Simulator,” 1–16. https://ieeexplore.ieee.org/abstract/document/9488179.

Kanatani, Kenichi. 1993. Geometric Computation for Machine Vision. Oxford university press.

Leurent, Edouard. 2018. “An Environment for Autonomous Driving Decision-Making.” GitHub Repository. https://github.com/eleurent/highway-env; GitHub.

Raffin, Antonin, Ashley Hill, Adam Gleave, Anssi Kanervisto, Maximilian Ernestus, and Noah Dormann. 2021. “Stable-Baselines3: Reliable Reinforcement Learning Implementations.” Journal of Machine Learning Research 22 (268): 1–8. http://jmlr.org/papers/v22/20-1364.html.

Towers, Mark, Ariel Kwiatkowski, Jordan Terry, John U. Balis, Gianluca De Cola, Tristan Deleu, Manuel Goulão, et al. 2024. “Gymnasium: A Standard Interface for Reinforcement Learning Environments.” https://arxiv.org/abs/2407.17032.