Dobb·E
Descripción general de Dobb·E
Dobb·E: Un Framework de Código Abierto para la Manipulación Robótica Doméstica
Dobb·E es un innovador framework de código abierto diseñado para enseñar a los robots a realizar tareas domésticas utilizando el aprendizaje por imitación. Este framework permite a los robots aprender nuevas tareas en aproximadamente 20 minutos, lo que lo convierte en una solución rápida y eficiente para integrar robots en entornos domésticos.
Características Clave:
- Código Abierto: Dobb·E está disponible gratuitamente, lo que permite a investigadores y desarrolladores contribuir y mejorar el framework.
- Aprendizaje por Imitación: El framework utiliza el aprendizaje por imitación, lo que permite a los robots aprender observando e imitando las acciones humanas.
- Aprendizaje Rápido: Los robots pueden aprender nuevas tareas domésticas en unos 20 minutos.
- Alta Tasa de Éxito: Dobb·E alcanza una tasa de éxito promedio del 81% en la resolución de diversas tareas domésticas.
¿Cómo Funciona Dobb·E?
Dobb·E utiliza una herramienta sencilla llamada Stick para recopilar demostraciones de tareas domésticas. El Stick es un dispositivo de bajo costo construido a partir de un alcanzador-agarre, piezas impresas en 3D y un iPhone. Esta herramienta se utiliza para crear el conjunto de datos Homes of New York (HoNY), que contiene 13 horas de interacciones en 22 hogares diferentes en la ciudad de Nueva York.
El framework luego entrena un modelo de aprendizaje de representación llamado Home Pretrained Representations (HPR) en el conjunto de datos HoNY. HPR es un modelo ResNet-34 entrenado utilizando el objetivo de aprendizaje auto-supervisado MoCo-v3. Durante la implementación, HPR inicializa una política que permite al robot realizar nuevas tareas en entornos novedosos.
Componentes de Dobb·E:
- The Stick: Una herramienta para recopilar demostraciones, construida a partir de un alcanzador-agarre de $25, piezas impresas en 3D y un iPhone.
- Homes of New York (HoNY): Un conjunto de datos que contiene 13 horas de interacciones en 22 hogares.
- Home Pretrained Representations (HPR): Un modelo ResNet-34 pre-entrenado en el conjunto de datos HoNY.
Empezando con Dobb·E
Para empezar a usar Dobb·E, puedes acceder al código, los modelos y la documentación a través de los siguientes recursos:
- GitHub Repo: Dobb·E GitHub Repository
- Hugging Face Model: HPR Model on Hugging Face
- Paper: On Bringing Robots Home (Arxiv)
¿Para Quién es Dobb·E?
Dobb·E es ideal para:
- Investigadores de Robótica: Que buscan un framework rápido y eficiente para enseñar a los robots nuevas tareas.
- Desarrolladores de AI: Que están interesados en contribuir y mejorar el framework Dobb·E.
- Entusiastas de la Automatización del Hogar: Que desean integrar robots en sus hogares y automatizar las tareas domésticas.
Aplicaciones Prácticas
Dobb·E se puede utilizar para una amplia gama de tareas domésticas, incluyendo:
- Abrir y cerrar cajones y puertas
- Recoger y colocar objetos
- Verter líquidos
- Operar electrodomésticos
¿Por Qué Elegir Dobb·E?
- Rentable: Utiliza componentes de hardware de bajo costo.
- Eficiente: Permite a los robots aprender nuevas tareas rápidamente.
- Versátil: Se puede utilizar para una amplia gama de tareas domésticas.
- Impulsado por la Comunidad: De código abierto, con contribuciones de investigadores y desarrolladores de todo el mundo.
Detalles del Conjunto de Datos Homes of New York (HoNY):
El conjunto de datos HoNY incluye:
- 22 hogares
- 216 entornos
- 5620 trayectorias
- 13 horas de interacciones
- 1.5 millones de fotogramas
El conjunto de datos contiene videos RGB y de profundidad a 30 fps, así como anotaciones completas de acciones para la pose 6D del gripper y el ángulo de apertura del gripper normalizado entre (0, 1).
Usando el Modelo HPR con PyTorch Image Models (TIMM):
Puedes empezar a usar fácilmente el modelo HPR en un par de líneas de código con TIMM:
import timm
model = timm.create_model("hf-hub:notmahi/dobb-e", pretrained=True)
Conclusión
Dobb·E representa un importante paso adelante en el campo de la robótica doméstica, ofreciendo un framework práctico, eficiente y accesible para enseñar a los robots tareas domésticas. Al combinar el aprendizaje por imitación con hardware de bajo costo y un conjunto de datos completo, Dobb·E hace que sea más fácil que nunca integrar robots en entornos domésticos y automatizar las tareas cotidianas. Con su naturaleza de código abierto, Dobb·E fomenta la colaboración y la innovación, allanando el camino para futuros avances en robótica e AI. ¿Qué es Dobb·E? Es tu puerta de entrada para traer robots a casa.
Herramientas de Investigación y Artículos de IA Herramientas de Aprendizaje Automático y Profundo Conjuntos de Datos y APIs de IA Entrenamiento y Despliegue de Modelos de IA
Mejores herramientas alternativas a "Dobb·E"
Convierte texto en sonido con calidad de audiolibro con AudiowaveAI. Escucha artículos, publicaciones de blog y más sobre la marcha. Disfruta aprendiendo en cualquier lugar y en cualquier momento.
Figure es una empresa de robótica de IA que desarrolla robots humanoides de propósito general para la automatización de la fuerza laboral y el hogar. Diseñado para entornos humanos, Figure tiene como objetivo resolver la escasez de mano de obra y automatizar las tareas domésticas.
ElliQ es un robot compañero con IA diseñado para apoyar a adultos mayores mediante interacciones empáticas, participación proactiva y asistencia personalizada para actividades diarias y conexión social.
AI4BD ofrece soluciones de robótica cognitiva empresarial impulsadas por IA para la automatización empresarial, el procesamiento de documentos, el mantenimiento inteligente y la gestión de datos maestros. Automatice las tareas rutinarias y mejore la eficiencia.