GithubHelp home page GithubHelp logo

cqtan / ar-deco Goto Github PK

View Code? Open in Web Editor NEW
2.0 2.0 0.0 268.01 MB

An iOS augmented reality project using the Leap Motion Controller on an iPhone 6 to move virtual furniture around through hand gestures while using a smartphone compatible head-mounted-device. Check Readme for more info (in German).

C# 55.23% ShaderLab 3.19% HLSL 0.29% JavaScript 6.71% ASP 34.59%

ar-deco's Issues

Gestures: new grab gesture for positioning

Instead of doing a collision with hand and furniture, another idea that includes raycasting as a way to manipulate objects further away is made. By outlining furniture that the user targets with raycasting from 1 hand, it becomes visibly clear what the user is targeting. While the ray collides with the furniture and the user performs and holds the grab gesture, the furniture is attached to the point of collision, making the furniture move with the ray in relation to the distance of the hand.

  • make raycast from hand
  • make outline react to raycast collision
  • make furniture lerp smoothly to initial point of collision on the ray

Gesture: Scale objects

The user should be able to scale the size of the targeted object with the use of a specific gesture. The suggested gesture for this is a 2 handed grab gesture. Similar to how the user is now able to change the distance of a target object (see ticket #15 ), the hand distance is used to determine the scale of the object, i.e. the nearer the hands are when performing the gesture, the smaller the object becomes and vice-versa.

  • 2 handed grab gesture
  • change scale of object

Handgestensteuerung

Die ersten Ansätze der Gestensteuerung soll implementiert werden: Positionieren, Tiefenplatzierung, Rotation, skalieren

VuMarker Buchlein für Möbel

Magst du dich schonmal um die Möbel-Marker kümmern? Ich habe in meinem Demo Unity app ein PaarMöble Objekte schon, falls du die brauchst.

vu_sofa

LeapMotion Server/Client mit NodeJs

Es soll untersucht werden, wie die Kommunikation mit LeapMotion stattfinden könnte zwischen Win/Mac PC und Smartphone. Eine Möglichkeit wäre die von Coloreality vorgeschlagen. Vielleicht klappt das mit NodeJS

Coloreality

Möbel löschen

Wie wollen wir das angehen? Möglichkeiten:

  • VuMarker als Mülleimer implementieren und dahin tragen
  • Anvisieren und auf einem UI auf 'löschen' wählen

Collisionserkennung von Möbel

Möbel Objekts dürfen nicht instanziiert werden, wenn ein anderes schon instanziiert wurde, ohne dass dieses schon bewegt wurde.

Möbel instanziieren und platzieren

Nachdem ein VuMarker von der App erkannt wurde, sollte man das dargestellte Möbel-Objekt mit einem Grab Gesture nehmen können, um es im Raum zu positionieren.

Gesture: Rotating objects

The user should be able to rotate the targeted object with a specific gesture. The gesture suggested for this is a 2 handed pinch gesture. When performing these, the hand position of both hands are targeted and depending on where they are in 3D space to each other, the targeted object will change its rotation in relation to the position of the hands.

  • 2 handed pinch gesture
  • rotate on the x-, y-, z-axis

Vorbereitung | Zwischenpräsentation

Am 13.11.17 (diesen Mittwoch) findet ja die Zwischenpräsentation statt. Der momentane Stand der Dinge ist wie folgt:
Version 3.1

  • App lässt sich mit dem Headset anzeigen (wenn nicht optimal)
  • LeapMotion bzw. virtuelle Hände sind sichtbar
  • VuMarker Sofa lässt sich mit Hilfe eines Markers instanziieren
  • Sofa Instanz lässt sich mit dem Grab Gesture duplizieren
  • Position des Sofas kann man mit dem Grab Gesture ändern

Damit könnte man schon den Zwischenstand zwar zeigen, aber ich versuche noch einen long-distance grab zu implementieren für Version 4

Mehr oder weniger optimale Einstellung für den Coloreality Server ist hier beigefügt

colorserver_settingsforhmd

Stereoskopie und Vuforia

In Unity kann man zwar ein stereoskopischer Display leicht implementieren, aber in Verbindung mit Vuforia ist das noch mit iOS relativ schwierig. Vielleicht klappt das besser mit Android? Ich arbeite gerade dieses Tutorial durch: (Link)

Gesture: Moving furniture on the z-axis

To be able to move furniture away from or closer to the user (z-axis) another gesture is required. This could be done while positioning the furniture with 1 hand and the other can manage the distance of the furniture. By performing 2 grab gestures at the same time the distance should be able to be manipulated. Bringing both grab gestures nearer to each other should decrease the distance while the opposite may also take place.

  • add additional grab gesture for manipulating the distance of target furniture
  • calculate distance in relation to distance of both grab gestures

6DoF implementieren

Wird wohl nichts. Hardware technisch haben wir das nicht so druff, weil wir entweder einer der neueren Smartphone Versionen haben müssen oder ein externes Gerät für die Tiefenwahrnehmung. Momentan würde nur die Rotation funktionieren

Recommend Projects

  • React photo React

    A declarative, efficient, and flexible JavaScript library for building user interfaces.

  • Vue.js photo Vue.js

    🖖 Vue.js is a progressive, incrementally-adoptable JavaScript framework for building UI on the web.

  • Typescript photo Typescript

    TypeScript is a superset of JavaScript that compiles to clean JavaScript output.

  • TensorFlow photo TensorFlow

    An Open Source Machine Learning Framework for Everyone

  • Django photo Django

    The Web framework for perfectionists with deadlines.

  • D3 photo D3

    Bring data to life with SVG, Canvas and HTML. 📊📈🎉

Recommend Topics

  • javascript

    JavaScript (JS) is a lightweight interpreted programming language with first-class functions.

  • web

    Some thing interesting about web. New door for the world.

  • server

    A server is a program made to process requests and deliver data to clients.

  • Machine learning

    Machine learning is a way of modeling and interpreting data that allows a piece of software to respond intelligently.

  • Game

    Some thing interesting about game, make everyone happy.

Recommend Org

  • Facebook photo Facebook

    We are working to build community through open source technology. NB: members must have two-factor auth.

  • Microsoft photo Microsoft

    Open source projects and samples from Microsoft.

  • Google photo Google

    Google ❤️ Open Source for everyone.

  • D3 photo D3

    Data-Driven Documents codes.