Teme za studentske radove

U širem smislu, osnovna područja rada su 3D grafika i računalni vid. Naglasak je na sljedećim područjima:

  • Praćenje i analiza lica tehnikama računalnog vida
  • Virtualni likovi
  • Proširena i virtualna stvarnost
  • Vizualizacija podataka (prof. Matković)
  • Znanstvena vizualizacija (prof. Matković)

Većina predloženih konkretnih tema je kombinacija ovih područja. Prihvaćaju se i vlastiti prijedlozi tema pod uvjetom da zadovoljavaju kriterije za studentski rad. Lista tema daje veći broj ideja za teme studentskih radova te se često nadopunjuje i mijenja. Ako ste u potrazi za temom, pogledajte ove stranice češće. Uputno je pogledati i radove iz prethodnih godina.

Zadnja promjena: 28.01.2020.

Praćenje i analiza lica tehnikama računalnog vida

Na Zavodu je dostupan vrhunski softverski sustav za praćenje lica u stvarnom vremenu tvrtke Visage Technologies s kojom HOTLab tijesno surađuje. Studenti se mogu uključiti u rad na daljnjem razvoju ovog sustava kao i na povezanim projektima, uz vrlo širok izbor tema.

Video: rad sustava u raznim uvjetima i na raznim sustavima.

Raspoznavanje emocija praćenjem lica

U komunikaciji među ljudima, emocije se vrlo često raspoznaju preko izraza lica. Praćenje lica, odnosno pokreta lica, osnova je strojnog raspoznavanja emocija. Cilj studentskog zadatka bio bi proučiti metode raspoznavanja emocija s naglaskom na postojeću implementaciju i mogućnosti njenog poboljšanja ili proširenja (tzv valence/arousal prostorom).

Video: raspoznavanje emocija.

Detekcija mikro-izraza lica u videu

Mikro-izrazi lica (micro-expressions) su izrazi lica vrlo kratkog trajanja (pola sekunde ili manje), što ih čini posebno teškim za detekciju. Ovakvi izrazi lica najčešće nisu svjesno kontrolirani te se smatra da mogu bolje odati stvarne emocije nego makro-izrazi koje u većoj ili manjoj mjeri možemo svjesno kontrolirati. Cilj ovog zadatka je temeljem dostupnih baza video zapisa sa mikro-izrazima lica proučiti mogućnost njihovog automatskog detektiranja korištenjem postojećeg softvera za praćenje lica dostupnog na zavodu. Po dogovoru, ali i ovisno o prvim rezultatima, zadatak može biti proširen na poboljšanja u postojećem sustavu s ciljem bolje detekcije mikro-izraza.

Estimacija izraza lica prema sustavu FACS

Facial Action Coding System (FACS) je klasični sustav za anotaciju izraza lica koji se sastoji od većeg broja elementarnih pokreta lica (Action Units, AUs) koji se kombiniraju u složenije izraze. Cilj ovog zadatka je upoznati se sa sustavom FACS te implementirati automatsku estimaciju izraza lica prema sustavu FACS, koristeći se pritom postojećim sustavom za praćenje lica kao osnovom.

Detekcija lica dubokim neuronskim mrežama

Istražiti algoritme za detekciju lica temeljene na dubokim neuronskim mrežama (npr. Faster R-CNN: članak ili SSD: Single Shot MultiBox Detector: članak). Implementirati training tool za detekciju lica u Torch frameworku i istrenirati model. Izmjeriti performanse sustava (brzina) i preciznost. Predložiti moguća rješenja za poboljšanje performansi i preciznosti sustava.

Raspoznavanje oblika lica

Oblik ljudskog lica može se klasificirati u nekoliko osnovnih kategorija kao što su ovalno, okruglo, srcoliko, četvrtasto, izduženo ili oblika dijamanta. Poznavanje oblika lica smatra se važnim između ostalog za izbor odgovarajućeg oblika naočala, frizure ili kozmetike. Automatsko raspoznavanje oblika lica temeljem slike lica stoga je izuzetno aktualna tema zbog mogućih primjena u industrijama vezanim uz navedeno (npr. automatsko preporučivanje naočala, šminke, frizure...). Cilj studentskog zadatka je osmisliti metodu raspoznavanja oblika lica temeljem analize slike lica, te kroz praktičnu implementaciju ispitati rad sustava. Prijedlog moguće implementacije sastoji se od dvije komponente: (a) segmentiranje lica od pozadine/kose i (b) ispitivanje preklapanja predložaka raznih oblika lica sa licem. Na raspolaganju je i baza podataka (slika) za učenje i evaluaciju sustava. 

Automatsko mjerenje fizičkih značajki lica

Automatsko mjerenje fizičkih značajki lica moguće je praćenjem 2D značajki lica te iterativnom optimizacijom deformabilnog 3D modela koristeći Extended Information Filter.
Trenutni algoritam pretpostavlja parametre kamere u procesu optimizacije. Cilj studentskog zadatka je istražiti utjecaj kalibracije kamere (koriteći OpenCV) i na taj način dobivenih
parametara u procesu mjerenja stvarnih fizičkih dimenzija značajki lica (npr. razmak između zjenica, širina nosa itd.).

Liveness detection

Liveness detection znači razlikovanje stvarnog čovjeka od slike, u cilju sprječavanja varanja sustava za provjeru identitata podmetanjem slike. Zadatak počinje proučavanjem literature jer postoji više pristupa.

Zamjena lica u videu

U okviru ove teme potrebno je osmisliti i implementirati video efekt zamjene ljudskog lica u video sekvenci drugim licem, uz očuvanje izvornih pokreta lica. Time se efektivno postiže zamjena osobe u videu. Lice nove osobe dobiva se iz jedne fotografije.
Ulaz u sustav čine izvorni video i fotografija novog lica, a izlaz je video u kojem je izvorno lice zamijenjeno novim licem.
Na raspolaganju su sve potrebne komponente za izradu ovakvog sustava:
- sustav za automatsko pronalaženje ključnih točaka lica (vidi sliku uz temu dolje, Talking Photos)
- sustav za praćenje ključnih točaka lica u video sekvenci
- 3D model lica koji se adaptira prema pronađenim ključnim točkama

Moguća još zanimljivija varijacija ove teme je zamjena lica u videu licem korisnika dobivenim u stvarnom vremenu iz kamere. Efekt za korisnika bio bi da vidi sebe u nekoj video sekvenci u stvarnom vremenu; na primjer, bilo bi moguće odglumiti ulogu glavnog lika u nekoj poznatoj sceni iz filma.

Igre i druge aplikacije pokretane praćenjem lica

Praćenje lica može se koristiti kao inovativan način upravljanja računalnim aplikacijama. Ovo je pogotovo zanimljivo za igre i zabavne aplikacije, premda ne mora nužno biti ograničeno na zabavu. Od posebnog je interesa izrada ovakvih aplikacija za pokretne uređaje. Nekoliko ovakvih projekata izrađeno je i u okviru studentskih preddiplomskih projekata.

Praćenje lica u termalnim video signalima

Cilj studentskog zadatka bio bi proučiti mogućnost rada postojećeg sustava za praćenje lica u termalnom području spektra. Poznato je da u termalnim slikama ne radi metoda postojeća detekcije lica, kao ni metoda lokalizacije točaka lica. Pretpostavlja se da bi moglo biti moguće zaobići ovaj problem obradom slike. 

 

Virtualni likovi

Animacija lica analizom video slike

Jedan od brojnih načina 3D animacije lica je analiza video slike, pri čemu je cilj iz slike dobiti 3D pozicije glave i karakterističnih točaka lica (konture usana, obrva, rotacija očiju). Taj postupak se naziva praćenje karakterističnih točaka lica (engl. Facial Feature Tracking ili Facial Motion Capture) ili skraćeno praćenje lica (engl. Face Tracking). Praćenje lica je jedan od najvećih izazova u području obrade video slike. Na Zavodu je dostupan vrhunski softverski sustav za praćenje lica u stvarnom vremenu, povezan sa softverom za animaciju lica također dostupnim na zavodu čime se dobiva sustav koji animira virtualno lice u stvarnom vremenu, prateći direktno pokrete osobe pred kamerom. Unutar ove teme moguće je definirati više praktičnih zadataka. S jedne strane, zadatak može biti poboljšano povezivanje sustava praćenja lica sa sustavom animacije, kroz bolji izbor parametara animacije virtualnog lica i njihovo preslikavanje. Druge mogućnosti uključuju implementacije drugih sustava za grafiku (trenutno se koristi Unity3D) ili boljih metoda animacije lika.

Automatska izrada karikatura iz fotografija lica

Krajnji cilj ovog zadatka je osmisliti sustav koji bi omogućavao uslugu izrade automatske karikature putem mobitela koja bi se spremala lokalno. Postoji literatura o automatskoj obradi slike na način da izgleda poput crteža, kao i o načinima modifikacije modela lica na način da se dobije karikatura. Potrebno je pronaći i proučiti tu literaturu te osmisliti i implementirati predloženi sustav ili njegov dio.

Talking photos

U okviru ove teme potrebno je osmisliti i implementirati algoritam za automatsku animaciju digitalnih fotografija ljudskih lica tako da izgleda kao da slika govori, smije se itd. Na raspolaganju su sve potrebne komponente za izradu ovakvog sustava:

- sustav za automatsko pronalaženje ključnih točaka lica (v. sliku)
- 3D model lica koji se adaptira prema pronađenim ključnim točkama
- sustav za animaciju lica

3D grafika

 

View Dependent Rendering

View Dependent Rendering je tehnika za 3D iscrtavanje uz dinamičku promjenu perspektive u stvarnom vremenu na bazi rezultata 3D praćenja glave korisnika u slici dobivenoj kamerom (engl. head tracking). Aplikacija ne zahtijeva nikakav dodatni hardver osim obične web kamere montirane iznad zaslona računala. Dobiveni efekt je da se korisnik može "okretati oko predmeta" i promatrati predmete s raznih strana jednostavnim pomakom glave. U okviru studentskog projekta 2010. g. razvijen je osnovni sustav  demonstriran video zapisom dolje. Zadatak studenta bio bi razviti novi ovakav sustav na bazi naprednije tehnologije praćenja i novijeg 3D sustava (npr. Unity), uz posebno zanimljivu mogućnost razvoja ovakve aplikacije za pokretne uređaje (iOS, Android), ili za web (HTML5).

Video: View Dependent Rendering.

Programiranje grafičkih procesora

Grafički procesori (GPU) i programska sučelja ostavljaju mogućnost programiranja operacija protočnog sustava na niskoj razini - moguće je programirati vlastite operacije osvjetljavanja i manipulacije vrhova kao i popunjavanja pixel-a. Ovo pruža izuzetnu fleksibilnost u programiranju grafičkih efekata i animacije, pa čak i korištenja specifičnih mogućnosti grafičkih procesora za druge vrste računanja nevezane uz grafiku. U sklopu ove teme studenti će proučiti postojeće tehnologije, programska sučelja i alate, te u dogovoru s mentorom osmisliti praktični zadatak, npr. odabrati jedan specifični grafički efekt ili način animacije, te ga implementirati na stvarnoj grafičkoj kartici ili na emulatoru. Na ovu temu je posljednjih godina ostvareno nekoliko studentskih radova koji mogu koristiti kao predložak.

3D grafika na webu

Premda ideja o 3D sadržajima u web stranicama postoji još od devedesetih godina prošlog stoljeća, do sada niti jedan pokušaj uspostavljanja široko prihvaćene norme za prikaz takvih sadržaja nije uspio, te i dalje ne postoji "standardni" način uključivanja interaktivnih 3D sadržaja u web aplikacije. Tijekom godina pojavile su se međunarodne norme kao VRML, X3D i MPEG-4 koje su (između ostalog) bile namijenjene rješavanju ovog problema; čitav niz pojedinačnih rješenja nuđenih od strane raznih tvrtki, uglavnom zasnovanih na nekoj vrsti plugina za web preglednik; rješenja zasnovana na lažnom 3D prikazu uz korištenje većeg broja slika čijim izmjenjivanjem bi se dobila iluzija 3D grafike; rješenja zasnovana na Java appletima itd. Trenutno možda najizglednija tehnologija za rješavanje problema 3D sadržaja na webu je WebGL, koji je već uključen u sve vodeće web preglednike osim Internet Explorera. Cilj ovog zadatka je proučiti trenutno stanje tehnologija za 3D prikaz na webu, odabrati jednu tehnologiju i u njoj implementirati aplikaciju po dogovoru s mentorom. 

Razvoj plugina za 3D softver (Blender)

Svi profesionalni i open source softveri za 3D modeliranje i animaciju omogućavaju proširivanje funkcija programiranjem plugina. Ova tema predviđa upoznavanje s jednim softverom uz naglasak na njegove mogućnosti proširivanja, te izradu jednog konkretnog plugina. Odabir softvera i funkcije samog plugina radi se u dogovoru s mentorom. 

Virtualna i proširena stvarnost

Proširena stvarnost za virtualno isprobavanje šminke (virtual makeup)

Zadatak je implementirati virtualno iscrtavanje šminke na licu u stvarnom vremenu korištenjem tehnologije praćenja lica dostupne na Zavodu.

Video: primjer sustava virtualne šminke razvijenog na bazi iste tehnologije praćenja.

Proširena stvarnost za virtualno isprobavanje naočala

HOTLab je u suradnji s komercijalnim partnerom razvio sustav za virtualno isprobavanje naočala zasnovan na proširenoj stvarnosti i 3D praćenju pokreta lica. Sustav je implementiran i na pokretnim sustavima (iPhone, iPad...), kao i za HTML5; demonstracija ovdje.

Studentski zadatak sastojao bi se u ispitivanju mogućih poboljšanja postojećeg sustava. Ideje za to uključuju:

  • Iscrtavanje sjene virtualnih naočala na licu,
  • Poboljšano prekrivanje dijelova lica (npr. nosa) naočalama,
  • Realistično podešavanje veličine naočala,
  • Isprobavanje naočala na prethodno snimljenom nizu slika po uzoru na glasses.com.

Proširena stvarnost za virtualno pomlađivanje i postaranje lica

Zadatak je implementirati virtualno pomlađivanje i postaranje licu u stvarnom vremenu korištenjem tehnologije praćenja lica i estimacije starosti dostupne na Zavodu. Potrebno je proučiti literaturu jer postoji više načina kako to napraviti.

Proširena stvarnost za virtualno isprobavanje brade i obrva

Zadatak je implementirati virtualno iscrtavanje brade i obrva na licu u stvarnom vremenu korištenjem tehnologije praćenja lica dostupne na Zavodu.

Proširena stvarnost za virtualno isprobavanje šminke za muškarce

Zadatak je implementirati virtualno iscrtavanje šminke za muškarce na licu u stvarnom vremenu korištenjem tehnologije praćenja lica dostupne na Zavodu.

Proširena stvarnost za virtualno isprobavanje frizure

Zadatak je implementirati virtualno iscrtavanje frizure na 3D modelu u stvarnom vremenu korištenjem tehnologije praćenja lica dostupne na Zavodu.

Proširena stvarnost za virtualno bojanje kose

Zadatak je implementirati virtualno bojanje kose u stvarnom vremenu 2-D segmentacijom te korištenjem tehnologije praćenja lica dostupne na Zavodu.

Proširena stvarnost za virtualno crtanje očima

Zadatak je implementirati virtualno crtanje očima u stvarnom vremenu korištenjem tehnologije praćenja lica i smjera gledanja dostupne na Zavodu.

Dodatne teme

Ove dodatne teme ponuđene su u okviru projekta suradnje s tvrtkom Visage Technologies AB. 

Title

Short Description

Umjetno degradiranje kvalitete slike u stereo sustavima

Degradacija kvalitete slike odnosi se na različita zamućenja slike, izobličenja scene uslijed postojanja kondenzacije ili prozirnog filma na leći kamere, ili na potpuni gubitak informacije o snimanoj sceni zbog postojanja neprozirnih obstrukcija na leći kamere.  Nečistoće na leći dodatno utječu i na vrijeme ekspozicije kamere što potencijalno unosi dodatni šum i zamućenje slike, posebno kada stereo sustav nije stacionaran. Cilj diplomskog rada je analizirati karakteristike slika u kojima postoji degradacija i na temelju toga modelirati umjetno degradiranje slika. Nakon toga potrebno je naučiti neuronsku mrežu na umjetno generiranim primjerima i provjeriti da tako naučena mreža dobro generalizira na realnim primjerima iz prakse.

Automatsko generiranje markinga pomoću game engine-a

Proces dobivanja markinga za potrebe strojnog učenja je dugotrajan i zamoran proces koji je podložan greškama. Također, problem predstavlja i sam proces nabave materijala na kojem će markiranje biti obavljeno, bilo to snimanjem ili nekim drugim načinom. Cilj diplomskog rada je analizirati postojeće game engine, odabrati engine koji najbolje odgovara zadatku te napisati alat pomoću kojeg bi se obavljalo automatsko markiranje zadanih objekata (pješak, automobil, motocikl, ...) u nekoliko tipova scena (urbana sredina, autoput, ruralna cesta, ...) kreiranih unutar engine-a.

Automastki tuning – implementacija Kalmana u Matlabu, proučavanje literature za automatski tuning

Kalmanov filtar optimalan je estimator uz pretpostavku linearnog sustava i pretpostavku da su šumovi mjerenja i procesa nezavisni te da imaju normalnu distrubiju. Parametri kojima se opisuje šum najčešće nisu poznati te ih je potrebno odrediti. U sklopu ovog diplomskog rada potrebno je proučiti jednadžbe i izvedbu Kalmanovog filtra za estimaciju stanja, s naglaskom na parametre koji se odnose na opis šuma mjerenja i šuma modela sustava. Potrebno je pručiti metode automatskog podešavanja parametara te simulirati odabrane metode podešavanja na stvarnim mjerenjima.

Particle Filter

Opis:
Particle filter uses Monte-Carlo simulations to obtain a numerical solution for estimation
problems. In contrast to linear problems where Kalman filter performs very well, in nonlinear ones
mean and variance are not enough to represent a distribution. To mitigate this problem, particle
filter uses a finite number of particles as samples to approximate both the posterior distribution
and the marginal distribution. The goal of this master thesis is to derive the formulae of particle
filter, and to make a comparison with other nonlinear Kalman-like filters (extended Kalman filter,
unscented Kalman filter, ...).

Literatura:
• Pierre Del Moral: Non Linear Filtering: Interacting Particle Solution, Markov Processes and Related Fields. 2 (4): 555-580. (1996)
• Arnaud Doucet, Adam M Johansen: A tutorial on particle filtering and smoothing: Fifteen years later. Handbook of Nonlinear Filtering l (December):4-6. (2008)

Konveksna formulacija Kalmanovog filtra

Opis:
Klamanov filtar računa maximum a posteriori estimat stanja linearnog sustava s Gaussovim modelom šuma. Konveksna formulacija ovog problema dozvoljava generalizaciju na logaritamski konkavne distribucije te uvođenje ograničenja tipa jednakosti i konveksnih nejednakosti na stanja sustava. Varijante Kalmanovog filtra koriste se u mnogo domena stoga spomenuta generalizacija može biti od velike koristi, uz brzu te pouzdanu implementaciju s garancijama na trajanje izvršavanja. Cilj rada je upoznati se sa teorijskom pozadinom Kalmanova filtra, konveksne optimizacije u kontekstu primjene na isti (linearno i kvadratno programiranje) te analizirati garancije izvršavanja analitički i/ili implementacijski.

Literatura:
Thomas Schön, Fredrik Gustafsson, A. H. D. (n.d.). A NOTE ON STATE ESTIMATION AS A CONVEX OPTIMIZATION PROBLEM. IEEE International Conference on Acoustics, Speech, and Signal Processing (ICASSP) 2003 Technical. https://doi.org/http://dx.doi.org/10.1136/thoraxjnl-2011-201054c.221
Software: cvx, cvxpy: https://web.stanford.edu/~boyd/software.html + Python or Matlab

KF varijanta za praćenje light sourceova (Light source tracking)

Detekcija i praćenje izvora svijetlosti je od interesa u automobilskoj industriji te ostalim domenama radi mnogobrojnih korisnih primjena koje omogućuje. Primarno je potrebno detektirati izvore svijetlosti imajući u vidu ograničenja na vremenske i računske resurse. Zatim je potrebno primjeniti Kalmanov filtar u kontekstu algoritama praćenja stanja kako bi se estimirala pozicija i ostala relevantna stanja izvora svijetla u sceni. Implementaciju je potrebno testirati na javno dostupnim skupovima snimljenim pomoću gibajućih vozila te usporediti razne varijante algoritama praćenja.
Software: Python, Matlab

CNN za detekciju vozila na javno dostupnom datasetu

Koristeći dataset za detekciju vozila implementirati Neuronsku mrežu koja može raditi detekciju automobila. Student može birati da li radi detekciju:
• Stražnjeg dijela vozila
• Prednjeg dijela vozila
• Crossing vehicle
• 3D bounding box vozila
• Kombinacija navedenih slučajeva

Računeći da u veoneer-u već postoje algoritmi koji se gledaju za implementirati, možemo sugerirati implementaciju sljedećih algoritama da pojednostavimo studentu:
• Faster R-CNN
• SSD: Single Shot MultiBox Detector
• SqueezeDet
• Feature Pyramid Networks for Object Detection
• Focal Loss for Dense Object Detection

Pomoćni paperi su također:
• Speed/accuracy trade-offs for modern convolutional object detectors
• R-FCN
• MASK R-CNN
• Fast R-CNN
• You Only Look Once (YOLO)
• SqueezeNet
Naravno, student ako je kreativan, može napraviti neku vlastitu implementaciju, ovo služi kao smjernica i pomoć.
Najbolji datasetovi:
http://cmp.felk.cvut.cz/data/motorway/
https://github.com/udacity/CarND-Vehicle-Detection/blob/master/examples/bboxes_and_heat.png
http://www.cvlibs.net/datasets/kitti/eval_object.php?obj_benchmark=3d

Mono disparity using neural networks

Opis:
Korištenje jedne slike scene za procjenu dubine iste vrlo je zahtjeva zadatak. Nedavan proboj na području dogodio se primjenom konvolucijskih neuronskim mreža treniranim na podatcima generiranim pomoću simulacijskog okruženja. Novija istraživanja koriste KITTI skup podatak kao relevantnu procjenu točnosti predoloženog pristupa. Cilj je analizirati i rekreirati postojeća riješenja te provjeriti mogućnosti kombinacije simulacijski i podatkovinih pristupa za poboljšanje rezultata.

Literatura:
Eigen, D., Puhrsch, C., & Fergus, R. (2014). Depth Map Prediction from a Single Image using a Multi-Scale Deep Network, 1–9. https://doi.org/10.1007/978-3-540-28650-9_5
Software: Python, Matlab

Google Street View skup podataka za detekciju semafora

Treniranje modela strojnog učenja za autonomnu vožnju zahtijeva veliku količinu raznolikih podataka. Fokus ovog diplomskog rada je problem detekcije semafora za kojeg postoji manjak anotiranih podataka, te je cilj kreirati open-source skup podataka označenih semafora i objaviti članak koji ga opisuje.

Potrebno je prikupiti velik broja slika koje sadrže semafore i anotirati ih. Izvor tih slika bio bi Google Street View, a način njihova prikupljanja je potrebno automatizirati (npr., koristeći Open Street Map API). Za potrebe anotacije podataka koristio bi se open-source alat (npr., Scalabel), a taj proces bi, idealno, također bio automatiziran (npr., treniranjem neuronske mreže koristeći dostupne skupove podataka).

Rotation of traffic light samples for extension of training set

Description:

Most training sets contain only vertical TLs (e.g. LISA training set, Apollo Scape, ImageNet), which is not enough for training robust TL detector for autonomous systems. Real word autonomous driving must provide successful detection of both vertical and horizontal traffic lights. This thesis is focused on developing classifiers for horizontal TL using available data sets and collecting more training data.

Main tasks in this work include: 1.) forming good data set using available data and acquiring more data for testing purposing, 2.) randomly rotating vertical traffic light to artificially generate horizontal samples, 3.) training of TL classifier using OpenCV, 4.) evaluation of detector using validation data.

Parsing of TL markings to check for errors

Description:

Successful training of cascade classifiers requires manual marking of large data set. While marking data set usually .txt file is produced that contains most important properties of marked objects. In case when traffic lights are marked those properties are color, state, symbol and type of traffic lights. Marking and parameters setting is done for each frame leading to quite large .txt files. Those files are used in training and validation process to read location and properties of marked objects.

The focus of this thesis is to create automatic system for evaluation of markings. Scrips should be written in python programming language and should allow easy parsing of .txt files. Output of this evaluation is list of markings that fail to fulfill defined rules.

Analysis of TLs shape, form and placement in world

Description:

Development of traffic light detector is very dependent of geographical location. Shape, color and position of TL differs from country to country. Therefore, detector trained on data from one geographical location can perform very poorly when evaluated on different location. Geographical locations for traffic light detection can be divided in several regions. For each region it is crucial to define form of traffic light to be able to develop dedicate TL detector. Focus of this thesis is to use Google Street View to acquire images of TL from different locations and automatically analyze TL properties. Acquisition of images should be automatized using pretrained TL detectors so main task is to develop algorithm which will output color, type and placement of TL box.

Traffic light detection using blobs

Description:

Detection of traffic lights is crucial part of autonomous driving systems. Problem of TL detection is usually solved using cascade detections or neural networks. Both of those two approaches use previously manually marked data for training. The focus of this thesis is to develop TL detection algorithm based on blobs detection. Each turned on TL have quite bright circle inside its shape (called blob) that can be used for selection of region of interest for TL detection. Main tasks of this work are to develop blob detection algorithm (using LISA data set, Apollo space, ImageNet), and use identified areas for detection of TL box.

Image augmentation methods specific for traffic lights

Description:

Cascade classifiers, trained on a large set of samples, are widely used for tasks of autonomous driving. Collection of large data sets is very time consuming and requires significant data storage resources. Image augmentation methods are introduced to artificially extend training set by creating many altered versions of the same image. This provides more samples to train on but can also help to expose the classifier to a wider variety of colors and lighting to make a classifier more robust. There are numerous image augmentation methods, such as brightness, contrast modifications, blurring and noise addition, horizontal flip, color jittering, etc. The focus of this thesis is to develop a novel image augmentation method that can highlight TLs and therefore lead to more robust classifier. Main tasks of this work include 1.) investigation of existing image augmentation methods, 2.) application of image augmentation methods (LISA data set, Apollo Scape, ImageNet) 3.) development of image augmentation method focused on TLs. Development of image augmentation method involves investigation of different color spaces (HSV) and morphology operators.

Evaluation of existing TL detectors

Several traffic light detectors are available online. Some of these detectors are trained for multiple categories such as vehicles, animals, pedestrians, etc. including traffic lights. The focus of this work is to evaluate pretrained detectors on available datasets (Examples: LISA, ApolloScape and ImageNet). Popular detection algorithms include YOLO (https://pjreddie.com/darknet/yolo/), R-CNN and its descendants (https://arxiv.org/abs/1311.2524, https://arxiv.org/abs/1504.08083, https://arxiv.org/abs/1506.01497 and https://arxiv.org/abs/1703.06870). Pretrained versions of these algorithms can be found online, but some will have to be retrained to detect traffic lights. 

The student is required to find suitable datasets (some were already listed), find pre-trained detectors or fine-tune them (some were already listed) and evaluate and compare these detectors using the selected datasets.

Razvoj algoritma klasifikacije objekata alatom TensorFlow

Alat TensorFlow je često korišten u zadacima treniranja neuronskih mreža. Riječ je o open-source biblioteci za tzv. dataflow programiranje. Cilj diplomskog rada je upoznati se s alatom TensorFlow te razviti neuronsku mrežu koja ce uspjesno klasificirati određeni objekt. Neuronsku mrežu potrebno je trenirati na setu za treniranje te evaluairati na setu za evaluaciju, a nakon uspješnog treniranja evaluaciju je potrebno provesti i na testnom setu.

Vizualizacija podataka (izv.prof.dr.sc. Krešimir Matković)

Block Modeler

U inženjerskim aplikacijama sistemi su najčešće definirani korištenjem međusobno povezanih 2D blokova. Takav sistem je vrlo pogodan za definiranje problema i pripremu ulaznih podataka u simulaciju. Rezultati simulacije su najčešće prikazani tekstualno ili korištenjem odvojenog sustava. Cilj ovog diplomskog rada je objediniti modeliranje i prezentaciju rezultata, tj. blokovi korišteni u modeliranju moraju moći prikazati i rezultate. S obzirom na potencijalno velik broj elemenata u raznim sustavima, editor za nove elemente je sastavni dio rada. Težište je na vizualizaciji rezultata, vizaulizaciji odstupnja i pogreąaka kod više simulacija i interaktivnosti modela. Predviđeno je korištenje GTK biblioteke za GUI, OpenGL-a za grafiku i c za programiranje. Rad mogu raditi i dva studenta.

​Advanced Interaction with Color Lines View

Color Lines View je način prikaza familije krivulja. Krivulje su prikazane ravnim crtama, a vrijednost funkcije je kodirana bojom. Novi načini selekcije i interakcije s prikazom su težište ovog rada. Zainteresirani studenti mogu zatražiti opis prikaza (samo pošaljite e-mail). Predviđeno je korištenje OpenGL-a za grafiku i C za programiranje.

Advanced Scatter Plot and Parallel Coordinates

Proširenje standardnih prikaza tako da podržavaju osi koje nisu jednodimenzinalne. Kod paralelnih koordinata, dodatno se očekuje implementiranje "Parellel Sets" pristupa u kombinaciji s paralelnim koordinatama. Predviđeno je korištenje OpenGL-a za grafiku i C za programiranje.​

Znanstvena vizualizacija (izv.prof.doc.dr.sc. Krešimir Matković)

Basic Volume Visualization

Osnovni sustav za vizualizaciju volumena. Ray casting, splatting. Moguće je proširiti temu na GPU bazirane metode. Ovu temu vodi izv.prof.dr.sc. Krešimir Matković. ​​

Flow Visualization

2D Steady state flow on regular grid. Predviđeno je korištenje OpenGL-a za grafiku i C za programiranje. Ovu temu vodi izv.prof.dr.sc. Krešimir Matković.

Parameterized Constructive Solid Geometry

Constructive Solid Geometry je način modeliranja gdje se koriste osnovni oblici volumena (kocka, kvadar, kugla, cilindar, ...) i Booleove operacije među njima kako bi se modelirali kompleksni oblici. U ovom radu očekuje se prikaz mogućnosti i razvoj sustava za parametrizirani CSG. Definicija konačnog tijela nije dana striktno već kao funkcija parametara. Npr. kocka stranice a je kombinirana s valjkom polumjera b i visine c. Korisnik može odrediti a, b, c (unutar dozvoljenih granica) i sistem računa konačni objekt. Predviđeno je korištenje GTK biblioteke za GUI, OpenGL-a za grafiku i c za programiranje. Ovu temu vodi izv.prof.dr.sc. Krešimir Matković.