Pixel shiftillä paremmat värit

[jaava]

Tässä ei siis kyse:

Pixel shift is a method in digital cameras for producing a super resolution image.
In cameras with pixel shift technology the sensor is mounted on a precise piezoelectric crystal stage which allows the CCD to be nano-shifted by 1/3 or 1/2 of a pixel. This enables the standard resolution to be extended by 4 times or even by 9 times. In this way applications that demand ultra high resolution can be realised.

Värejä parannettaessa siirretään sensoria kokonainen "pikseli".
Muuten tuo pikseli on väärä nimitys - sehän tarkoittaa pistettä, joka määrittelee 3 väriä. Bayer-kennoisessa kamerassa, piste mittaa vain yhden värin.

Bayer-maskilla saadaan kuvasensorista puolet vihreitä senseliarvoja (senseli mittaa vain yhden Bayer-maskin linssin kohdalta kerrallaan), sinisiä 1/4 ja punaisia 1/4. Kun halutaan kuvaan saman verran pikseleitä (kussakin pikselissä on kolmen värikanavan kirkkaudet), niin noita värikanava-arvoja joudutaan arvailemaan.
Mutta jos otetaan neljä kuvaa siirtämällä kuvasensoria kunkin valotuksen välissä, niin voidaan koota pikselien värikanaville oikeasti valotuksella saatu kirkkaus. Ei siis tarvitse arvailla tai laskea heuristisia iteraatio-algoritmeja.

Tässä yksinkertaisuuden vuoksi esitetty pixel shift siirtämällä pelkkää kuvasensoria (jossa senselit S1 - S9) ja pitämällä Bayer-suodatin paikoillaan objektiiviin nähden:

Kuva: Pixel shift, jossa Bayer-suodatin (värillinen ruudukko) pysyy objektiiviin nähden paikoillaan ja vain kuvasensori (neliö paksulla mustalla, jossa senselit S1 - S9) liikkuu. Tällöin sama senseli mittaa kaikki pikselin värikanavat.

Kuvassa esitetty 4 pixel shift valotusta:

• Kuva 1, jossa ei ole siftiä
• Kuva 2: sensori on siirretty yhden senselin verran oikealle
• Kuva 3: sensori on siirretty yhden senselin verran alas
• Kuva 4: sensori siirretty yhden senselin verran vasemmalle

Neljästä kuvasta saadaan kootua kunkin senselin kohdalta kaikkien kolmen värin kirkkaus, siis pikselin 3 värikanavaa (ja vihreästä vielä 2 arvoa).
Esimerkiksi senselistä S1 voidaan lukea: kuvasta 1 punainen, kuvasta 2 vihreä, kuvasta 3 sininen ja kuvasta 4 vihreä.

Tällä menetelmällä saadaan punaisen ja sinisen värikanavan toistotaajuus kasvamaan, koska pikseleihin ei tarvitse niille iteroida arvoja.

Pixel Shift voidaan toteuttaa myös siirtämällä kuvasensoria ja Bayer-suodatinta yhtenä pakettina objektiiviin nähden (kuten nykykamerat saen taitaakin tehdä), mutta tällöin yhden pikselin värit tulee mitattua eri senselien toimesta, joiden vahvistuskertoimet eivät ole täsmälleen samat. Vaikuttaneeko oleellisesti kuvan laatuun.

Onko tästä sellaisia kokemuksia, että voisi olla vielä pakollinen varuste itseään kunnioittavan arkkitehti- tai maisemakuvaajan repertuaarissa?

[janne.]

cmos-kennossa jokaisella pikselilllä on oma a/d-muuntimensa, joten sieltä se vaihtelu tulee pikselien välillä jos on tullakseen. pikselinsiirto korkeintaan tasaa pikselienvälisiä eroja

[jaava]

Miten sitten kun Bayer-suodatin istuu kuvakennossa kiinni ja vain maisema (+objektiivi) siirtyy kennoon nähden.


Kuva: Pixel shift, jossa Bayer-suodatin (värillinen ruudukko) ja kuvasensori (senselit S1 - S9) liikkuu objektiiviin ja kuvattavaan nähden (harmaat ruudut A - P). Tällöin saman pikselin värikanavat mitataan eri senseleillä.

Kuvassa esitetty 4 pixel shift valotusta:
•Kuva 1, jossa ei ole siftiä
•Kuva 2: sensori + Bayer suodatin on siirretty yhden senselin verran oikealle
•Kuva 3: sensori + Bayer suodatin on siirretty yhden senselin verran alas
•Kuva 4: sensori + Bayer suodatin siirretty yhden senselin verran vasemmalle
Neljästä kuvasta saadaan kootua kunkin kuvattavan pisteen kohdalta kaikkien kolmen värin kirkkaus, siis pikselin 3 värikanavaa (ja vihreästä vielä 2 arvoa).
Esimerkiksi kuvattavan pisteestä F saadaan: kuvasta 1 sininen senselistä 5, kuvasta 2 vihreä senselistä 4, kuvasta 3 punainen senselistä 1 ja kuvasta 4 vihreä senselistä 2.

Koska jokaisella senselillä on kuvakennossa oma lukuelektroniikka tulee pikseliin värivirhettä, jos senselin varauksen muunto digitaaliseksi ei ole elektronisesti identtinen kaikkien senseleiden (esim. F pisteelle S5, S4, S1 ja S2) kohdalla (mahdoton vaatimus integroiduissa piireissä).

[jaava]

cmos-kennossa jokaisella pikselilllä on oma a/d-muuntimensa, joten sieltä se vaihtelu tulee pikselien välillä jos on tullakseen. pikselinsiirto korkeintaan tasaa pikselienvälisiä eroja

Lisäsin alotoitusviestiinkin, etten tarkoita pixel shift:iä superresoluutiokuvan ottamiseksi, jossa puolen senselinmitan shifteillä lisätään pikseleitä ja keskiarvoistetaan mittaustuloksia.
Tässä on siis kyse kokonaisista senselinmittaisista shift:stä.

Minusta suurin ero normaalissa raw-käsittelyssä sisältyy tuohon arvaukseen: Jokaisen senselin kohdalla kasataan pikseli, jossa vain yhden värikanavan kirkkaus on mitattu arvo (eikä osa algoritmeista usko siihenkään); sen joka on juuri pikselin kohdalla. Kahden muun arvot iteroidaan/arvataan ympäröivien senseleiden kirkkauksista.
Kun kuvassa esiintyy hankalia kohtia (suuria kontrastivaihteluita kulkee eri suunnissa värikanavissa), voi raw-konversio hyvälläkin algoritmilla olla aika hukassa noiden kahden arvattavan kanavan suhteen.

Toki senselien väliset lukuelektroniikan erot tuo myös omat mausteensa kuvanlaatuun.

Minusta paras kuvanlaatu olisi saavutettavissa ensin esitetyllä mallilla, jossa vain kenno liikku, Bayer maski pysyy paikallaan ja pikselin värikanavat mitataan samalla senselillä (ja luetaan samalla lukuelektroniikalla). Vaikka tästä tuskin saa kunnollista käytännön ratkaisua.

Senselien välisen vaihtelun voi eliminoida melko hyvin kuvilla, joista voidaan laskea digipimiössä kullekin kennon senselille elektroniikan ominaisuudet (tähtiharrastajat käyttää).

[tehodia]

cmos-kennossa jokaisella pikselilllä on oma a/d-muuntimensa, joten sieltä se vaihtelu tulee pikselien välillä jos on tullakseen. pikselinsiirto korkeintaan tasaa pikselienvälisiä eroja

.
.
.
Toki senselien väliset lukuelektroniikan erot tuo myös omat mausteensa kuvanlaatuun.

Minusta paras kuvanlaatu olisi saavutettavissa ensin esitetyllä mallilla, jossa vain kenno liikku, Bayer maski pysyy paikallaan ja pikselin värikanavat mitataan samalla senselillä (ja luetaan samalla lukuelektroniikalla). Vaikka tästä tuskin saa kunnollista käytännön ratkaisua.

Ehkä paras, mutta mikä olisi sen käytännön merkitys, kun useimmille riittää nykyäänkin kuva ilman pixelshiftiä. Tuon lisäksi pari muutakin asiaa voi mietityttää: samalla senselillä mittaamisessakin on aina pieni aikaero, joten olisiko se neljäs mittaus ihan samanlainen kuin ensimmäinen? Toiseksi sensorin siirrossa joka tapauksessa liike on luokkaa alle 5 millin tuhannesosaa, joten aika tarkkaahan se on jo ulkopuolisten tärinöiden/värinöiden suhteen.

Ja vielä yksi seikka. Riittäisikö, että vihreä mitattaisiin vain kerran pixelshiftin kanssa, eli kuva muodostettaisiin kolmesta kuvasta. Paranisiko kuva? Vähenisikö virhemahdollisuudet (25%)? Ainakin periaatteessahan noista kahdesta mittauksesta pitäisi tulla vihreälle (lähes) sama arvo? Jäisikö vielä yksi laskutoimitus pois?

[Maffer]

No ei siihen valovuosia mene, että siirtoja ei tarvi kun homma hoituu yhdellä valotuksella. Sen jälkeen muistellaan nykyisiä laitteita filmikameroiden veroisina dinosauruksina.

[jaava]

Riittäisikö, että vihreä mitattaisiin vain kerran pixelshiftin kanssa, eli kuva muodostettaisiin kolmesta kuvasta. Paranisiko kuva? Vähenisikö virhemahdollisuudet (25%)? Ainakin periaatteessahan noista kahdesta mittauksesta pitäisi tulla vihreälle (lähes) sama arvo? Jäisikö vielä yksi laskutoimitus pois?

Kaikissa Bayer-matriisissa kameroissahan näkyy olevan värisenseleitä suhteessa 2 G : 1 R : 1 B. Tämän sanotaan johtuvan ihmisen silmän suuremmasta herkkyydestä vihreän alueella (metsästäjä joka huomasi vihreän keskellä metsästettävää tai vaaran oli etulyöntiasemassa).
Kun samaan pikseliin saadaan mittaus kahdesta vihreästä senselistä, pienentää se vihreän kanavan kohinaa erityisesti tilanteissa, joissa saadaan vähän fotoneita.

No ei siihen valovuosia mene, että siirtoja ei tarvi kun homma hoituu yhdellä valotuksella. Sen jälkeen muistellaan nykyisiä laitteita filmikameroiden veroisina dinosauruksina.

Jos halutaan arvaustyylisestä raw-kehityksestä pois, niin mä tiedän kolme konseptia mitata kolmelle värikanavalle kirkkaus:

1. Foveon, jossa valon annetaan mennä syvälle kennon sisään ja matkalla erotellaan eri värien fotonit toisistaan.
2. Suodatetaan useampaan kuvaan halutut värit. Tähtitieteilijät vaihtaa koko suodattimen kennon eteen kullekin värille ja sitten tämä pixel shift menetelmä Bayer-maskin kanssa.
3. Jaetaan valo kolmeen yhtä kirkkaaseen osaan ja suodatetaan niistä halutut värit, kukin omalle kennolle.

Noissa on kaikissa perustavaa laatua olevia epäkohtia.

[zone6]

Pidetään joku Bayer-tyylinen ratkaisu mutta tulkitaan sitä värien osalta hieman toisin ja nostetaan tarkkuutta. Lopullinen kuva sitten pienennetään kolmannekseen tästä.

100mpix -kennot tulevat pian mahdollisiksi FF-kokoon, siitä sitten ulos 33mpix täyttä väridataa.

[Maffer]

Ei toimi. Lopputulos täyttä kuraa. Kännyköissä ihan OK ja sillee, mut jos se kenno ajetaan diffraktioon jo heti kättelyssä, on peli menetetty. Sony lupasi 48MP RGB-FF kennon jo ilman mitään pienennyksiä. Foveon ei siis ole ainoa kisaaja enää pelissä. Myös Canonilta huhuiltiin juuri läjä RGB-kennoja. Sinne tää ny menee.

[tehodia]

Pidetään joku Bayer-tyylinen ratkaisu mutta tulkitaan sitä värien osalta hieman toisin ja nostetaan tarkkuutta. Lopullinen kuva sitten pienennetään kolmannekseen tästä.

100mpix -kennot tulevat pian mahdollisiksi FF-kokoon, siitä sitten ulos 33mpix täyttä väridataa.

Olikohan se jokin sen tyylinen ratkaisu siinä Nokian hirviökamerapuhelimessa, Pureview 808:ssa? Siinä 41 Mpikselin kameralla tehtiin n. 8 Mpikselin kuvia.

Oleellistahan on se, että olisiko se 33 Mpikselin kuva sitten paljonkin parempi kuin se 100 Mpikselin kuva? Onhan kuvalaatu parantunut (ja tekniikkaa kehitetty) kameroissa, mutta toisaalta esim A2-printti on edelleen ihan samankokoinen kuin 15 vuotta sitten.

[temama]

Oleellistahan on se, että olisiko se 33 Mpikselin kuva sitten paljonkin parempi kuin se 100 Mpikselin kuva? Onhan kuvalaatu parantunut (ja tekniikkaa kehitetty) kameroissa, mutta toisaalta esim A2-printti on edelleen ihan samankokoinen kuin 15 vuotta sitten.

Niin niin, mutta tekniikalla se A2 tulostetaan ja millä erottelukyvyllä? Ja millaisesta lähdemateriaalista?

[jaava]

Jäin miettimään jotta millaisia sovelluksia tällä on tehty: "Jaetaan valo kolmeen yhtä kirkkaaseen osaan ja suodatetaan niistä halutut värit, kukin omalle kennolle."
Ja löytyihän niitä. Taitaa muuten paremmissa elokuvakameroissakin olla tämä käytössä?

Jaetaan valo dichroisissa prismoissa kolmeen värikomponenttiin:

Kuva: Kun Bayer matriisin avulla tehdyistä senseliarvoista saadaan interpoloitua RGB-pikseliarvot arvaamalla 2 kanavaa, niin dichroic prismoihin perustuvassa tekniikassa erotetaan tuleva valo kolmeen väriin ja kukin tallennetaan omalla kuvakennolla.
Korkealaatuisissa prismoissa käytetään pinnoitetta, joka hajottaa valon aallonpituuden mukaan. Kuva-antureista saadaan mitatut RGB kirkkausarvot jokaisen pikselin värikanavalle, joten interpolointia/arvailua ei tarvita.

Prismatekniikan vertailua Bayer-matriiseilla otettuihin kuviin:

• Prismalla suurin mahdollinen väritarkkuus
• Dichroic prismoissa on parempi valonläpäisy kuin Bayer suotimissa
• Parempi kontrasti ja erottelukyky erityisesti tummilla kuva-alueilla: Prismatekniikka ottaa vastaan kolmella kuvasensorilla kaikki kameraan tulevat fotonit, kun taas Bayer-suodatin estää 2/3 fotoneista (oikeammin 2:n värin fotonit) kullekin pikselille
• Bayer-suodatin sumentaa/pehmentää reunoja ja yksityiskohtia, prismasta saadaan parempi spatiaalinen tarkkuus kun kuvasta halutaan paljon yksityiskohtia
• Prismatekniikka pystyy erottamaan värikanavat paremmin kuin Bayer-matriiseilla voi tehdä, jolloin kanavien välinen värien ylikuuluminen saadaan pienemmäksi (kts. alla kuvan harmaat alueet), jolloin värit toistuu tarkkana ja kirkkaina. Bayer-suodatin sameuttaa erityisesti päävärien välille sijoittuvaa kuvaa.
• Monisensorisessa prismajärjestelmässä voidaan säätää kuva-anturien asetuksia erikseen (kuten kolmessa erillisessä kamerassa), jolloin voidaan vaikuttaa jo kuvanottohetkellä valkotasapainoon, värien toistuvuuteen yms.

[janne.]

*Foveon, jossa valon annetaan mennä syvälle kennon sisään ja matkalla erotellaan eri värien fotonit toisistaan.

foveon vaihtaa pikselienvälisen arvuuttelun värienväliseen arpomiseen. oikeasti, ladatkaa sigman näytekuvia jostain ja avatkaa ne softalla joka ei tee minkäänlaista jatkojalostusta kuville. siinä missä bayer-kuvat on käyttökelpoisia väriprofiilitta ja joissain tilanteissa jopa ilman valkotasapainon asettamista, ovat foveon-kuvat suohirviömäisiä ilmestyksiä suoraan kennolta. värien suodatus kennon syvyyssuunnassa tarkoittaa että pelkkä vinjetointi muuttuu kirjavaksi ja vaatii monimutkaisia korjaustoimenpiteitä jos ei ole käytössä fotometrisiä korjauskuvia.

[jaava]

Kun halutaan kamera, jossa värit on oikeasti hyvät, niin tarvitaan 3 CCD-kennoa:

Compared to cameras with a single CCD, three-CCD cameras generally provide superior image quality through enhanced resolution and lower noise. By taking advantage of the separate values for red, green and blue values for each pixel, multi-sensor cameras achieve much better accuracy in the colour output than do their single-CCD counterparts.

Do you need high-precision colour, enhanced resolution and less noise?
http://www.adept.net.au/news/newsletter ... lour.shtml

Ymmärtämättä juuri enempää, niin tuosta jatkaen:
Kun lisätään vielä 2 CCD kennoa, niin saadaan kamera, joka on 5 kennoinen UV + Blue + Green + Red + IR kamera!

[niffe]

Onhan noita esimerkiksi videokameroita Panasonicilla kolmella kennolla. Samoin kuin dichroid-suodatuksella overlappingia on vähemmän ja sivuabsorptiot vähenevät.