Aikasarja-arvoitus

classic Classic list List threaded Threaded
7 messages Options
Reply | Threaded
Open this post in threaded view
|

Aikasarja-arvoitus

Kimmo Vehkalahti
Administrator
This post was updated on .
Hei,
Ajattelin piirtää kuvan eräästä aikasarjasta. Alla on luonnos ilman selityksiä. Jos joku keksii, mistä aiheesta on kysymys, voin mieluusti koettaa jatkaa tätä viestiketjua (ja kuvan piirtoa). :)



Halusin siirtää ajatuksia kohti Survo-käyttäjäyhdistyksen vuosikokousta, joka jäi keväällä pitämättä koska korona. Osa virallisista kuvioista on tehty, osa jäi jonoon.

Poikkeustilan julistamispäivänä pidimme seminaarin, jonne olimme kutsuneet Reijo Sundin alustamaan Survo R:n kuulumisista:

http://forum.survo.fi/Survo-R-seminaari-ma-16-3-2020-tp823.html

Tästä voitaisiin nyt pikku hiljaa jatkaa eteenpäin. Harmiksemme perinteinen risteilymme jäi väliin, mutta olisi kiva nähdä ja kuulla, mitä kaikkea Survo-rintamalle on kuulunut koronakevään aikana. Tukholman risteilyn sijaan on jäsenistön taholta noussut esiin ajatus risteillä (jossain vaiheessa) Riikaan (sinne avataan piakkoin uusi yhteys). Kuulen mieluusti ajatuksia myös tästä ehdotuksesta.

terv. Kimmo
Reply | Threaded
Open this post in threaded view
|

Re: Aikasarja-arvoitus

Kimmo Vehkalahti
Administrator
Korjasin vähän viestiäni, johon pääsi pujahtamaan eräitä virheitä.

Lisää tarkennuksia:

- 16.3. seminaarimme pidettiin tietenkin etäyhteyksillä eikä yliopistolla niin kuin oli tarkoitus

(Taisi muuten olla viimeinen Skype-palaverini - Zoom on sittemmin ajanut ohi Skype(i)stä.)

Meitä oli pieni mutta innokas joukko "langoilla" :) Kiitokset vielä Reijolle alustuksesta!

Viestissäni jäsenistölle olin hahmotellut samana päivänä näin:

"Sen sijaan voisi ajatella pienimuotoisempaa seminaaria (ml. ry:n vuosikokous) esimerkiksi Liikenneturvassa, Helsingin yliopistossa tai jossain muussa sopivassa paikassa loppukeväästä, riippuen tietenkin yleistilanteesta. Palataan tähän erikseen. Vapaaehtoiset Survo-iltapäiväseminaarin järjestäjät, olkaa yhteydessä!"


Yhteydenottoja ei ole ymmärrettävästi tullut, kun koronakevään ajan on ollut kaikkea muuta, kokoontumisrajoitukset yms. (En ole itsekään käynyt työhuoneellani maaliskuun alun jälkeen - oudolta tuntuu...)

Nyt voitaisiin siis palata miettimään jatkokuvioita. Olisiko elokuussa aikaa järjestää jotain? Latvia Liikenneturva? Jotain muuta? Yliopistot ovat vielä kovin suljettuja paikkoja, mutta tilanne saattaa toki muuttua elokuuhun mennessä.

Zoom-seminaarien järjestäminen (tai ainakin niihin osallistuminen) käynee useimmilta jo rutiinilla. Voitaisiin siis lyödä viisaita puhuvia päitä yhteen Zoom-mosaiikin välityksellä lomakauden jälkeen.

Hyvää keskikesää kaikille!
t. Kimmo

PS. Arvuutteluja aikasarjasta? ;) Substanssi on useimmille tuttu. Väreistä ym. kerron myöhemmin. Datan rakentaminen nosti esiin monia kiintoisia Survo-pointteja, joista kerron mielelläni jatko-osissa.

Reply | Threaded
Open this post in threaded view
|

Re: Aikasarja-arvoitus

Kimmo Vehkalahti
Administrator
(jatkan tätä "synkkää yksinpuheluani" aikasarja-arvoituksen parissa - ehkä pääsen pian koodeihin...)

aikasarja

Kyseessä on siis reilut 17 vuotta ja kaksi bensalla toimivaa VW Golf -merkkistä henkilöautoa (sininen, vm. 2003 ja musta, vm. 2011) käsittävä aikasarja näiden autojen tankkauskertoina vallinneista 95 oktaavin bensiinin litrahinnoista Suomessa (suurimmaksi osaksi Helsingissä). Tankkaukset kattavat kaikki kyseisten autojen tankkaukset sinä aikana, kun autot ovat olleet datan tallentajan hallinnassa. (Datan keruu jatkuu edelleen jälkimmäisen auton osalta.) Punaiset täpät osoittavat Suomi Meloo -kanoottiviestien aikana tehtyjä tankkauksia, jotka on maksettu kollektiivisesti; muut tankkaukset ovat autojen omistajan tahi haltijan maksamia.

Datan struktuuri näyttää seuraavalta (pari valittua palaa parista á 1300+ -rivisestä "Golf-kentästä"):

*FILE CREATE GOLF12,300,20,80,13
* BENSA: Golf1 (2003-2011) & Golf2 (2011-2020), 21.6.2020/KV
*COUNT CUR+3,z-2,cur+1 / zekkaa z! järjestä muuttujat litet bättre.
*  11
*FIELDS: (active)
*   1 N2    2 ii       tankkauskerta / Golf (1+2) (###)
*   2 N1_   2 i        tankkauskerta / Golf       (###)
*   3 NA_   8 Pvm      tankkauspäivä muodossa YYYYMMDD (########)
*   4 N1    1 Auto     1=Golf1, 2=Golf2 (#)
*   5 NA-   2 Jul      juliaanisen päivän numero (skaalattuna 1.1.2003-viitepisteeseen) (####)
*   6 SA-   3 pvä      viikonpäivä [1ma,2ti,3ke,4to,5pe,6la,7su]
*   7 N1_   4 Euro     hinta (EUR), kuitista (##.##)
*   8 N1_   4 l        määrä (l), kuitista (##.##)
*   9 N1_   4 hinta    litrahinta (EUR), VAR: Euro/l (#.###)
*  10 SA_   1 a        E=Esso Rastila,S=Shell(1:Vuosaari;2:Ala-Tikkurila),T=Teboil Itäväylä,*=ks.meta
*  11 SA_   1 b        o=oma, S=Suomi Meloo (vain Golf1)
*  12 N1_   1 c        numeric b: o=0, S=8 (!!), ks. {*} (#)
*  13 N1_   2 d        numeric c: -2=0, -1=8, ks. {*} (##)
*  14 SA_ 152 meta     sanallinen luonnehdinta tankkauksesta (sis. KAIKENLAISTA... [!!]) *private* ?!
*END
z
*FILE SHOW GOLF12
*---------------------------------------------------------------------------------
*{*} b: koodaus joskus Golf1-aikana, ilmeisesti optimointia piirroskaavion kanssa:
*VAR c=if(str(b)="S")then(-1)else(0) TO BENSA
*     replace " -1 ","  8 "
*Siihen viittaa myös c:
*-2 ja -1 ovat värikoodeja varten
*---------------------------------------------------------------------------------

Jatkan tuonnempana...
t. Kimmo
Reply | Threaded
Open this post in threaded view
|

Re: Aikasarja-arvoitus

Juha Valtonen
Hmm - entisenä bensamyyjänä sanoisin, että onpa mielenkiintoinen graafi. Täytyypi katsoa, löytyisikö itseltä dataa dieselin hinnasta...

ps. Liikenneturva edelleen potentiaalinen tapaamispaikka - neukkari on sen verran väljä, että eiköhän turvaetäisyydet tälle porukalle saada toteutettua...

Reply | Threaded
Open this post in threaded view
|

Re: Aikasarja-arvoitus

Kimmo Vehkalahti
Administrator
Jatkan tätä datapohjaista kertomusta pienen tauon jälkeen kevään 2021 etä-etätyöviikolla Kolilla.

Tähän väliin kopioin 21.6.2020 muistiin (tässä tapauksessa tuohon puheena olevaan Survon toimituskenttään) kirjaamani ad hoc -mietelmän, jonka kirvoitti tuolloin lähestynyt DigiPafos-seminaari.

Mietelmäni (nyt joiltain osin päivitettynä) kuuluu näin:

* * *

Survossa pätevät paljolti eri säännöt kuin muissa ohjelmissa (esim. R, Word, Excel, SPSS, jne.).


Miksi?

Survo on Seppo Mustosen (vsta 1962, nyk. SURVO MM) ja Reijo Sundin (vsta 2009, nyk. Survo R) tilastollismatemaattistietojenkäsittelyllinen laboratorio. Siinä pätee "valistuneen diktaattorin" malli, jossa käyttäjien kehitysehdotuksia kuunnellaan ja toteutetaan, mutta tietyt toiminnot tehdään silti juuri tietyllä tavalla eikä millään muulla tavalla.

"Survo-labran" tärkeimpiä arvoja on yhteensopivuus taaksepäin: työvaiheet on voitava toistaa täsmälleen samoin kuin ennenkin eivätkä uudet toiminnot ja mahdollisuudet saa rikkoa käyttäjien aiempia töitä (automaattisesti ajettavia "skriptejä" ym.), vaikka voivatkin tarjota niihin uusia kehitysmahdollisuuksia. Toinen ydinarvo on vapaus: Survo-käyttäjä saa tehdä työnsä omalla, haluamallaan tavalla ja kehittyä siinä kumulatiivisesti rikastaen osaamistaan ilman liiallisia ohjelmiston asettamia rajoituksia.

Tämä voi kuulostaa ristiriitaiselta ja kieltämättä se onkin. Kyseessä on kompromissi, joka antaa enemmän (kuin monet luulevat, koska eivät näe pintaa syvemmälle ennen kuin tuskastuvat) mahdollisuuksia luovuuden, omaleimaisuuden ja "tietojenkäsittelykäsialan" jatkuvalle kehittymiselle ja palkitsevalle oppimiselle. Survon käyttäjä ei koskaan joudu uudelleen aloittelijan asemaan.

Olen saanut toimia tuossa laboratoriossa vuodesta 1990 lähtien (siis yli 30 vuotta), opetellut sen käyttösäännöt aivan alkeista "laboratoriomestarin" tasolle, jonne arvioin päässeeni 1900-luvun loppuun mennessä. On ollut suuri ilo nauttia kisällioppimisesta Seppo Mustosen vierellä etenkin vuosina 1992-2000, jolloin opiskelin tilastotiedettä ja valmistuin kolmasti (VTM, VTL, VTT). Opetin itsekin Survon käyttöä Helsingin yliopistossa useilla eri kursseillani vuosina 1991-2015.

Ensiaskeleet Survon äärellä otin vuosina 1988-1990, jolloin sain seurata vierestä, kun Lauri Tarkkonen käytti Survoa mitä moninaisimpiin projekteihin ja mitä ihmeellisimmillä tavoilla (olin samoihin aikoihin aloittanut ATK-työurani, joka jatkui vuoteen 1993). Oman Survo-kopioni (silloin ohjelmisto ei ollut vielä aivan vapaasti saatavilla) sainkin Laurilta joululahjaksi vuonna 1990. Keväällä 1991 tein Juha Purasen data-analyysin kurssin harjoituksia Survolla tilastotieteen laitoksen mikroluokassa yhdessä opiskelukaverini Samuli Ripatin kanssa. Pelisääntöjen oppimisen jälkeen siirryin seuraamaan Sepon tilastollisen tietojenkäsittelyn seminaaria keväästä 1992 lähtien.

Edelleen astun tuohon kiehtovaan ja omaperäiseen laboratorioon, kun haluan tehdä jotain sellaista, missä ajatus ei saa lähteä harhailemaan sen vuoksi, että joutuisin selvittämään, miten jokin toiminto tehdään, vaan voin edetä erittäin nopeasti pitäen fokuksen varsinaisessa asiassa sekä valita jatkuvasti, usein assosiatiivisesti, mieleen tulevista vaihtoehdoista sen, joka kulloinkin tuntuu luontevimmalta, kätevimmältä ja hauskimmalta kyseisessä tilanteessa.

* * *

Tämä bensajuttu on hyvä esimerkki tuollaisesta tekemisestä. Jatketaan siis sitä taas askelen verran.

Kuvanpiirtokaaviota (ohessa myös päivitetty kuva; viimeinen tankkaus Kolinportin Nesteellä wappuaattona):

POINT_COLOR=d FILL(-1)=0,1,1,0 (red) FILL(-2)=1,1,0,0 (blue) POINT_TYPE c FILL(-3)=0,0,0,1 (black)
DEVICE=PS,K.PS FRAME=6
GRID=[color(0.1,0.1,0.1,0.1)],XY
XSCALE=1:2003,366:2004,732:2005,&
                      1097:2006,1462:2007,1827:2008,2193:2009,2558:2010,&
                      2923:2011,3288:2012,3654:2013,4019:2014,4384:2015,&
                      4749:2016,5115:2017,5480:2018,5845:2019,6210:2020,&
                      6576:2021,6941:2022,6942:?

                       file show golf12
JULIAN_DAY0=2452640 x=Julian_day-JULIAN_DAY0

DATE 1.1.2003,Julian / Wed Jan 01 2003 Julian_day=2452641 x=1
DATE 1.1.2004,Julian / Thu Jan 01 2004 Julian_day=2453006 x=366
DATE 1.1.2005,Julian / Sat Jan 01 2005 Julian_day=2453372 x=732
DATE 1.1.2006,Julian / Sun Jan 01 2006 Julian_day=2453737 x=1097
DATE 1.1.2007,Julian / Mon Jan 01 2007 Julian_day=2454102 x=1462
DATE 1.1.2008,Julian / Tue Jan 01 2008 Julian_day=2454467 x=1827
DATE 1.1.2009,Julian / Thu Jan 01 2009 Julian_day=2454833 x=2193
DATE 1.1.2010,Julian / Fri Jan 01 2010 Julian_day=2455198 x=2558
DATE 1.1.2011,Julian / Sat Jan 01 2011 Julian_day=2455563 x=2923
DATE 1.1.2012,Julian / Sun Jan 01 2012 Julian_day=2455928 x=3288
DATE 1.1.2013,Julian / Tue Jan 01 2013 Julian_day=2456294 x=3654
DATE 1.1.2014,Julian / Wed Jan 01 2014 Julian_day=2456659 x=4019
DATE 1.1.2015,Julian / Thu Jan 01 2015 Julian_day=2457024 x=4384
DATE 1.1.2016,Julian / Fri Jan 01 2016 Julian_day=2457389 x=4749
DATE 1.1.2017,Julian / Sun Jan 01 2017 Julian_day=2457755 x=5115
DATE 1.1.2018,Julian / Mon Jan 01 2018 Julian_day=2458120 x=5480
DATE 1.1.2019,Julian / Tue Jan 01 2019 Julian_day=2458485 x=5845
DATE 1.1.2020,Julian / Wed Jan 01 2020 Julian_day=2458850 x=6210
DATE 1.1.2021,Julian / Fri Jan 01 2021 Julian_day=2459216 x=6576
DATE 1.1.2022,Julian / Sat Jan 01 2022 Julian_day=2459581 x=6941

SIZE=1800,1000
   *kynä=[Swiss(08)][BLACK][move(0,0)][rot(0)] LINETYPE=*kynä PEN=*kynä

XDIV=2,15,1  YLABEL=[move(-100,-500)][rot(90)],95E-bensiinin_hinta_(EUR/litra)
YDIV=1,9.5,1.5   XLABEL=
FRAME=6
YSCALE 0.95:?,1:1.0,1.1(0.1)1.9,1.95:?
YSCALE=1:1.0,1.1(0.1)1.9,1.901:?
TREND [color(0.2,0.2,0.2,0.2)][line_width(3.5)],0
hintaPOINT=[line_width(1.0)],0,5
LINE=1 tasoitusLINE=[color(0.0,0.1,0.0,0.0)][line_width(4.5)],1 ,1,LOWESS

HEADER=[Swiss(15)],____95E:_Golf1_(21.2.2003_-_15.10.2011)_+_Golf2_(21.10.2011_-_30.4.2021)

FILE SHOW GOLF12
PLOT GOLF12 Jul hinta tasoitus
EPS K.PS K.EPS
>EPSTOPDF K.EPS
/OPEN K.PDF



Reply | Threaded
Open this post in threaded view
|

Re: Aikasarja-arvoitus

Juha Valtonen
Hitsi,
kaipaan Survo-seminaareja, joissa oli tilaisuus nähdä eri "laboratoriomestarien" survo-käsialoja.
Niistä oppi aina jotain uutta, jota voi itsekin hyödyntää.
Tässäkin Kimmon esimerkissä tuo DATEn hyödyntäminen ja sen perässä samalla rivillä x:n laskenta,
ei ollut minulla "työkalupakissa". Mutta nyt on.
 Itse opin erityisesti arvostamaan "taaksepäin yhteensopivuutta", kun palasin 17 vuoden kierroksen jälkeen käsittelemään samoja datoja. Oli ilo huomata, miten parikymmentä vuotta aikaisemmin työstetyt proseduurit ja kuvat oli helposti hyödynnettävissä, eikä tarvinnut keksiä pyörää uudestaan.
Reply | Threaded
Open this post in threaded view
|

Re: Aikasarja-arvoitus

Kimmo Vehkalahti
Administrator
In reply to this post by Kimmo Vehkalahti
Survo-Käyttäjäyhdistyksen vuosikokousseminaarin (15.6.2022) innoittamana päivitys bensakuvastani:



Y-asteikkoa on joutunut sattuneesta syystä päivittämään rajusti. Toinen muutos piirroskaavioon on muuttujien piirtojärjestyksen vaihtaminen (paremman näköinen, kun tasoitusviiva on alla):

PLOT GOLF12 Jul tasoitus hinta            / tasoitus piirretään ensin, sitten hinta! (22.5.2022)

Palaan myöhemmin seminaarimme anteihin. Toivon myös muilta esittäjiltä pieniä kirjoituksia tänne.

Hyvää kesää kaikille!
t. Kimmo

PS. Survon historiaa valottavaan julkaisuluetteloon on lisätty Petri Kuljuntaustan (2021) artikkeli, joka kertoo mm. eräästä elektronisen musiikin pioneerista. Arvaatteko, kenestä? :) Lukekaa:
https://survo.fi/julkaisut/