Mdfa Forex

Real-Time Signalextraction (MDFA) og Algoritmisk Trading Presentasjon på tema: Real-Time Signalextraction (MDFA) og Algoritmisk Trading Presentasjon transkripsjon: 1 Real-Time Signalextraction (MDFA) og Algoritmic Trading marc. wildizhaw. ch blog. zhaw. chidpsefblog idp. zhaw. chusri idp. zhaw. chMDFA-XT idp. zhaw. chsef 2 Bakgrunnshybrid mathekon. IDP-ZHAW Prosjekter med econ. partnere Økonomiske prognoser Helseøkonomi (kostnadsutgifter) Makro (real-time økonomiske indikatorer: EURI Eurostat-prosjekt) Finansiering (MDFA-XT, stor hedgefond) Ingeniørvirksomhet (Telecom, lastprognoser) Eclecticdisparate utvalg av applikasjoner Felles metodisk tilnærming Intern utviklinger: (M) DFA R-pakke signaluttrenging på CRAN 3 En klassisk algoritmisk handelsmetode Timing System SP500 Daglig tilkobling MA (200), likevektet 6 Hvorfor handler ofte AdoptPrefer Filter Crossings Filteregenskaper Hvorfor MDFA blog. zhaw. chidpsefblogindex. phparchives54- Intermezzo-Why-do-Traders-Ofte-Overvei-Crossings-of - Trading-Filter-Pairs. html 8 Filteregenskaper Amplitudefunksjon: Hvilket signal trekkes ut Tidskift: Hvor stor er forsinkelsen 11 Konklusjoner Crossing-rules er (en unødvendig tunge måte å implementere) bandpass filtre Kryssningsregler (bandpass) har små forsinkelser Hvorfor MDFA Fleksibel effektiv realtid (bandpass) design Rask og glatt 16 Konklusjon Damp eller avoi d alle massive nedgang i nedgangstiden effektivt Ideell for risikovillige investorer (pensjonsmidler) Fundamental handel: virkelig ute av prøve Fokus på makrodata (ignoreres finansdata) NBER Ulempe: utilstrekkelig aktiv Texto: Svakere å rettferdiggjøre avgifter 25 Konklusjon Høyere handel frekvenser er knyttet til Bandpass forskjøvet til høyre Mer fleksibel enn tradisjonelle filterkryssinger Mindre forsinkelseskift 27 Innstilling Totale degenerative handelskostnader på 0,3 per ordre (lite fond) Langt ingen Ingen risikofrie renter 33 Konklusjoner Høyere handelsfrekvenser er knyttet til liten reduksjon av ytelse Større nedtrapinger USRI ville unngå nedslagninger, og ytelsen ville da øke Økt markedsaktivitet (avgifter) Kombinasjon med USRI mulig (anbefalt) Filtre vil være tilgjengelig online i slutten av juli 35 Excel-veiledning på SEF-Blog-bloggen. zhaw. chidpsefblogindex. php archives65-Real-Time-Detection-of-Turning-Points-a-Tutorial-Del-I-Mean Square-Feil-Norm. htmlblog. zha w. chidpsefblogindex. php archives65-Real-Time-Detection-of-Turning-Points-a-Tutorial-Del-I-Mean Square-Error-Norm. html blog. zhaw. chidpsefblogindex. php arkiver67-sanntidsdeteksjon - Virkning-poeng-en-opplæring-del-II-Emphasizing-Turning-Points. htmlblog. zhaw. chidpsefblogindex. php arkiver67-Real-Time-Detection-of-Turning-Points-a-Tutorial-Del II - Emphasizing-Turning-Points. html 36 Formål Yoga-øvelser for å løsne fra hovedstrømmenes maksimal sannsynlighet verden Første blogginngang: hvordan tradisjonell økonometrisk tilnærming fungerer Intuitivt grei God (optimal) gjennomsnittlig kvadratforestillinger Folk har blitt dovent Andre blogginngang : Tidlig gjenkjenning av vendepunkter Er en (sterkt) counterintuitive øvelse Genererer tilsynelatende (sterkt) feilpekerte filterdesigner Advarselslæring (belysning) 40 Standardøkonometrisk tilnærming Fremgangsmåte: Identifiser en tidsseriemodell (ARIMAstate-rom) Utvide serien ved hjelp av optimale prognoser Bruk det symmetriske filteret på forlenget tid s erobrer X-12-ARIMA, TRAMO, STAMP, RS-krav: Ensidig filter er optimal (gjennomsnittlig kvadratisk forstand) Forutsetning: DGPtrue-modell 47 En tilsynelatende kraftig design (høydekorrelasjon) Korrelasjon mellom sanntids estimat og syklus som en funksjon av tidsforsinkelse k 57 Konklusjoner Tilsynelatende feil spesifisert design er raskere jevnere (mindre falske TPer eller alarmer) Ikke gjennomsnittlig-kvadrat optimal Mye bedre i et TP-perspektiv 58 Fra Excel til MDFA Tweak filterparametere ved hånd i Excel Opplæringsfeil Eksempel Urealistisk enkelt kunstig simuleringsøvelse I praksis: mer komplekse gener og signalsignaler Inkluder informasjon fra flere tidsserier (multivariat rammeverk) Ønske: et formelt optimaliseringskriterium Velkommen til DFA og MDFA 61 Optimaliseringskriterium (I (0)) Minimer et (jevnt) superkonsistent estimat av et (jevnt) effektivt estimat av filteret middelfirkantfeil (tilpasset) Effektiviteten kommer eksplisitt i utformingen av optimaliseringskriteriet 62 sa du andor Mean Periodogra m Periodogram er et typisk eksempel på statistisk bashing. Inkonsistent estimat av spektral tetthet Utjevning (parametrisk eller ikke parametrisk) Periodogram har fantastiske statistiske egenskaper. Tilstrekkelig (Larry Brethorst). En kan utlede gode formelle effektivitetsresultater i sanntidssignalekstraksjon. Arbeide med en serie av Nye blogginnlegg om emnet for å rehabilitere til en viss grad - Periodogrammet 63 Utførelser (Effektivitet av Univariate DFA) Bedriftsundersøkelsesdata (KOF, FED, 2004,2005) X-12-ARIMA, TramoSeats MSE-gevinst 30 US - og Euro - BNP (2008): CF-vendepunkter forventet med 1-2 kvartaler ESI (2006): Dainties TPs oppdaget 2-3 måneder tidligere 64 Prestasjoner (Effektivitet) ved å stole på periodogrammet TP-filtre vant NN3 (2007) og NN5 (2008) ) prognosekonkurranser (60 deltakere) IIF og University of Lancaster Månedlige makro - og finansdata (111 tidsserier) og daglige økonomiske data (111 tidsserier) Utmerket vinner og runner-up av prestisjetunge M3-konkurranse, X-12-ARIMA , Tramo, Forecast-Pro, Autobox, Eksponensiell utjevning: Enkel, Holt, Dampet, Neuralnett, Kunstig intelligens blog. zhaw. chidpsefblogblog. zhaw. chidpsefblog 66 Kontrollere tidsforsinkelsen (Tilpassing) 1: Legg vekt på tidsforsinkelsen i pass - band 1: beste nivåfilter 1: Legg vekt på tidsforsinkelsen i passbåndet 1: beste nivåfiltretittel Kontroll av tidsforsinkelsen (Tilpasning) 1: Legg vekt på tidsforsinkelsen i passbåndet 1: beste nivåfilter 67 Tilpasning: Kontrolltid forsinkelse og jevnhet Sterkere demping av høyfrekvent støy i stoppbånd Mindre tidsforsinkelser i passbåndet W () er monotoniske (økende) og 1 1 tittelKustomisering: Kontroller tidsforsinkelse og glatthet Sterkere demping av høyfrekvent støy i stoppbånd Mindre tidsforsinkelser i passbåndet W () er monotoniske (økende) og 1 74 Effektivitet (Theorem 4.1, Wildi2008, WildiSturm2008) Feiltermen e T er minst mulig jevnlig Ensartet effektivitet Tilpasning 75 Optimal (Effektiv) Kriterium under Cointeg ration (Rank1) Filterrestriksjoner er oppfylt 76 Utførelser MDFA Output-gap US - og Euro-GDP (2008): CF og multivariate CF-vendepunkter forventes med 1-2 kvartaler USRI Outperformed Markov-switching (Chauvet, ChauvetPiger), Dynamisk faktor modeller (CFNAI), statlige rommodeller (ADS), Hodrick-Prescott (OECD-CLI), Christiano-Fitzgerald SEF-Blog MDFA-XT EURI 77 ADVARSEL. DETTE ER IKKE EN PUSH-THE-BUTTON TILBAKE Formel 1 racer: den kan være rask (Ferrari) og pålitelig (Mercedes), men du må finjustere den nøye: FerradesMercearri Filter design (ZPC) Filterbegrensninger (understreke frekvens null) Forstå tolkning: intelligens 2008-Bok: idp. zhaw. chsefidp. zhaw. chsef Glad for å gi støtte gitt økonomiske incentiver 79 marc. wildizhaw. ch blog. zhaw. chidpsefblog Illustrer metodologiske problemer ved å stole på virkelige prosjekter med økonomiske partnere idp. zhaw. chusri Real - Tid US Resesjon Indikator idp. zhaw. chMDFA-XT Eksperimentell Trader for MSCI Emerging Markets Filtre på nettet sent juli idp. zhaw. chsef Signal Extraction Forecasting Site bøker, artikler, SoftwareHigh-Frequency Financial Trading på FOREX med MDFA og R: En Eksempel på den japanske yenen Denne siste oppføringen av Chris er spesielt i den forstand at han stoler på min open source MDFA-pakke (i stedet for iMetrica) for å generere handelssignaler, se 1. Derfor er resultatene reproduserbare. Chris gjorde en flott replikeringsarbeid, se nedenfor: Onsdag 20: Jeg la til R-koden som endret av Chris for å fortsette til replikering. Det som følger er Chris8217email, kutt og limt fra serveren min: quotSo Jeg har nettopp fullført den etterlengtede introduksjonsveiledningen om hvordan man bygger handelssignaler ved hjelp av MDFA og R for høyfrekvente data. Det er ikke så mange hemmeligheter å skjule her, som det jeg gjorde i R med koden din, er primært den samme rutinen jeg tar for å bygge mine handelssignaler i iMetrica (bortsett fra at jeg kan gjøre ting mye mye raskere i sistnevnte8230 og ok, der er bare noen få små hemmelige sauser som I8217m bruker og ikke ennå villig til å lekke ut før I8217m er ansatt). Men så langt som dette eksemplet med yenen går, bør alt (bør) være reproduserbart hjemme ved hjelp av en (litt modifisert) versjon av koden din. Her er artikkelen 1. En utfordring som jeg møtte i å bygge disse eksemplene, kom fra å sammenligne dem med mine resultater jeg får i iMetrica. Dessverre var resultatet i utgangspunktet ikke det samme. Etter å ha blitt litt frustrert, tok jeg det forsiktige arbeidet med å finne ut hvorfor min MDFA rutiner i C er forskjellige fra din i R. Mine er kodet på en mye mer optimalisert og effektiv måte å oppnå den raskeste hastigheten mulig (takket være en rask apofeni optimalisering pakke for å montere matriser og løse for koeffisienter). Men sluttresultatene skal likevel være likeverdige. Etter en dag med å navigere gjennom begge eller våre MDFA-implementeringer, fant jeg ut hvorfor de ikke er ekvivalente (og jeg endret dem i koden din). Her er forskjellene (som jeg kan huske) fra implementeringen min og din (fra novemberutgaven din): 8211 Computing the DFTs. Av en eller annen grunn, ved nullfrekvensen, bruker du ikke gjennomsnittet av dataene. Du har bare satt den til null. Ikke sikker på om du forlot dette ut ved et uhell eller med vilje, men jeg bruker gjennomsnittet. Også, jeg deler DFT-verdiene med konstanten (pin) hvor n er antall observasjoner i tidsserier. 8211 I definisjonen av decay1-parameteren synes du don8217t å bruke tan-funksjonskartleggingen. Jeg gjorde. 8211 Den største forskjellen er i definisjonen av utjevningsfunksjonen (definert av expweight). For det første deler du expweight med 2, jeg deler med 10. Ikke en stor avtale. Den store avtalen er dette. Min definisjon av den skiftede effektfunksjonen er en funksjon av frekvensverdien (dermed fra 0 opp til 3,14). Din er en funksjon av plasseringen av frekvensverdien, mellom 0 og K. Dette gjør en stor forskjell. Jeg foretrekker å definere effektfunksjonen i forhold til frekvensverdien og ikke indeksen. Etter at jeg endret disse var resultatene stort sett de samme, men ikke eksakte. Når man ser på den endelige matrisen (ved å løse Axb for koeffisientene) etter å ha brukt regularisering og tilpasning, ser det ut til at verdiene i matrisen A er av en faktor på ca. 10. Min intuisjon er at den komplekse eksfunksjonen i R og C beregnes litt annerledes (betterworse presisjon, jeg vet ikke). Så jeg er ikke sikker på om dette er noe vi alltid kan løse. Men I8217m er ikke bekymret, da sluttresultatene er så nært. Faktisk har det ikke påvirket noen av handlingene i eksemplene jeg viser, de var de samme i iMetrica. Og det er det viktigste. Uansett, kan jeg sende deg min versjon av koden din hvis du vil, slik at folk kan laste den ned for å prøve eksemplene. Eller du kan vurdere disse endringene og gjøre dem permanente i fremtidige versjoner av MDFA. Gi meg beskjed, og nyt artikkelen. Sitat Du jobber for hardt, gamle chap. Håret ditt har vært R-farget R-veving og R-børsting kommer også i sinnet. Forresten måles konsistensen omvendt: iMetrica skal kunne replikere I-MDFA som er referansen. Min MDFA-kode som endret av Chris (se ovenfor kommentarer) DFT. r. I8217m jobber alltid med sentrert serie, derfor er DFT i frekvens null null (it8217s proporsjonal med gjennomsnittet). Chris ser ikke ut til å jobbe med sentrert serie: DFT er forskjellig fra null i freq. null. I-MDFAnew. r. Det ser ut til at expweight amplitude-vekting har blitt endret og jeg antar at lambda-forfallstiden har blitt endret også. Vær oppmerksom på at jeg ikke endrer min nyeste I-MDFA-versjon: De ovennevnte endringene er nyttige hvis du vil kopiere Chris8217-resultater (men jeg holder meg i min versjon). For å kunne utføre replikasjon, må du kreve data fra ham. Legg igjen en kommentar Avbryt svarMontert Arkiv: Februar 2013 Her er det, de nye elementene-vade-mecum (gitt dokumentets lengde er det knapt et papir lenger): 9. februar: Jeg la til en ny del 11.9 på data revisjoner som bygger på et 2011-papir som er postet her 0. Dette problemet kan løses av det nye samkompensasjonsramme fordi datautgivelser kan kobles parvis gjennom samvirkningsvektoren (1, -1). 11. mars: Jeg korrigerte feilen i definisjonene 23 og 24 (takket være en oppmerksom student). Alt du noensinne har ønsket å vite om (co) integrasjon og sanntidsfiltrering er pakket inn i seksjoner 9 og 11 Oh, du vil elske dette nye materialet. It8217s om universelle (tautologiske) nummeridentiteter, som holder uavhengig av forutsetninger, det handler også om et enkelt statistisk utfall, nemlig superkonsistens og it8217s om effektivitet. En kamp mellom det platonske idealet og Mercantile opportunismen: Gjett på hvilken side I8217m posisjonert8230 Jeg har et første utkast av elementene-papir klar. Men holly-golden-cow: dette var en ganske hard kamp. Dette nye materialet fører til en meget betydelig revisjon av elementene papir: de gamle delene forblir upåvirket 8211 de er for gode til å bli endret8230 8211, men jeg måtte gi en betydelig mengde tekniske matematiske detaljer for å rettferdiggjøre MDFA fra en dypere filosofisk8217 (som omfatter matematisk8217) perspektivet. Jeg trenger litt tid til å la ting settes inn: når jeg er klar8217 I8217ll legger inn det nye elementarkapiret. Snart. Veldig snart. Å, min Gud: dette var vanskelig. Hvis det var vanskelig å skrive, så vil det være så vanskelig å lese for deg8230 Papiret oppblåst til over 80 sider. Det blir en bok8230 Og dette er akkurat min hensikt. Etter 2005 og 2008 er det tid for en ny bok. Neste år. Og elementene-papiret blir et bokutkast. Ginters Buss fra den latviske nasjonalbanken har et interessant papir om I-MDFA, se 1. Og her er en direkte kobling til papiret på SEFBlog:.Figur 1: In-sample (observasjoner 1-250) og utestengning av handelssignalet som ble bygget i denne opplæringen ved hjelp av MDFA. (Topp) Logprisen på Yen (FXY) i 15 minutters intervaller og handler generert av handelssignalet. Her svart linje er et kjøp (lang), blå er selger (kort stilling). (Bunn) Avkastningen akkumulert (kontant) generert av handelen, i prosent oppnådd eller tapt. I min tidligere artikkel om høyfrekvent handel i iMetrica på FOREXGLOBEX. Jeg introduserte noen robuste signalutvinningsstrategier i iMetrica ved hjelp av den multidimensjonale direktefiltreringsmetoden (MDFA) for å generere signaler for høy ytelse for handel på valutamarkedet og Futures-markedet. I denne artikkelen tar jeg en kort permisjon fra min verden av å utvikle finansielle handelssignaler i iMetrica, og migrere til et uber-populært språk som brukes i økonomi på grunn av sin utrolige rekke pakker, rask datahåndtering og grafisk håndtering, og av følg det faktum at it8217s er gratis (som i tale og øl) på nesten alle datamaskiner i verden. Denne artikkelen gir en innledende veiledning om bruk av R for høyfrekvent handel på FOREX-markedet ved hjelp av R-pakken for MDFA (tilbys av Herr Doktor Marc Wildi von Bern) og noen strategier som I8217ve utviklet for å generere økonomisk robuste handelssignaler. For denne opplæringen vurderer jeg det andre eksemplet som ble gitt i min forrige artikkel, der jeg konstruerte et handelssignal for 15 minutters loggutbytte av den japanske yenen (fra åpning av klokke til markedstengt EST). Dette presenterte litt nye utfordringer enn før, da de nærvarende hoppevariasjonene er mye større enn de som genereres av timelønn eller daglig avkastning. Men som jeg demonstrerte, utgjorde disse større variasjonene på nært pris ingen problemer for MDFA. Faktisk utnyttet den disse hoppene og gjorde store profitt ved å forutsi hoppens retning. Figur 1 øverst i denne artikkelen viser in-sample (observasjoner 1-250) og ut-av-prøve (observasjoner 251 videre) ytelse av filteret jeg skal bygge i første del av denne opplæringen. Gjennom denne opplæringen prøver jeg å kopiere disse resultatene jeg bygget i iMetrica, og utvide dem litt med R-språket og implementeringen av MDFA tilgjengelig her. Dataene vi vurderer er 15-minutters logg-retur av Yen fra 4. januar til 17. januar, og jeg har dem lagret som en. RData-fil gitt av ldfxyinsamp. Jeg har en ekstra forklarende serie innebygd i. RData-filen som I8217m bruker til å forutsi prisen på yenen. I tillegg vil jeg også bruke pricefxyinsamp som er loggprisen på Yen, brukt til å beregne utførelsen (buysells) av handelssignalet. Ldfxyinsamp vil bli brukt som in-sample data for å konstruere filter og handelssignal for FXY. For å skaffe seg disse dataene, slik at du kan utføre disse eksemplene hjemme, send meg en e-post og I8217ll alle nødvendige. RData-filer (in-sample og out-of-sample data) i en. zip-fil. Med et raskt blikk på ldfxyinsamp-dataene, ser vi loggen returnerer av yenen hvert 15. minutt ved åpning av markedet (tidssone UTC). Måldataene (Yen) er i den første kolonnen sammen med de to forklarende seriene (Yen og et annet aktiv som er integrert med Yen-bevegelse). gt head (ldfxyinsamp), 1, 2, 3 2013-01-04 13:30:00 0.000000e00 0.000000e00 0.0000000000 2013-01-04 13:45:00 4.763412e-03 4.763412e-03 0.0033465833 2013-01-04 14:00:00 -8.966599e-05 -8.966599e-05 0.0040635638 2013-01-04 14:15:00 2.597055e-03 2.597055e-03 -0.0008322064 2013-01-04 14:30:00 -7.157556e - 04 -7.157556e-04 0.0020792190 2013-01-04 14:45:00 -4.476075e-04 -4.476075e-04 -0.0014685198 Ved å fortsette å bygge det første handelssignalet for yenen begynner vi å laste opp dataene til R-miljøet vårt, definere noen innledende parametere for MDFA-funksjonen samt beregne DFT-ene og periodogrammet for yenen. Som I8217ve nevnt i mine tidligere artikler, begynner min trinnvise strategi for å bygge handelssignaler alltid ved en rask analyse av periodogrammet av aktivet som handles på. Ved å holde nøkkelen til å gi innblikk i egenskapene til hvordan aktivet handler, er periodogrammet et viktig verktøy for å navigere hvordan uttrekkeren velges. Her ser jeg etter hovedspektraltopp som samsvarer med tidsdomene til hvordan og hvor signalet mitt vil utløse buysell-handler. Figur 2 viser periodogrammet for 15-minutters loggenavkastning av den japanske yenen i prøveperioden fra 4. januar til 17. januar 2013. Pilene peker på hovedspektretallene jeg ser etter og gir veiledning til hvordan jeg vil definere min funksjon. De svarte stiplede linjene indikerer de to frekvens cutoffene som jeg vil vurdere i dette eksempelet, det første vesen og det andre på. Legg merke til at begge cutoffs er satt direkte etter en spektral topp, noe som jeg anbefaler. I høyfrekvent handel på FOREX ved hjelp av MDFA, som vi ser på, er trikset å oppsøke spektralspissen som står for den nært åpne variasjonen i prisen på utenlandsk valuta. Vi ønsker å dra nytte av denne spektrale toppen da dette er hvor de store gevinsten i valutahandel med MDFA vil skje. Figur 2: Periodogram av FXY (japansk yen) sammen med spektral topper og to forskjellige frekvens cutoffs. I vårt første eksempel betrakter vi den større frekvensen som cutoff for ved å sette den til (høyre linje i figurogrammet). Da satte jeg i utgangspunktet tids - og glattparametrene, og eksp vekt til 0 sammen med å sette alle reguleringsparametrene til 0 også. Dette vil gi meg et barometer for hvor og hvor mye å justere filterparametrene. Ved valg av filterlengde har mine empiriske studier over mange eksperimenter i å bygge handelssignaler ved hjelp av iMetrica vist at et 8216good8217 valg er hvor som helst mellom 14 og 15 av den totale prøveperioden for tidsseriedataene. Selvfølgelig er lengden avhengig av frekvensen av dataobservasjonene (det vil si 15 minutter, hver dag, daglig osv.), Men generelt vil du sannsynligvis aldri trenge mer enn å være større enn 14 i prøveeksemplarstørrelsen. Ellers kan regularisering bli for tungt å håndtere effektivt. I dette eksemplet er den totale prøveeksemplarlengden 335, og dermed angir jeg hvilken I8217ll holder fast i resten av denne opplæringen. I alle fall er lengden på filteret ikke den mest avgjørende parameteren å vurdere i å bygge gode handelssignaler. For et godt robust utvalg av filterparametrene par med passende forklarende serier, bør resultatene av handelssignalet med sammenlignet med, si, neppe avvike. Hvis de gjør det, er parameteriseringen ikke robust nok. Etter å ha lastet opp både datainnsamlingslogg-returdata sammen med den tilhørende loggprisen på yenen for å beregne handelsytelsen, fortsetter vi i R for å angi innledende filterinnstillinger for MDFA-rutinen og deretter beregne filteret ved hjelp av IMDFAcomp-funksjonen. Dette returnerer både imdfaamp-objektets holdekoeffisienter, frekvensresponsfunksjoner og statistikk over filter, sammen med signalet som er produsert for hver forklarende serie. Vi kombinerer disse signalene for å få det endelige trading-signalet i prøven. Alt dette gjøres i R som følger: De resulterende frekvensresponsfunksjonene til filteret og koeffisientene er plottet i figuren nedenfor. Figur 3: Frekvensresponsfunksjonene til filteret (topp) og filterkoeffisientene (under) Merk at overflaten av støy som fremdeles er tilstede, passerer cutofffrekvensen. Dette blir mollified ved å øke expweight glatthet parameter. Koeffisientene for hver forklarende serie viser noe korrelasjon i bevegelsen når lagene øker. Jevnheten og forfallet av koeffisientene etterlater imidlertid mye å være ønsket. Vi vil rette opp dette ved å innføre regulariseringsparametere. Plottene av samplingshandelssignalet og ytelsen i prøven av signalet er vist i de to figurene under. Legg merke til at handelssignalet opptrer ganske pent i prøven. Men ser kan være lure. Denne fantastiske prestasjonen skyldes i stor grad et filtreringsfenomen som kalles overfitting. Man kan utlede at overfitting er skyldige her, ved bare å se på koeffisientens uskjønhet, sammen med antall frigjorte frihetsgrader, som i dette eksemplet er omtrent 174 (ut av 174), altfor høyt. Vi ønsker å få dette nummeret på rundt halvparten av total frihetsgrader (antall forklarende serier x L). Figur 4: Handelssignalet og returdataene til Yen. Utførelsen i dette filteret viser hvilken type resultater vi ønsker å se etter at regularisering er brukt. Men nå kommer det for de nyskapende effektene av overfitting. Vi bruker disse filterkoeffientene til 200 15-minutters observasjoner av yenen og den forklarende serien fra 18. januar til 1. februar 2013 og sammenligner med karakteristikkene i prøven. For å gjøre dette i R, legger vi først dataene utenfor prøven i R-miljøet, og bruker deretter filteret til dataene utenfor data som jeg definerte som xout. Plottet i figur 5 viser det utgående samhandelssignalet. Legg merke til at signalet ikke er nesten så glatt som det var i prøven. Overskridelse av dataene i enkelte områder er også åpenbart til stede. Selv om signalets overmonteringskarakteristikker for signalet ikke er grusomt mistenkelige, ville jeg ikke stole på dette filteret for å produsere sterkt avkastning i det lange løp. Figur 5. Filter på 200 15 minutters observasjoner av Yen utenfor prøven for å produsere handelssignal (vist i blått). Etter den forrige analysen av middelkvadrat-løsningen (ingen tilpasning eller regulering) fortsetter vi nå å rydde opp problem med overfitting som var tydelig i koeffisientene sammen med å forstyrre støyen i stoppbåndet (frekvenser etter). For å velge parametrene for utjevning og regularisering, er en fremgangsmåte først å bruke glatthetsparameteren først, da dette vanligvis vil jevne koeffisientene mens de fungerer som en 8216pre8217-regulator, og deretter fortsette å velge passende reguleringskontroller. Når vi ser på koeffisientene (figur 3), kan vi se at det er nødvendig med en jevn utjevning, med bare en liten følelse av forfall. For å velge disse to parameterne i R, er det ett alternativ å bruke Troikaner optimizer (funnet her) for å finne en passende kombinasjon (jeg har en hemmelig sausalgoritmisk tilnærming jeg utviklet for iMetrica for å velge optimale kombinasjoner av parametere gitt en ekstraktor og en ytelsesindikator , selv om det er langvarig (selv i GNU C) og tungvint å bruke, så jeg foretrekker vanligvis den strategien som diskuteres i denne opplæringen). I dette eksemplet begynte jeg ved å sette lambdasmooth til .5 og forfallet til (.1, .1) sammen med en ekspansjonsjevnhetsparameter satt til 8,5. Etter å ha sett koeffisientene, var det fortsatt ikke så jevn, så jeg fortsatte å legge til mer til slutt å nå .63, som gjorde kunsten. Jeg valgte lambda for å balansere effektene av utjevningens ekspansjon (lambda er alltid den siste utvei tweaking parameteren). Figur 6 viser den resulterende frekvensresponsfunksjonen for begge forklarende serier (Yen i rød). Legg merke til at den største spektraltoppen funnet rett før frekvensavgrensningen på er understreket og litt forringet (verdi nær .8 i stedet for 1,0). De andre spektraltoppene nedenfor er også til stede. For koeffisientene ble bare nok utjevning og forfall anvendt for å holde lag, syklisk og korrelert struktur av koeffisientene intakt, men nå ser de seg mye bedre ut i deres glatte form. Antallet frigjorte frihetsgrader er redusert til ca. 102. Figur 6: Frekvensresponsfunksjonene og koeffisientene etter regulering og utjevning er påført (topp). De glatte koeffisientene med liten forfall på slutten (bunnen). Antall frigjorte frihetsgrader er ca. 102 (ut av 172). Sammen med en forbedret frigjort frihetsgrader og ingen tilsynelatende ødeleggelse av overfitting, bruker vi dette filteret ut av prøven til de 200 observasjoner utenom prøven for å verifisere forbedringen i strukturen av filterkoeffisientene (vist nedenfor i Figur 7). Legg merke til den enorme forbedringen i egenskapene til handelssignalet (sammenlignet med figur 5). Overskridelsen av dataene er eliminert, og signalets generelle glatthet har blitt betydelig forbedret. Dette skyldes det faktum at we8217ve utryddet tilstedeværelsen av overfitting. Figur 7: Utgående samhandelssignal med regularisering. Med alle indikasjoner på et filter utstyrt med nøyaktig de egenskapene vi trenger for robusthet, bruker vi nå handelssignalet både i prøven og ut av prøven for å aktivere buysell-handler og se utførelsen av handelskontoen i kontantverdi. Når signalet krysser under null, selger vi (skriv inn kort posisjon) og når signalet stiger over null, kjøper vi (angi lang posisjon). Toppplottet i figur 8 er loggprisen på yenen i 15 minutters intervaller, og de stiplede linjene representerer nøyaktig hvor handelssignalet genererte handler (kryss null). De svarte punkterte linjene representerer et kjøp (lang posisjon) og de blå linjene indikerer en selg (og kort posisjon). Legg merke til at signalet spådde alle de nært åpne hoppene for yenen (delvis takket være den forklarende serien). Dette er akkurat det vi skal streve for når vi legger til regularisering og tilpasning til filteret. Kontantkontoen for handler over prøveperioden er vist nedenfor, der transaksjonskostnadene ble satt til .05 prosent. I prøven oppnådde signalet omtrent 6 prosent i løpet av 9 handelsdager og et 76 prosent trading suksessforhold. Figur 8: Prøveutførelse av det nye filteret og handlingene som genereres. Nå for den ultimate testen for å se hvor godt filteret utfører med å produsere et vinnende handelssignal, brukte vi filteret på 200-minutters-minutt-observasjonen av yenen og den forklarende serien fra 18. januar til 1. februar og lagde handler basert på null krysset. Resultatene er vist nedenfor i figur 9. De svarte linjene representerer kjøper og blå linjer som selger (shorts). Legg merke til at filteret fortsatt er i stand til å forutsi lukkede hopp selv ut av prøven takket være regulariseringen. Filteret gir bare tre små tap på mindre enn .08 prosent hver mellom observasjonene 160 og 180 og et lite tap i begynnelsen, med et utgangsmessig handelssuksessforhold på 82 prosent og et avkastning på litt over 4 prosent over 9-dagers intervallet. Figur 9: Utførelse av det regulerte filteret på 200 ut av prøve 15 minutters retur av yenen. Filteret oppnådde 4 prosent ROI over de 200 observasjonene og et 82 prosent handels suksessforhold. Sammenlign dette med resultatene oppnådd i iMetrica ved å bruke de samme MDFA parameterinnstillingene. På figur 10 vises både prøveutførelsen og utvalget av ytelser. Ytelsen er nesten identisk. Figur 10: Yen-filteret i iMetrica i prøven og uten prøving. Nesten identisk med ytelsen som er oppnådd i R. Nå tar vi en stakk ved å produsere et annet handelsfilter for yenen, bare denne gangen ønsker vi å identifisere bare de laveste frekvensene for å generere et handelssignal som handler sjeldnere, bare søker de største syklusene. Som med ytelsen til det forrige filteret, ønsker vi fortsatt å målrette mot frekvensene som kan være ansvarlige for de store, nær-åpne variasjonene i prisen på Yen. For å gjøre dette, velger vi vår cutoff for å være som effektivt vil holde de største tre spektraltallene intakt i low-pass-bandet av. For dette nye filteret holder vi det enkle ved å fortsette å bruke de samme reguleringsparametrene som ble valgt i det forrige filteret, da de syntes å gi gode resultater utenom prøven. Justeringsparametrene og ekspansjonsparametrene må imidlertid justeres for å ta hensyn til de nye støydempningskravene i stoppbåndet og fasegenskapene i mindre passbåndet. Dermed øker jeg utjevningsparameteren og reduserer aktualitetsparameteren (som bare påvirker passbåndet) for å ta hensyn til denne endringen. De nye frekvensresponsfunksjonene og filterkoeffisientene for denne mindre lowpass-konstruksjonen er vist nedenfor i figur 11. Legg merke til at den andre spektraltoppen er regnskapsført og bare litt sammenblandet under de nye endringene. Koeffisientene har fortsatt merkbar glatthet og forfall på de største lagene. Figur 11: Frekvensresponsfunksjoner for de to filtrene og deres tilsvarende koeffisienter. For å teste effektiviteten av denne nye lavere tradingfrekvensdesignen, bruker vi filterkoeffisientene til de 200 observasjoner fra utvalget av 15-minutters Yen-loggen returnerer. The performance is shown below in Figure 12. In this filter, we clearly see that the filter still succeeds in predicting correctly the large close-to-open jumps in the price of the Yen. Only three total losses are observed during the 9 day period. The overall performance is not as appealing as the previous filter design as less amount of trades are made, with a near 2 percent ROI and 76 percent trade success ratio. However, this design could fit the priorities for a trader much more sensitive to transaction costs. Figure 12: Out-of-sample performance of filter with lower cutoff. Conclusion Verification and cross-validation is important, just as the most interesting man in the world will tell you. The point of this tutorial was to show some of the main concepts and strategies that I undergo when approaching the problem of building a robust and highly efficient trading signal for any given asset at any frequency. I also wanted to see if I could achieve similar results with the R MDFA package as my iMetrica software package. The results ended up being nearly parallel except for some minor differences. The main points I was attempting to highlight were in first analyzing the periodogram to seek out the important spectral peaks (such as ones associate with close-to-open variations) and to demonstrate how the choice of the cutoff affects the systematic trading. Here8217s a quick recap on good strategies and hacks to keep in mind. Summary of strategies for building trading signal using MDFA in R: As I mentioned before, the periodogram is your best friend. Apply the cutoff directly after any range of spectral peaks that you want to consider. These peaks are what generate the trades. Utilize a choice of filter length no greater than 14. Anything larger is unnecessary. Begin by computing the filter in the mean-square sense, namely without using any customization or regularization and see exactly what needs to be approved upon by viewing the frequency response functions and coefficients for each explanatory series. Good performance of the trading signal in-sample (and even out-of-sample in most cases) is meaningless unless the coefficients have solid robust characteristics in both the frequency domain and the lag domain. I recommend beginning with tweaking the smoothness customization parameter expweight and the lambdasmooth regularization parameters first. Then proceed with only slight adjustments to the lambdadecay parameters. Finally, as a last resort, the lambda customization. I really never bother to look at lambdacross. It has seldom helped in any significant manner. Since the data we are using to target and build trading signals are log-returns, no need to ever bother with i1 and i2. Those are for the truly advanced and patient signal extractors, and should only be left for those endowed with iMetrica If you have any questions, or would like the high-frequency Yen data I used in these examples, feel free to contact me and I8217ll send them to you. Until next time, happy extracting 8220Taking a quick glance at the ldfxyinsamp data, we see log-returns of the Yen at every 15 minutes starting at market open (time zone UTC). The target data (Yen) is in the first column along with the two explanatory series (Yen and another asset co-integrated with movement of Yen).8221 So in your file in input you use the log(close-returns) twice (col1 and 2) and a another asset Can you tell me more about this another asset cointegred. how you find it While it8217s not so obvious to determine a set of explanatory variables that will improve signal (and trading) performance, I developed a tool called fundamental frequency component analysis that helps me choose series with strong lag s correlations at certain frequencies I8217m interested in. The method seems to work pretty well so far in my experience. Thanks Chris, have you planned other thread in the coming weeks Yes, I have many new ideas for articles, and will be writing one soon. I8217ve been busy the past couple months improving the methodology even more, making it even more robust for financial trading. The problem is I start to give away too many of my secrets and will eventually lose my competitive advantage, so I need to remain a bit cryptic What your favorites time frame. 15 mins i think 15 minutes is a good range, the lower the frequency the better and more robust the signal will be. However, in practice I8217m currently using 5 min returns with a proprietary trading firm in Chicago on Index Futures. You filtre the time in your data. You trade only of 13:30pm until 20pm You overnight trade