Saturday 21 October 2017

Moving Genomsnittet Normalisering


Jag har denna dagliga tidsserie av observerade priser P1, P2 Pn. Jag vill arbeta med avkastning 0 P2-P1 Pn - PI har fått höra att ta bort första termen P1-P0 P1- genom att ställa in det till 0 Det verkar som att detta 0 är väldigt differentents från andra villkor och inte en bra lösning Jag tycker ens det är inte en lösning alls. Det här är lösningen jag ansåg.0 eftersom det inte finns några avkastningar på den första dagen. att vara förenlig med tidsserierna. Bara helt enkelt ta bort problemet. Vad tycker du om det här problemet. Det här handlar om ett liknande problem som jag hade när jag flyttade medeltal. Det finns liknande saknade termer vid början av tidsserien. När jag använder mitt genomsnitt tar jag vanligtvis det sista P-värdet före mitt datum. Jag har samma problem än tidigare vid tidsserierna, men det finns inte tillräckligt med data för att göra summan med p-termer. Finns det ett knep för att lösa detta problem. Vill det ändra något för att ta p-värdena efter mitt datum p-1 2 värden före och efter mitt datum Det vann inte att ändra genen värdetid för mitt glidande medelvärde men bara värdena vid beggining och slutet av mina tidsserier spelar ingen roll hur. Ttnphns De ser bara annorlunda ut på grund av histogrammen. Min punkt var dock att visa att de ursprungliga värdena bodde mellan -100 till 100 och nu efter normalisering bor de mellan 0 och 1 jag kunde ha använt ett annat diagram för att visa detta antar jag eller bara sammanfattande statistik user25658 23 sep 13 kl 16 23. Det finns en viktig skillnad mellan det här svaret och det redan accepterade svaret som förklarade huvudideen tydligt och direkt och sedan sekundärt visade hur man gör det i ett vanligt program. Omvänt postar du här bara kod Medan jag är glad att tro att det här är bra kod jag skriver inte PHP på det här forumet har vi normalt inte ett bunt svar på alla frågor som förklarar hur man gör det på alla tänkbara språk annars hade vi svar här i SAS, SPSS, Stata, MATLAB, C, C, C, Java Python osv. Osv. Nick Cox maj 27 15 på 8 38. Jag tror inte att det här är den enda skillnaden I min kod visade jag också hur Returnera ett normaliserat värde till v Alue det var innan normalisering tror jag, det gör det värt det här svaret jankal 27 maj 15 på 9 02. Det är fortfarande sant att du bara postar kod. Jag tror att du måste betona eventuella speciella dygder av kod i kommentar, eftersom annars läsarna har Att läsa koden för att se vad de är Förmodligen invertera skalningen är endast till nytta när en ursprungliga värden har skrivits över, men b användaren har försiktigt komma ihåg att spara minsta och maximala Min bredare punkt, som kommenteras ovan, är att CV gör syftar inte till att vara ett förråd av kodexempel Nick Cox maj 27 15 på 9 10. svaret är rätt men jag har ett förslag om om din träningsdata står inför ett nummer utanför det du kan använda squashing teknik kommer det att garanteras att aldrig gå Utanför räckvidden i stället för det här. Jag rekommenderar att du använder detta med hjälp av squashing så här i min och max. Range. and storleken på det förväntade utrymmet gapet är direkt proportionellt mot graden av förtroende att det kommer att vara ute av - värda värden. för mer information mation du kan google squashing out-of-range nummer och hänvisa till databehandling bok av dorian pyle. answered sep 25 13 på 12 00.As andra har nämnt, bör du överväga ett IIR oändligt impulsresponsfilter snarare än FIR ändliga impulsen Svarfilter du använder nu Det finns mer till det, men vid första anblicken implementeras FIR-filter som uttryckliga omvälvningar och IIR-filter med ekvationer. Det speciella IIR-filtret som jag använder mycket i mikrokontroller är ett enkeltpoligt lågpassfilter Detta är den digitala motsvarande ett enkelt RC-analogfilter För de flesta applikationer kommer dessa att ha bättre egenskaper än det boxfilter som du använder De flesta användningarna av ett lådfilter som jag stött på är ett resultat av att någon inte uppmärksammar sig i den digitala signalbehandlingsklassen, inte som ett resultat av att behöva deras specifika egenskaper Om du bara vill dämpa högfrekvenser som du vet är buller, är ett enkelspalt lågpassfilter det bästa sättet att genomföra en digitalt i en mikrokontroller är vanligtvis. FILT - FILT FF NEW - FILT. FILT är en bit av beständig stat Detta är den enda beständiga variabeln du behöver beräkna detta filter NYTT är det nya värdet som filtret uppdateras med denna iteration FF Är filterfraktionen som justerar filterets tyngd. Se på denna algoritm och se till att för FF 0 är filtret oändligt tungt eftersom utmatningen aldrig ändras. För FF 1 är det verkligen inget filter alls eftersom utmatningen bara följer ingången. Användbar värden är emellan På små system väljer du FF att vara 1 2 N så att multiplikationen med FF kan utföras som en rättväxling med N-bitar. Exempelvis kan FF vara 1 16 och multiplicera med FF därför en högerväxling av 4 bitar Annars behöver det här filtret endast en subtrahera och en tillägg, även om siffrorna vanligtvis behöver vara bredare än ingångsvärdet mer på numerisk precision i ett separat avsnitt nedan. Jag brukar ta AD-avläsningar betydligt snabbare än de behövs och tillämpa två o f dessa filter cascaded Detta är den digitala ekvivalenten av två RC-filter i serie och dämpas med 12 dB oktav ovanför rullningsfrekvensen. För AD-avläsningar är det vanligtvis mer relevant för att titta på filtret i tidsdomänen genom att överväga dess stegsvar Detta berättar hur snabbt ditt system kommer att se en förändring när den sak du mäter ändringar. För att underlätta utformningen av dessa filter som bara betyder att välja FF och bestämma hur många av dem som ska kaskad använder jag mitt program FILTBITS Du anger antalet skiftbitar för varje FF i den kaskadade serien av filter, och det beräknar stegsvaret och andra värden. I själva verket kör jag vanligtvis det här via mitt omslagskript PLOTFILT Detta kör FILTBITS, vilket gör en CSV-fil, sedan plottar CSV-filen. Till exempel, här är resultatet av PLOTFILT 4 4.De två parametrarna till PLOTFILT betyder att det kommer att finnas två filter kaskad av den ovan beskrivna typen. Värdena 4 anger antalet växlingsbitar för att inse multiplicera med FF De två F F-värdena är därför 1 16 i det här fallet. Det röda spåret är enhetens stegsvar och är den viktigaste att titta på. Exempelvis berättar detta om att om ingången ändras omedelbart kommer utmatningen av det kombinerade filtret att lösa sig till 90 av det nya värdet i 60 iterationer Om du bryr dig om 95 avvecklingstid måste du vänta på 73 iterationer och för 50 avvecklingstid bara 26 iterationer. Det gröna spåret visar utmatningen från en enda fullamplitudspik Detta ger dig en uppfattning Av den slumpmässiga brusundertryckningen Det verkar som om inget enda prov kommer att orsaka mer än en 2 5 förändring i utgången. Det blå spåret är att ge en subjektiv känsla av vad detta filter gör med vitt brus Detta är inte ett strikt test eftersom det inte finns något Garantera vad exakt innehållet i slumpmässiga siffror valts som den vita brusinmatningen för denna körning av PLOTFILT Det är bara för att ge dig en grov känsla av hur mycket det kommer att bli squashed och hur smidigt det är. PLOTFILT, kanske FILTBITS och mycket av annan användbar studie ff, speciellt för PIC-programvaruutveckling finns tillgänglig i programvarulicens för PIC Development Tools på min nedladdningar av programvaran. Tilläggsinformation om numerisk precision. Jag ser från kommentarerna och nu ett nytt svar att det finns intresse att diskutera antalet bitar som behövs för att implementera det här filtret Observera att multiplikationen med FF kommer att skapa logg 2 FF nya bitar under binärpunkten På små system är FF vanligtvis valt att vara 1 2 N så att denna multiplikation faktiskt realiseras med en rätt växling av N bitar. FILT är därför vanligtvis ett fastpunkts heltal Observera att det här inte ändrar någon av matematiken från processorns synvinkel. Om du till exempel filtrerar 10 bitars AD-avläsningar och N 4 FF 1 16 behöver du 4 fraktion bitar under 10 bitar Heltal AD-läsningar En av de flesta processorer gör att du gör 16 bitars heltalstransaktioner på grund av 10-bitars AD-avläsningar. I det här fallet kan du fortfarande göra exakt samma 16 bitars heltalsoperationer, men börja med AD-värdena vänster förskjutna med 4 bitar The proc essor vet inte skillnaden och behöver inte göra matematiken på hela 16 bitars heltal fungerar om du anser att de är 12 4 fast punkt eller sann 16 bitars heltal 16 0 fixpunkt. I allmänhet måste du lägga till N bitar vardera Filterpole om du inte vill lägga till ljud på grund av den numeriska representationen I exemplet ovan måste det andra filtret av två behöva ha 10 4 4 18 bitar för att inte förlora information I praktiken på en 8-bitars maskin betyder det att du använder 24-bitars värden Tekniskt sett skulle bara den andra polen av två behöva det bredare värdet, men för enkelhetsgraden för firmware använder jag vanligtvis samma representation, och därigenom samma kod, för alla poler i ett filter. Normalt skriver jag en subrutin eller ett makro för att utföra en filtreringspoleoperation och applicera sedan på varje pol Om en subrutin eller ett makro beror på huruvida cykler eller programminne är viktigare för det specifika projektet. I vilket fall som helst använder jag en del repetillstånd för att skicka NEW till subrutinen makro, som uppdaterar FILT, men också lo Annonser som till samma repetillstånd NYHET var i Detta gör det enkelt att tillämpa flera poler eftersom den uppdaterade FILT-en av en pol är NYHETEN av den nästa. När en subrutin är användbar att få en pekare till FILT på väg in Som uppdateras till strax efter FILT på vägen ut Således fungerar subrutinen automatiskt på efterföljande filter i minnet om det kallas flera gånger Med ett makro behöver du inte en pekare eftersom du skickar in adressen för att fungera vid varje iteration. Exempel på exempel . Det här är ett exempel på ett makro som beskrivits ovan för en PIC 18. Och här är ett liknande makro för en PIC 24 eller dsPIC 30 eller 33.But dessa exempel implementeras som makron med min PIC assembler preprocessor som är mer kapabel än antingen Av de inbyggda makroanläggningarna. clabacchio Ett annat problem som jag borde ha nämnt är implementering av fast programvara. Du kan skriva en enkelpolig lågpassfilter subrutin en gång och sedan applicera den flera gånger. Faktum är att jag vanligtvis skriver en sådan subrutin för att peka i minnet till filtertillståndet, sedan ha det förskott Pekaren så att den kan kallas i följd lätt för att realisera flera poliga filter Olin Lathrop Apr 20 12 på 15 03.1 Tack så mycket för dina svar - alla bestämde jag för att använda det här IIR-filtret, men det här filtret används inte som ett Standard LowPass-filter eftersom jag behöver genomsnittliga räknevärden och jämför dem för att upptäcka ändringar i en viss räckvidd eftersom de här värdena har mycket olika dimensioner beroende på maskinvara jag ville ta ett genomsnitt för att kunna reagera på dessa hårdvaror specifika ändringar automatiskt senselen 21 maj 12 på 12 06. Om du kan leva med begränsningen av en kraft av två antal objekt i genomsnitt dvs 2,4,8,16,32 etc så kan delningen enkelt och effektivt ske på en Lågpresterande mikro med ingen dedikerad delning eftersom det kan ske som en bitskift. Varje växlingsrätt är en kraft av två. OP-enheten trodde att han hade två problem, delade i en PIC16 och minne för hans ringbuffert. Detta svar visar att delningen Det är inte svårt Visserligen behandlar det inte minnesproblemet, men SE-systemet tillåter partiella svar, och användarna kan ta något från varje svar för sig själva, eller till och med redigera och kombinera andra svar. Eftersom några av de andra svaren kräver en delning, är likaledes ofullständiga eftersom de inte visar hur man effektivt kan uppnå detta på en PIC16 Martin 20 april 12 på 13 01. Det finns ett svar på ett riktigt glidande medelfilter aka boxcar filter med mindre minne krav, om du inte har något att tänka på. Kallas ett kaskadintegrator-comb filter CIC Tanken är att du har en integrator som du tar skillnader över en tidsperiod, och den viktigaste minnesbesparande enheten är att genom downsampling behöver du inte lagra eve Ry-värdet på integratorn Det kan implementeras med följande pseudokod. Din effektiva glidande medellängd är decimationFactor stateize men du behöver bara behålla statusprover självklart. Du kan självklart få bättre prestanda om din stateize och decimationFactor är krafter på 2, så att divisions - och återstående operatörer ersättas av skift och mask-ands. Postscript Jag håller med Olin om att du alltid bör överväga enkla IIR-filter före ett glidande medelfilter Om du inte behöver frekvens-nollarna hos ett boxcarfilter, en 1-polig Eller 2-poligt lågpassfilter kommer antagligen att fungera bra. Om du filtrerar i syfte att decimera med en högprovsränta inmatning och med medelvärdet för användning med en lågprocess, då ett CIC-filter Kan vara precis vad du letar efter speciellt om du kan använda stateize 1 och undvika ringbufferten helt och hållet med bara ett enda tidigare integratorvärde. Det finns en djupgående analys av matematiken bakom användandet av de första orden er IIR-filter som Olin Lathrop redan har beskrivit på Digital Signal Processing-stackutbytet innehåller massor av vackra bilder Ekvationen för detta IIR-filter är. Detta kan implementeras med hjälp av heltalserier och ingen delning med följande kod kan behöva lite felsökning som jag Skrivte från minnet. Detta filter approximerar ett glidande medelvärde av de sista K-proven genom att ställa in värdet av alfa till 1 K Gör det här i föregående kod genom att definiera BITS till LOG2 K, dvs för K 16 set BITS till 4, för K 4 sätta BITS till 2 osv. Jag ska verifiera koden som anges här så snart jag får en ändring och rediger detta svar om det behövs. Svarade 23 juni 12 kl 04 04. Här är ett poligt lågpassfilter glidande medelvärde med Cutoff frekvens CutoffFrequency Mycket enkel, mycket snabb, fungerar bra och nästan inget minne överhead. Notera Alla variabler har räckvidd bortom filterfunktionen, utom det som passerade i newInput. Note Detta är ett enda stegsfilter Flera steg kan kaskadas tillsammans för att öka Skärpa av Filtret Om du använder mer än ett steg måste du justera DecayFactor som relaterar till Cutoff-Frequency för att kompensera. Och självklart allt du behöver är de två linjerna placerade någonstans, de behöver inte egen funktion. Detta filter har en uppstartstid innan det rörliga genomsnittet representerar det för ingångssignalen Om du behöver kringgå den här uppstartstiden kan du bara initiera MovingAverage till det första värdet av newInput istället för 0, och hoppas att den första newInput inte är en outlier. CutoffFrequency SampleRate har ett intervall mellan 0 och 0 5 DecayFactor är ett värde mellan 0 och 1, vanligen nära 1.Single-precision floats är tillräckligt bra för de flesta saker, jag föredrar bara dubbelar. Om du behöver hålla fast med heltal kan du konvertera DecayFactor och Amplitude Factor till fraktionella heltal, där täljaren lagras som heltalet och nämnaren är ett heltalseffekt på 2 så att du kan bitskiftas till höger som nämnaren i stället för att dela upp under filterslingan För Exempel om DecayFactor 0 99, och du vill använda heltal, kan du ställa DecayFactor 0 99 65536 64881 och sedan när du multiplicerar med DecayFactor i din filterslinga, skiftar du bara resultatet 16. För mer information om detta, en utmärkt bok som S online, kapitel 19 om rekursiva filter. PS För det Moving Average-paradigmet, kan ett annat sätt att ställa in DecayFactor och AmplitudeFactor som kan vara mer relevant för dina behov, låt oss säga att du vill ha föregående, ca 6 poster i genomsnitt tog Eter, gör det diskret, du lägger till 6 föremål och delas med 6, så du kan ställa in AmplitudeFactor till 1 6 och DecayFactor till 1 0 - AmplitudeFactor. answered 14 maj 12 på 22 55. Alla andra har kommenterat noggrant på verktyget Av IIR vs FIR, och på power-of-two-division Jag vill bara ge några detaljer om genomförandet Nedan fungerar det bra på små mikrokontroller utan FPU Det finns ingen multiplicering, och om du håller N en kraft av två delar hela divisionen Är encyklisk bitskiftning. Baskisk FIR-ringspuffbuffert håller en löpbuffert med de sista N-värdena och ett löpande SUM av alla värden i bufferten Varje gång ett nytt prov kommer in, subtrahera det äldsta värdet i bufferten från SUM , Ersätt det med det nya provet, lägg till det nya provet till SUM och mata ut SUM N. Modified IIR-ringbufferten, fortsätt SUM av de sista N-värdena Varje gång ett nytt prov kommer in, lägg till SUM-SUM N, lägg till det nya Prov och output SUM N. answered 28 aug 13 på 13 45. Om jag läser dig rätt beskriver du en första order IIR filtrera det värde du subtraherar är det t äldsta värdet som faller ut, men istället är det genomsnittet av tidigare värden Första ordningens IIR-filter kan säkert vara användbart men jag är inte säker på vad du menar när du föreslår att utgången är samma för alla periodiska signaler Vid en provkvot på 10 kHz matas en 100 Hz kvadratvåg i ett 20-stegs filter med en signal som stiger jämnt för 20 prover, sitter högt för 30, sjunker jämnt för 20 prover och sitter lågt för 30 En första ordning IIR filter supercat aug 28 13 vid 15 31. kommer att ge en våg som kraftigt börjar stiga och gradvis nivåer nära men inte vid ingångens maximala nivå, börjar sedan kraftigt falla och gradvis nivåer av nära men inte vid ingången minimum Mycket annorlunda beteende supercat Aug 28 13 på 15 32. Ett problem är att ett enkelt glidande medel kan eller inte kan vara användbart Med ett IIR-filter kan du få ett fint filter med relativt få beräkningar. Den FIR du beskriver kan bara ge dig en rektangel i tid - en sync i Freq - och du kan inte hantera sidloberna Det kan vara väl värt att kasta in ett fåtal heltal multipliceras för att göra det till en fin symmetrisk avstämningsbar FIR om du kan spara klockan ticks Scott Seidman Aug 29 13 på 13 50. ScottSeidman Nej behöver multipliceras om man helt enkelt har varje steg i FIR-enheten antingen mata in medelvärdet av inmatningen till det aktuella läget och dess tidigare lagrade värde och lagra sedan inmatningen om man har numeriskt område, man kan använda summan snarare än genomsnittet Oavsett om det S bättre än ett lådfilter beror på applikationen stegresponsen hos ett lådfilter med en total fördröjning på 1ms, till exempel, kommer att ha en otäck d2 dt spik när ingången ändras och igen 1ms senare men kommer att ha det minsta möjliga d dt för ett filter med totalt 1ms fördröjning supercat aug 29 13 på 15 25.As mikeselektronik sagt, om du verkligen behöver minska dina minnesbehov, och du tänker inte på att ditt impulsrespons är en exponentiell istället för en rektangulär puls, jag skulle gå för en exponentiell rörlig ave raser filter Jag använder dem i stor utsträckning Med den typen av filter behöver du inte någon buffert. Du behöver inte lagra N tidigare prover. Bara en Så, dina minneskrav skärs med en faktor N. Även du behöver inte någon division för det Endast multiplikationer Om du har tillgång till flytande punkträkning, använd flytande punktmultiplikationer Annars gör vi multipelantal och ändringar till höger Vi är dock 2012 och jag rekommenderar dig att använda kompilatorer och MCU som tillåter dig För att arbeta med flytande punkter. Förutom att vara mer minneseffektivt och snabbare behöver du inte uppdatera objekt i någon cirkulär buffert. Jag skulle säga att det också är mer naturligt eftersom ett exponentiellt impulsrespons matchar bättre hur naturen beter sig, i de flesta fall. ansvarad 20 april 12 på 9 59. Ett problem med IIR-filtret som nästan berört av olin och supercat men tydligen ignoreras av andra är att avrundningen introducerar en viss oriktighet och eventuellt bias trunkering förutsatt att N i en kraft av två och enbart heltalsräkningar används, växlingen höger eliminerar systematiskt LSB: erna i det nya provet. Det betyder att hur lång serien någonsin kan vara, kommer genomsnittsvärdet aldrig att ta hänsyn till dem. För exempel, anta en långsammare minskande serie 8,8,8 8,7,7,7 7,6,6 och antar att medelvärdet verkligen är 8 i början Fist 7-provet kommer att ge genomsnittet till 7, oavsett filterstyrkan Bara för ett prov Samma berättar för 6 osv. Tänk på motsatsen går serien upp. Medelvärdet kommer att förbli på 7 för alltid tills provet är stort nog för att få det att ändras. Naturligtvis kan du korrigera för bias genom att lägga till 1 2 N 2, men som vann t verkligen lösa precisionsproblemet i så fall kommer den minskande serien att stanna för alltid vid 8 tills provet är 8-1 2 N 2 För N 4 till exempel kommer något prov över noll att hålla medeltalet oförändrat. Jag tror en lösning för Det skulle innebära att man höll en ackumulator av de förlorade LSB: erna men jag gjorde inte det tillräckligt långt för att få kod redo, Och jag är inte säker på att det inte skulle skada IIR-strömmen i några andra fall av serier, till exempel om 7,9,7,9 skulle vara genomsnittliga till 8 då. Olin, din tvåstegskaskad skulle också behöva någon förklaring. Menar du att du håller två genomsnittsvärden med resultatet av den första matas in i den andra i varje iteration Vad är fördelen med detta.

No comments:

Post a Comment