Liels sprādziens tikai par dažiem dolāriem: matemātikas mācību grāmatu ietekme Kalifornijā

Kopsavilkums

Mācību grāmatas ir viens no visplašāk izmantotajiem izglītības izejmateriāliem, taču ļoti maz ir zināms par to ietekmi uz skolēnu mācīšanos. Šajā ziņojumā tiek izmantoti dati, kas savākti no Kalifornijas pamatskolām, lai novērtētu matemātikas mācību grāmatu izvēles ietekmi uz skolēnu sasniegumiem. Mēs pētām četras populārākās grāmatas štatā no 2008. līdz 2013. gadam un atklājam, ka viena — Hotons Miflins Kalifornijas matemātika — konsekventi pārspēj pārējos trīs. Labākais sniegums Kalifornijas matemātika saglabājas līdz četriem gadiem pēc adopcijas un parādās 3., 4. un 5. klasē.

Mūsu identificētās mācību grāmatu ietekmes ir izglītojošas un par tām ir ārkārtīgi zemas izmaksas. Runājot par izmaksām, mācību grāmatas ir salīdzinoši lētas, un tām parasti ir līdzīga cena. Tas nozīmē, ka robežizmaksas, izvēloties efektīvāku mācību grāmatu, nevis mazāk efektīvu alternatīvu, būtībā ir nulle. Runājot par sasniegumu ietekmi, mūsu atklājumi liecina, ka nenozīmīgus skolēnu sasniegumu ieguvumus var sasniegt, vienkārši izvēloties efektīvākus mācību programmas materiālus. Mūsu dokumentētie efekta lielumi ir līdzvērtīgi tam, ko varētu sagaidīt no hipotētiskas politikas, kas būtiski paaugstina mācībspēka kvalitāti. Taču, tā kā pastāv liela neskaidrība par to, vai ir iespējams samērīgs skolotāju kvalitātes paaugstinājums un kā to varētu panākt — vismaz tuvākajā laikā — efektīvākas mācību grāmatas izvēle ir šķietami vienkārša politikas iespēja skolēnu sasniegumu paaugstināšanai.



Kritisks faktors, kas ierobežo skolu administratoru iespējas izvēlēties efektīvākas mācību grāmatas, ir tas, ka praktiski nav pierādījumu par to, kā dažādas mācību grāmatas ietekmē skolēnu sasniegumus. Pamatproblēma, kas ierobežo pierādījumu bāzes attīstību, ir tā, ka ļoti maz štatu izseko skolu un rajonu mācību grāmatu pieņemšanai. Šis punkts ir jāatkārto: lielākā daļa štatu nezina, kuri mācību programmas materiāli tiek izmantoti kādās skolās un rajonos. Bez šiem datiem nav iespējams veikt mācību grāmatu efektivitātes novērtējumus. Tādējādi lielākajā daļā valstu lēmumu pieņēmējiem, kuri savos adopcijas lēmumos vēlas iekļaut pierādījumus par to, kā mācību grāmatas ietekmē skolēnu sasniegumus, vienkārši nav paveicies.

kad sāksies pilsoņu karš

Mūsu pētījums papildina nelielu pētījumu kopumu, kas parāda, ka mācību grāmatu efektivitāte ievērojami atšķiras. Tas ir piemērs analīzei, ko citās valstīs un laika gaitā varētu veikt daudz plašāk, ja vien regulāri tiktu vākti dati par mācību grāmatu pieņemšanu. Apvienojot pierādījumus no vairākiem līdzīgiem pētījumiem, mēs varētu izveidot pierādījumu bāzi daudzām materiālu kopām dažādos kontekstos un veikt analīzi, lai noteiktu, kuras mācību programmas materiālu iezīmes ir svarīgas skolēnu sasniegumu veicināšanai. Mēs noslēdzam ar ieteikumiem rajona amatpersonām un valsts politikas veidotājiem apkopot un padarīt pieejamus datus par mācību grāmatu pieņemšanu. Ieteiktie datu vākšanas pasākumi radītu salīdzinoši zemu slogu un radītu daudz labākus pierādījumus, lai veicinātu skolas un rajona lēmumus attiecībā uz svarīgu un plaši izmantotu izglītības ieguldījumu.


Pirms nedaudz vairāk nekā četriem gadiem Russ Vaithērsts un Mets Čingoss izteica labi formulētu aicinājumu veikt plašāku pētījumu par mācību materiāliem un to ietekmi. [i] Arguments šim darba virzienam ir ļoti vienkāršs (piezīme: šī ir mūsu argumenta versija, nevis viņu):

  1. Praktiski katra valsts skola joprojām pieņem mācību grāmatas pamatpriekšmetos (gan tradicionālajos, gan digitālajos), un liela daļa skolotāju tās izmanto kā daļu no ikdienas mācībām.
  2. Pašreizējie pētījumi liecina, ka mācību grāmatu ietekme uz skolēnu sasniegumiem jēgpilnā veidā atšķiras, un labi izstrādāti pētījumi atklāj ietekmi no 0,1 līdz 0,2 standarta novirzes diapazonā. [ii]
  3. Mācību grāmatas nav dārga iejaukšanās. Arī to cena parasti ir ļoti līdzīga, tāpēc robežizmaksas, izvēloties vienu mācību grāmatu salīdzinājumā ar citu, ir nelielas. Tādējādi potenciālā atdeve no ieguldījumiem efektīvāku mācību grāmatu pieņemšanai ir diezgan liela, salīdzinot ar cita veida intervencēm. [iii]
  4. Mācību programmu materiāli ir politiski daudz patīkamāka reforma nekā daudzas citas iespējamās politikas reformas, piemēram, skolotāju politika un skolu izvēles politika.

Chingos un Whitehurst iesaka valstīm strādāt, lai izveidotu datu infrastruktūru, lai izsekotu mācību grāmatu pieņemšanai skolās un rajonos, ko cita starpā var izmantot, lai noskaidrotu dažādu materiālu ietekmi uz skolēnu rezultātiem.

Lai gan viņu arguments ir pārliecinošs, progress ir bijis neliels. To rakstīšanas laikā bija zināms, ka tikai divi štati izseko mācību grāmatu pieņemšanu — Florida un Indiāna. Dati no abiem štatiem ir izmantoti, lai pētītu pamatmatemātikas mācību programmu efektivitāti. [iv] Lai gan vēl daži štati ir sākuši vākt datus [v] vai dati ir atklāti skaidri redzamā vietā [mēs] jo joprojām ir tā, ka lielākā daļa štatu neizseko, kuri mācību programmu materiāli tiek izmantoti kādās skolās un apgabalos. Izdevējiem arī riebjas sniegt šos datus (lai gan mēs varam tikai pieņemt, ka viņi zina, kuri apgabali pērk viņu materiālus), jo tos varētu izmantot, lai veiktu tādus salīdzinošus efektivitātes pētījumus, par kuriem mēs ziņojam šeit.

Atsaucoties uz Vaithērstas un Čingosa aicinājumu veikt vairāk pētījumu par mācību grāmatu efektivitāti, mēs nesen esam uzsākuši projektu. [vai tu nāc] izmantojot Kalifornijas datus, lai izpētītu mācību grāmatu ietekmi uz skolēnu sasniegumiem. Mēs nejauši atradām Kalifornijas mācību grāmatas datus. Sakarā ar 2004. gada tiesas izlīgumu un turpmākajiem tiesību aktiem ir noteikta prasība, ka katras pamatmācības priekšmets ir jāiesniedz atsevišķām skolām. Dati tiek glabāti skolas atbildības ziņojumu kartītēs (SARC) kā PDF faili, kas tiešsaistē ir pieejami Kalifornijas Izglītības departamentā (CDE). Mēs ceram, ka šis ir pirmais no daudziem pētījumiem, kuros izmantoti šie jaunatklātie dati un citi dati, kas tiek vākti. Mērķis ir sākt apkopot lielāku pierādījumu kopumu par mācību grāmatu efektivitāti, pamatojoties uz vairākiem stāvokļiem un laika gaitā.

Šajā īsumā mēs sniedzam pierādījumus no pirmajiem mūsu mācību grāmatu efektivitātes pētījumiem Kalifornijā. Konkrēti, mēs sniedzam pierādījumus par 2008. gada pieņemšanas cikla laikā pieņemtajiem lēmumiem par mācību grāmatu pieņemšanu pamatmatemātikas jomā. Šī īsziņa ir balstīta uz pilnu darba dokumentu, ko var lejupielādēt šeit. [viii] Lai priekšskatītu savus atklājumus, mēs atklājam, ka viena no četrām visbiežāk pieņemtajām grāmatām, Houghton Mifflin Kalifornijas matemātika , ir efektīvāka nekā pārējās trīs štatā izmantotās populārās grāmatas. Ietekme saglabājas četrus gadus pēc adopcijas un svārstās no aptuveni 0,05 līdz 0,10 skolēnu sasniegumu standarta novirzēm. Dažādi viltošanas vingrinājumi mūs pārliecina, ka šīs sekas ir cēloņsakarības.

Tālāk mēs aprakstām Kalifornijas mācību grāmatu pieņemšanas datus, iepazīstinām ar mūsu analītiskajām metodēm un pēc tam apkopojam rezultātus. Mēs noslēdzam ar ietekmi uz politiku un turpmākajiem pētījumiem par mācību grāmatu efektiem.

Dati

Dati, kurus mēs izmantojam mācību grāmatu adopcijai, ir savākti 2004. gada tiesas prāvas rezultātā, Eliezers Viljamss un citi, pret Kalifornijas štatu u.c. Šajā tiesas prāvā studentu prasītāji no Sanfrancisko vienotā skolu apgabala iesūdzēja valsti, apgalvojot, ka valsts nav nodrošinājusi vienlīdzīgu piekļuvi mācību materiāliem, kvalitatīviem skolotājiem un drošām un pienācīgām skolas telpām. Lietas rezultāts bija 2007. gada tiesību akti, kas cita starpā noteica, ka skolām katru gadu jāziņo par mācību materiālu atbilstību pamatpriekšmetos. Vismazāk sasniegušajās 30 procentos skolu tiek veiktas arī mācību grāmatu atbilstības pārbaudes, bet pārējās skolās dati ir tikai sabiedrības atbildībai. Atsevišķi SARC ir mūsu analīzes mācību grāmatu datu avots.

Lai gan SARC mācību grāmatu dati ir pieejami praktiski visām štata skolām, [ix] ar datiem ir vairākas problēmas, kuru dēļ mācību grāmatas paneļa apkopošana bija diezgan sarežģīta. Pirmkārt, SARC ir pieejamas tikai PDF formātā vairāk nekā 80 procentiem štata skolu (lai gan ir standarta veidne, to izmanto tikai aptuveni 20 procentos skolu; tādējādi skolām dažādos rajonos ir atšķirīgas SARC formāti ar informāciju par mācību grāmatām dažādās lapās). Rezultātā dati ir jāapkopo manuāli. Tādējādi pēdējo divu gadu laikā mēs esam maksājuši USC bakalaura un maģistrantūras studentiem, lai apkopotu SARC datus no visām ~ 7600 skolām štatā, kas apkalpo K-8 klases. Tas acīmredzot ir ļoti laikietilpīgs un darbietilpīgs.

Otrs izaicinājums ir tas, ka nav vienotas prasības attiecībā uz mācību grāmatu nosaukumiem. Dažreiz tiek ziņots tikai par izdevējs, dažreiz nosaukums un dažreiz nosaukums un versija. Reizēm tiek ziņots par nosaukumiem, kas, cik mums zināms, neeksistē. Kalifornija ir štata adopcijas štats, kas nozīmē, ka štats publicē apstiprināto mācību grāmatu sarakstu, ko tā mudina skolas un rajonus iegādāties. Ja mēs pieņemam, ka tad, kad skola iekļauj izdevēju valsts sarakstā un pieņemšanas gadu, kas atbilst pēdējai valsts adopcijai, tas nozīmē, ka tā ir pārņēmusi grāmatu no valsts saraksta, tad mēs varam kodēt lielāko daļu mācību grāmatu. [x] Tomēr pat ar šo pieņēmumu aptuveni 14 procentos skolu ir viena vai vairākas sarakstā iekļautas mācību grāmatas, kuras nevar identificēt, un tas ir aptuveni 9 procenti no visām uzskaitītajām mācību grāmatām.

Pat starp grāmatām, par kurām mēs esam pārliecināti, ka tās ir pareizi identificētas, bieži vien ir desmitiem (dažreiz simtiem) veidu, kā konkrētu grāmatu var iekļaut datos. Piemēram, Pīrsonam Skota Foresmanam Addisonam Veslijam enVisionMATH Kalifornijā (populārākā grāmata štatā 2012.–2013. gadā), mēs saskaitījām 142 unikālus veidus, kā šī grāmata tika iekļauta SARC sarakstā. Tikai daži no šiem nosaukumiem sniedz pietiekami daudz informācijas, lai precīzi zinātu, kura grāmata tika izmantota bez būtiskām zināšanām par Kalifornijas mācību grāmatu pieņemšanas politiku un mācību grāmatu tirgu. Svarīgs mūsu projekta datu vākšanas posms ir tas, ka pat Kalifornijā, kur štata tiesību akti nosaka ziņošanu par mācību materiāliem, mācību programmu materiālu dati nebūt nav gatavi analīzei, un šķiet, ka dati netiek pietiekami labi pārraudzīti. Tas liek apšaubīt, vai mācību grāmatu ziņošana patiešām var būt publiskas atbildības avots, kā paredzēts.

Kad viss ir pateikts un izdarīts, pēc ievērojamiem datu tīrīšanas centieniem mēs identificējām aptuveni 240 unikālas mācību grāmatas, kas tiek izmantotas Kalifornijā aptuveni 7600 skolās, kurās no 2012. līdz 2013. gadam ir K-8. Šīs grāmatas galvenokārt tika pieņemtas gados, kas bija tieši ap oficiālo valsts adopciju, un lielākā daļa no tām tika nodotas lietošanai 2008. gada vai 2009. gada rudenī. [xi]

Mēs veidojam savu analītisko paraugu no šī saraksta. Lai tiktu iekļauta mūsu analīzē, ir jāievēro vairāki kritēriji: mums ir jābūt skolas raksturojumam un rezultātiem, kas pieejami skolā pirms un pēc adopcijas, mācību grāmatai jābūt identificējamai no SARC, adopcijai ir jābūt ciklam ( 2008. vai 2009.), skolai ir jābūt vienotai pētāmajās pamatklasēs (1-3 galvenajai analīzei, 1-5 analīzei līdz piektajai klasei), un skola nedrīkst atrasties rajonā, kas ir tik lielas, ka nav iespējams atrast atbilstošas ​​salīdzināšanas skolas. [xii]

Pēc tam, kad esam ierobežojuši savu izlasi, izmantojot šos kritērijus, mūsu galīgais samazinājums ir balstīts uz dažādu mācību grāmatu izplatību Kalifornijas skolās — tikai četras mācību grāmatas tika pieņemtas pietiekamā skaitā skolu, lai mums būtu pietiekama statistikas spēja to novērtēšanai. enVisionMATH Kalifornijā izdevis Pīrsons Skots Foresmens, Kalifornijas matemātika publicēja Houghton Mifflin , Kalifornijas matemātika: jēdzieni, prasmes un problēmu risināšana publicēja McGraw-Hill, un Kalifornijas HSP matemātika publicēja Houttons Miflins Hārkorts. Galu galā mūsu analītiskajā paraugā ir iekļautas 1878 skolas, kas izmantoja vienu no šīm četrām grāmatām.

Mēs apvienojam informāciju par skolu mācību programmu pieņemšanu no to SARC ar garengriezuma datubāzi, kurā ir iekļauti skolu un rajonu raksturlielumi un sasniegumu rezultāti par 2003.–2013. mācību gadu un kas ir izveidota, pamatojoties uz Kalifornijas Izglītības departamenta (CDE) publiski pieejamiem datiem. Mēs papildinām CDE datus ar datiem no Amerikas Savienoto Valstu tautas skaitīšanas par vidējiem mājsaimniecību ienākumiem un izglītības līmeni vietējā reģionā katrai skolai, ko mēs saistām pasta indeksa līmenī. Ietekme uz sasniegumiem tiek novērtēta, izmantojot skolas vidējos pārbaudes rezultātus valsts standartizētajos matemātikas novērtējumos. Mēs lielāko daļu vērtēšanas koncentrējam uz 3. klases sasniegumiem, taču mēs arī paplašinām savu analīzi, lai pārbaudītu mācību programmas ietekmi uz pārbaudes rezultātiem 4. un 5. klasē.

Metodes

Lai analizētu savus datus, mēs izmantojam trīs saistītas analītiskās pieejas. Konkrēti, mēs novērtējam mācību programmas efektus, izmantojot kodola saskaņošanu, ar kopēju atbalstu ierobežotus parastos mazākos kvadrātus (ierobežotu OLS) un uz atlikumu balstītu atlikušo atbilstību. Trīs metodes ir sīki aprakstītas darba dokumentā. [xiii] Visos gadījumos mēs saskaņojam skolas līmenī, lai gan saskaņošanas procesā izmantojam gan skolas, gan rajona mainīgos. Mēs sakrītam skolas līmenī gan tāpēc, ka tas uzlabo mūsu statistisko jaudu, gan tāpēc, ka daži apgabali nav vienoti pieņemtāji (tas ir, dažādas rajona skolas pieņem dažādas grāmatas, un saskaņošana skolas līmenī ļauj mums izmantot, nevis izmest šos gadījumus). .

Visu trīs pieeju ideja ir saskaņot skolas, pamatojoties uz to mainīgajiem lielumiem pirms pieņemšanas (piemēram, lielums, skolēnu īpašības, iepriekšējie sasniegumi) un sekot to sasniegumu trajektorijām vairākus gadus pirms pieņemšanas. Rakstā mēs parādām visu tipisko līdzsvarošanas testu rezultātus, kas sniedz pārliecinošus pierādījumus tam, ka mūsu atbilstības pieeja darbojas labi.

Galvenais pieņēmums identificēšanai, kas ir visu mūsu aplēšu pamatā, ir nosacītās neatkarības pieņēmums (CIA), kas pieņem, ka mūsu saskaņošanas procesā nav izlaisti neviens mainīgais, kas ietekmē gan mācību grāmatas izvēli, gan rezultātu (studentu sasniegumus). Ir vairāki konceptuāli iemesli, kāpēc CIP mūsu pieteikumā ir ticama, un mēs tos detalizēti apspriedām mūsu rakstā. Formālāk mēs sniedzam arī viltojumu pārbaužu rezultātus, kas paredzēti, lai atklātu CIP pārkāpumus. Viltošanas testi meklē mācību programmas efektus situācijās, kad (a) mums nevajadzētu sagaidīt vispār nekādus efektus vai (b) mums vajadzētu sagaidīt ne vairāk kā nelielus efektus. Ja, piemēram, mēs novērtējam, ka mācību programmas ietekme nav nulle situācijās, kad mēs zinām, ka ietekmei jābūt nullei, tas būtu spēcīga norāde, ka ir pārkāpts CIP. Viltošanas modeļos mēs novērtējam mācību programmas ietekmi uz pārbaužu rezultātiem pirms galvenās mācību programmas materiālu pieņemšanas gada un uz eksāmenu rezultātiem angļu valodas mākslā (ELA), nevis matemātikas. Ja atlase veicinātu mūsu atklājumus, mēs sagaidām, ka mēs redzēsim laika ziņā nekonsekventus un/vai nesaistītus efektus. Mēs parādām šos rezultātus zemāk un rakstā; tie nesniedz nekādus pierādījumus, kas liecinātu, ka mūsu atklājumus ietekmē nenovērota atlase.

Rezultāti

Mūsu sākotnējais analītiskais plāns bija veikt pāru salīdzināšanu starp mūsu četrām interesējošajām grāmatām (t.i., seši pāru testi). Tomēr mums bija jāmaina kurss divu problēmu dēļ. Pirmkārt, dažos pāru salīdzinājumos kovariācijas līdzsvars ir vājš. Otrkārt, mūsu statistiskā jauda ir ierobežota pāru salīdzināšanā. Tomēr pāru salīdzinājumi (iesniegti rakstā) norāda uz Houttonu Miflinu Kalifornijas matemātika ir efektīvākas nekā pārējās trīs grāmatas un ka pārējām trim grāmatām ir līdzīgs efektivitātes līmenis. Pamatojoties uz pāru salīdzinājumu aplēsēm, mēs pārstrukturējām analīzi, lai parādītu Houtona Miflina salīdzinājumu. Kalifornijas matemātika ar pārējām trīs grāmatām. Tas uzlabo mūsu statistisko jaudu un vienkāršo prezentāciju (lai gan atkal mēs ziņojam par secinājumiem, kas iegūti pāru salīdzināšanā dokumentā, lai nodrošinātu pilnīgumu).

Mūsu galvenās ietekmes analīzes rezultāti uz trešās klases matemātikas pārbaudes rezultātiem ir parādīti 1. attēlā (labās četras joslu kopas, kas apzīmētas ar 1–4 uz horizontālās ass, un kreisās trīs joslas katrā sešu joslu komplektā). Rezultāti liecina, ka Houghton Mifflin ir pozitīvi ietekmējis Kalifornijas matemātika salīdzinot ar pārējām trim grāmatām. Šis efekts parādās pirmajā gadā pēc adopcijas un saglabājas līdz ceturtajam gadam. Efekts ir diapazonā no 0,05 līdz 0,08 standarta novirzēm atkarībā no gada un modeļa. Lai gan kodola atbilstības aprēķini pēc apjoma ir līdzīgi ierobežotajiem OLS un uz atlikumiem balstītajiem atlikušās atbilstības aprēķiniem, pēdējie divi ir statistiski nozīmīgi, jo iegūst statistisko spēku no papildu pieņēmumiem (rakstā mēs apspriežam, kāpēc šie pieņēmumi ir pamatoti). .

1. attēls. Kalifornijas matemātikas ietekme uz salikto alternatīvu uz trešās klases pārbaudes rezultātiem laika gaitā un izmantojot dažādus aplēses

Irānas ķīlnieku krīzes pārvarēšana

CCF_20170105_Polikoff_Evidence_Speaks_1

Šīs ietekmes var šķist nelielas, taču atcerieties, ka tās attiecas uz visiem skolas skolēniem. Politikai, kas vērsta uz zemākajiem 10 procentiem skolēnu, būtu jābūt desmit reizes lielākam efektam, lai radītu tādas pašas kopējās sasniegumu izmaiņas. Šis efekta lielums ir līdzvērtīgs aptuveni trešdaļai līdz pusei standarta novirzes skolotāju efektivitātes sadalījumā; tādējādi tas ir līdzvērtīgs tam, kas būtu ļoti lielas skolotāju vidējās efektivitātes izmaiņām darbaspēkā.

Mēs varētu sagaidīt, ka mācību programmas materiālu ietekme vēlākos gados kļūs lielāka, jo skolēni ir bijuši pakļauti materiāliem vairākās klasēs (t.i., lielākas devas). Tomēr mēs šo modeli aplēsēs neievērojam. Protams, iespējams, ka patiešām pastāv devas efekts, bet mums nav statistikas spēka, lai to novērotu. Ir arī iespējams, ka tikai (vai galvenokārt) pašreizējās atzīmes mācību grāmatai ir nozīme skolēnu sasniegumiem valsts pārbaudes darbos. Tādējādi tam, vai skolēns iepriekšējos gados ir saskāries ar vienu un to pašu vai citu mācību grāmatu, var būt ierobežota nozīme.

Mūsu matemātikas rezultātu analīzes rezultāti ceturtajā un piektajā klasē, kas ir pieejami rakstā, liecina kopumā par līdzīgiem modeļiem, ar dažām atšķirībām dažādās klasēs. Ceturtajā klasē efekta lielumi ir nedaudz mazāki (0,02 līdz 0,06 standarta novirzes) un ir statistiski nozīmīgi tikai noteiktos gados. Piektajā klasē efekta lielumi svārstās no 0,03 līdz 0,05 standarta novirzēm pirmajā gadā līdz 0,10 standarta novirzēm ceturtajā gadā, atkal statistiski nozīmīgi katrā gadā. Piektās pakāpes ietekme katru gadu palielinās (lai gan pieaugums ne vienmēr ir statistiski nozīmīgs) tādā veidā, kas liecina par devas ietekmi. Nevienā no modeļiem nevienā no trim pakāpēm vai četriem gadiem nav negatīvs Houghton Mifflin koeficients. Kalifornijas matemātika salīdzinot ar pārējo trīs mācību grāmatu salikumu.

hillary vs bernie tautas balsojums

1. attēlā parādīti arī mūsu viltošanas testi (kurus mēs atkārtojam arī ceturtajā un piektajā klasē). Ietekme uz ELA pēc adopcijas ir parādīta labajā četros joslu komplektos un katras komplekta labajā pusē. Nav skaidrs, vai šīm aplēsēm jābūt nullēm vai nē ex ante jo var būt mācību programmas pārplūdes efekti, taču tiem jābūt mazākiem par matemātikas efektiem. Pirms adopcijas ietekmes aprēķini abiem subjektiem ir norādīti attēla pirmajās četrās joslu kopās. Aprēķiniem pirms adopcijas jābūt nullei, ja nav atlases novirzes, jo mūsu pētāmās ārstēšanas metodes vēl ir jāievieš. Visas viltojumu aplēses ir pēc būtības nelielas un statistiski nenozīmīgas, kas atbilst cerībām, ja CIP apmierinās.

Diskusija

Mūsu darbs sniedz vairākus nozīmīgus ieguldījumus. Pirmkārt, mēs esam apkopojuši datu kopu par mācību grāmatu pieņemšanu Kalifornijā, lielākajā ASV štatā ar vislielāko skolu skaitu. Mēs esam saņēmuši finansējumu, lai turpinātu šo datu vākšanu. Mēs turpināsim datu analīzi un turpināsim studēt citus priekšmetus un citas atzīmes. Mēs arī plānojam datus darīt pieejamus ieinteresētajiem pētniekiem, lai citi varētu veikt jaunus pētījumu virzienus. Šajā jomā ir daudz jautājumu, kas nav saistīti ar ietekmi uz skolēnu sasniegumiem, piemēram, vai ir vienlīdzīga piekļuve pašreizējiem mācību programmas materiāliem? Kā hartas un tradicionālās valsts skolas atšķiras pēc to pieņemšanas modeļiem? Mēs ceram, ka šie jaunie pieejamie dati var radīt jaunu uz datiem balstītu pētījumu vilni par mācību grāmatu pieņemšanu un to ietekmi. Pašreizējā pētnieciskajā literatūrā ļoti trūkst mācību grāmatu kvantitatīvās analīzes skolās.

Otrkārt, mūsu darbs atkal parāda metodi (to iepriekš demonstrēja Bhatts, Koedels un Lehmanns [xiv] ), ko var izmantot citos stāvokļos, pakāpēs un priekšmetos. Šobrīd mēs uzskatām, ka metode ir pietiekami labi izstrādāta, lai to varētu plaši izmantot. To darot — pētot mācību grāmatu efektus dažādos iestatījumos — mēs varam sākt labāk izprast, kas darbojas, kur un kam. Papildus Kalifornijai mēs esam apkopojuši datus par mācību grāmatu pieņemšanu Teksasā, Ilinoisā, Ņujorkā un Floridā. Nav skaidrs, vai mūsu rīcībā esošie dati ir pietiekami pilnīgi, lai varētu veikt šāda veida izmeklēšanu katrā iestatījumā, taču mēs mēģināsim.

Viens no visbiežāk uzdotajiem jautājumiem, kas mums rodas, prezentējot šo darbu, ir par ko tas ir Kalifornijas matemātika kas padara to efektīvu? Pašlaik vienkārši nav iespējams uzzināt atbildi uz šo jautājumu, un tāpēc mēs izvēlamies nedomāt. Neapšaubāmi, ir neskaitāmi veidi, kā Kalifornijas matemātika atšķiras no citām pētāmajām mācību grāmatām, un nav iespējams zināt, kura no šīm dimensijām ir svarīga, ja tāda ir. Tā var būt Kalifornijas matemātika satur labākus pedagoģiskos paņēmienus pamatsatura mācīšanai, ka tas ir labāk saskaņots ar valsts standartiem vai valsts pārbaudes darbu, vai ka skolotājiem to vienkārši ir vieglāk īstenot ar uzticību. Tomēr, ja mums būtu vairāk pētījumu par mācību grāmatu efektiem un ja šie pētījumi tiktu apvienoti ar pašu materiālu analīzi, ir iespējams, ka mēs varētu sākt labāk saprast, kuri materiāli darbojas. un kāpēc.

Treškārt, mūsu darbs paplašina iepriekšējo literatūru vairākos veidos, kas, mūsuprāt, ir svarīgi. Šī analīze seko sasniegumu ietekmei četrus gadus pēc pieņemšanas, kas ir ilgāks laiks nekā jebkurā iepriekšējā pētījumā. Mēs arī izsekojam sasniegumu ietekmi trīs pakāpēs, atkal vairāk nekā jebkurā iepriekšējā pētījumā. Mēs ceram, ka turpmākajos pētījumos varēs turpināt meklēt šo ilgtermiņa ietekmi.

Ieteikumi rajona lēmumu pieņēmējiem

Skolu apgabali visā valstī ik pēc dažiem gadiem pieņem lēmumus par mācību grāmatām, kuras viņi gatavojas pieņemt galvenajos akadēmiskajos priekšmetos. Šie lēmumi ir sarežģīti, jo ir pieejams tik maz informācijas par efektivitāti. Kad informācija par efektivitāti kļūst pieejama, mēs, protams, iesakām to izmantot apgabala lēmumu pieņēmējiem. Tas nenozīmē, ka vienkārši jāpieņem visefektīvākā grāmata, kā spriež pēc mūsu analīzes, bet tas nozīmētu, ka lēmumu pieņemšanas procesā ir nopietni jāņem vērā skolēnu sasniegumi. Mūsu intervijas ar Kalifornijas apgabalu vadītājiem liecina, ka viņi bieži ņem vērā vairākus faktorus, un nav iemesla uzskatīt, ka viņus neinteresētu ietekmes dati, ja tie būtu pieejami.

Mēs arī uzskatām, ka apgabalu lēmumu pieņēmēji varētu spēlēt aktīvāku lomu, lai mācību satura materiālu informācija būtu pieejama pētniecībai. Viens no veidiem, kā to veicināt, būtu izdarīt spiedienu uz valsti, lai tā vairāk resursu veltītu datu vākšanai un analīzei. Iespējams, ka profesionālajām organizācijām šajā jomā varētu būt vadošās lomas (vai nu apgabalu administratīvās organizācijas, vai mācību priekšmetu organizācijas, piemēram, Nacionālā matemātikas skolotāju padome), apkopojot datus no vairākiem apgabaliem; vai, ja apstākļi ir labvēlīgi, pat palīdzēt organizēt eksperimentus, lai palīdzētu mums uzzināt par mācību programmas efektivitāti. Ir daudz iespējamo ceļu uz priekšu. Galu galā jautājums ir par to, kurš ir atbildīgs par to, lai mūsu skolās skolēni izmantotu efektīvus mācību programmas materiālus. Neatkarīgi no tā, kas ir šīs personas, viņus satrauc tas, cik maz mēs zinām par dažādu materiālu kopu efektivitāti, un vēl jo vairāk, ņemot vērā dažus pētījumus, tostarp šeit aprakstīto, kas parāda lielu potenciālu efektīvākiem mācību programmas materiāliem. uzlabot skolēnu sasniegumus.

Ieteikumi štatiem

Lai gan šīs analīzes secinājumi, mūsuprāt, ir interesanti un svarīgi, Houtons Miflins Kalifornijas matemātika vairs netiek pārdots Kalifornijā (vai citur, cik mums zināms). No četrām pētāmajām mācību grāmatām mēs ticam tikai enVisionMATH joprojām tiek pārdots, lai gan Common Core saskaņotā versijā. [xv] Tādējādi atklājumi par šo konkrēto grāmatu nav tik noderīgi, kā tie būtu, ja šīs četras grāmatas joprojām tiktu plaši izmantotas.

Turpmākajam darbam ir jābūt savlaicīgākam, lai ietekmētu politiku. Lai gan mums vienmēr būs ierobežotas iespējas veikt savlaicīgākas analīzes, jo šāda veida pētījumi pēc būtības ir vērsti atpakaļ (t.i., mums ir nepieciešams laiks, lai pēc ārstēšanas novērotu rezultātus), ir vairākas politikas darbības, kas var uzlabot apstrādes laiku. Pirmkārt, SARC izlaišanas datumi varētu tikt pagarināti — pašlaik tie tiek izdoti ar viena gada kavēšanos (piemēram, 2015.–2016. gada SARC tiek publicēti no 2017. gada pavasara līdz vasarai). Vēl viena problēma ir tā, ka Kalifornijas datu apkopošanas un tīrīšanas darbs aizņem vairākus mēnešus katram mācību priekšmetam un pakāpei, pat strādājot ar pilnu jaudu. Mēs ceram, ka Kalifornija (un citi štati) atvieglos šo darbu, izveidojot un padarot pieejamas datu sistēmas, kas satur precīzu mācību grāmatu informāciju savlaicīgāk. Ja viņi to darītu, šāda veida analīzi varētu veikt daudz ātrāk, kas padarītu to noderīgāku, lai informētu par politikas lēmumiem uz vietas.

Kalifornijas dati ir sliktas kvalitātes, un pat Teksasas dati (kurus mēs šeit neapspriežam, bet ir daudz labāki) atstāj ko vēlēties. Mēs uzskatām, ka būtu samērā vienkārši iekļaut mācību grāmatu datu vākšanu kā daļu no štatu regulārajām datu vākšanas darbībām no skolām un rajoniem. Konkrēti, ja katrai mācību grāmatai ir norādīts ISBN numurs un adopcijas gads katrā mācību priekšmeta jomā un pakāpes līmenī, būtu vienkārši izveidot mācību grāmatu pieņemšanas paneli visā valstī. Šāda datu kopa būtu daudz izmantojama pētniecībai, taču to varētu izmantot arī politikā un praksē, lai apvienotu skolas vai rajonus, kas pieņem vienas un tās pašas mācību programmas profesionālās izaugsmes vai resursu koplietošanas nolūkos. Šāda veida datu vākšana nebūtu bez maksas, taču tā ir diezgan neuzkrītoša, un, ņemot vērā mācību grāmatu nozīmi skolu ikdienas darbībā, mēs domājam, ka gandrīz noteikti tā ir pūļu un izmaksu vērta.


[i] Chingos, M.M. un Vaithērsts, G.J. (2012). Aklā izvēle: mācību materiāli, skolotāju efektivitāte un kopīgais kodols. Vašingtona, DC: Brūkingsa.
[ii] Agodini, R., Harris, B., Atkins-Burnett, S., Heaviside, S. un Novak, T. (2010). Četru agrīnās pamatskolas matemātikas mācību programmu sasniegumu ietekme: secinājumi pirmās un otrās klases skolēniem . Vašingtona, DC: Nacionālais izglītības novērtēšanas un reģionālās palīdzības centrs, ASV Izglītības departaments, Izglītības zinātņu institūts.
Bhatt, R. un Koedel, C. (2012). Liela mēroga mācību programmu efektivitātes novērtējumi: elementārās matemātikas gadījums Indiānā. Izglītības novērtējums un politikas analīze, 34 (4), 391-412.
Bhatt, R., Koedel, C. un Lehmann, D. (2013). Vai mācību programmu kvalitāte ir vienāda? Pierādījumi no Floridas. Izglītības ekonomikas apskats, 34 (1), 107-121.
[iii] Boser, U., Chingos, M. un Straus, C. (2015). Mācību programmu reformas slēptā vērtība: vai valstis un apgabali saņem vislielāko sprādzienu par savu mācību programmu naudu? Vašingtona, DC: Amerikas progresa centrs.
[iv] Skatīt Bhatt & Koedel, 2012; Bhats, Kodels un Lēmans, 2013.
[v] Cik man zināms, Ņūmeksika un Luiziāna ir sākušas vākt datus.
[mēs] Kā izrādās, Kalifornija un Teksasa jau kādu laiku vāc datus. Kalifornijas dati ir aprakstīti mūsu rakstā. Teksasā štats apkopo visus mācību grāmatu iegādes datus štata līmenī, un datus var iegūt no valsts tīmekļa vietnes vai izmantojot informācijas brīvības pieprasījumu (vēsturiskajiem datiem).
[vai tu nāc] Šis materiāls ir balstīts uz darbu, ko atbalsta Nacionālais zinātnes fonds ar granta Nr. 1445654 un Smita-Ričardsona fonds. Visi viedokļi, secinājumi un secinājumi vai ieteikumi, kas izteikti šajā materiālā, ir autora(-u) un ne vienmēr atspoguļo finansētāju uzskatus.
[viii] https://economics.missouri.edu/paper/wp-16-12
[ix] Šķiet, ka ir neliels skaits skolu, kas vispār nenodrošina SARC, un vēl viens neliels skaits skolu nodrošina SARC, bet bez mācību grāmatām. Tās kopā veido nedaudz mazāk par 7 procentiem skolu 2014.–2015. gadā.
[x] Šis pieņēmums ir piemērots, jo lielākā daļa Kalifornijas skolu, īpaši pirms Common Core, tika izņemtas no valsts apstiprinātā saraksta (līdz nesen kategorisko mācību grāmatu fondus varēja izmantot tikai štata sarakstā iekļautajām grāmatām).
[xi] Mēs aprobežojamies ar visām analīzēm skolām, kas pieņēma grāmatas pēc cikla (tas nozīmē, ka šie divi gadi).
[xii] Tādējādi tiek izslēgti Losandželosas un Longbīčas vienotie skolu rajoni, kas ir daudz lielāki nekā citi analītiskajā izlasē iekļautie rajoni.
[xiii] https://economics.missouri.edu/paper/wp-16-12
[xiv] Skatīt Bhatt & Koedel, 2012; Bhats, Kodels un Lēmans, 2013.
[xv] Citi darbi liecina, ka Common Core saskaņotā versija enVisionMATH patiesībā nav īpaši labi saskaņots ar kopējo kodolu. Polikoff, M. S. (2015). Cik labi mācību grāmatas ir saskaņotas ar kopējiem matemātikas pamatstandartiem? American Educational Research Journal, 52 (6), 1185-1211.