Съдържание Раздел За редактора Данни във федералното правителство5 Големи данни в последната научна работна група за междуведомствени големи данни (IwoГолеми данни към знания в nihРолята на големите данни, машинното обучение и др. в оценката на рисковете: Регулаторен P(FTC RO Предоставя редакции на businesseResponder Новини: Големи данни и обществена безопасност Големите данни ни направиха мързеливи Истинското предизвикателство на големите данни
BioSense 20 е първата система, която взема предвид осъществимостта на регионалната координация за осведоменост за ситуацията в общественото здраве чрез оперативно съвместима мрежа от системи, изградени върху съществуващите държавни и местни възможности BioSense 2
0 премахва много от разходите, свързани с монолитната физическа архитектура, като същевременно прави разпределените аспекти на системата прозрачни за крайните потребители, както и прави данните достъпни за подходящи анализи и мрежова филогеномика за бактерии и епидемия ID Специална референтна лаборатория Bogy на CDC (SBRL) идентифицира и класифицира неизвестни бактериални патогени откриване на прекъсване Филогеномиката, сравнителният филогенетичен анализ на цялата genorDNAnce, ще донесе концепцията за идентификация, базирана на последователност, до изцяло нова идентификация на кучешките видове ще позволи извършването на множество аналапидно появяващи се патогени за часове, вместо дни или седмициЦентър за Medicare Medicaid Services(CMS)разработва се склад за данни, базиран на Hadoop, за да поддържа изисквания за анализ и отчетност от програмите Medicare и Medicaid. Основната цел е да се разработи поддържан, устойчив и мащабируем дизайн, който побира натрупаните данни на нивата на склада, така че предизвикателство е разработването на решение допълва съществуващите технологии. Използването на технологии за база данни XMl се оценява за подкрепа на интензивна среда на транзакциите на застраховката, изгонване на процесите за допустимост и записване, потенциални XML бази данни, олекотени големи таблици, мащабиране на данни, биооптимизирани за изпълнение на транзакции, данни за административни искове (Medicare) за подобряване на решенията създаване: CMs има текущ набор от пилотни проекти с националните лаборатории на Оук Ридж, които включват оценка на инструменти за визуализация на данни, платформени технологии, опции за потребителски интерфейс и високопроизводителни компютърни технологии - насочени към използване на данни за административни искове (Medicare) за създаване на информационни продукти за насочване и поддържа подобрено вземане на решения в различни високоприоритетни програми на CM. АДМИНИСТРАЦИЯ ЗА АДМИНИСТРИРАНЕ НА УСЛОВИЯ И ЛЕКАРСТВА (FDA) Виртуална лабораторна среда (VLE) ще комбинира съществуващи ресурси и възможности, за да даде възможност за виртуална лабораторна мрежа от данни, усъвършенствани аналитични и статистически инструменти и възможности, групово търсене на анализи за прогнозиране и насърчаване на общественото здраве, документ
управленска поддръжка, възможност за телеприсъствие, за да се даде възможност за сътрудничество в световен мащаб и да се превърне всяко място във виртуална лаборатория с разширени възможности за няколко часа НАЦИОНАЛНИ АРХИВИ Администриране на записи (naraКиберинфраструктурата за милиард електронни записи (CI-BER) е съвместна агенция спонсорирано приложение на спонсорирана от множество агенции кибернетична инфраструктура и theformation nowComputing institute Този тестов стенд ще оценява технологичните подходи за поддържане на устойчив достъп до ултра-големи колекции от данни НАЦИОНАЛНАТА КОСМИЧЕСКА АДМИНИСТРАЦИЯ НА Аеронавтиката (NASA) Наградите на SA за напреднали информационни системи (ALST) се стремят да намалят риска и разходите за развиващи се информационни системи на NASA за подпомагане на бъдещи мисии за наблюдение на Земята и за трансформиране на наблюденията в земна информация, както е предвидено от NASA, ориентирана към климата Архитектура Някои aIsgrams се стремят към възможности за големи данни, за да намалят риска, цената и времето за разработка на космически и наземни информационни системи на Отдела за наука за Земята и увеличаване на достъпността и полезността на научните данни Проектът NASAS за данни и информация за науката за Земята (ESDIS), активен повече от 15 години, работи за обработка, архивиране и разпространение на сателитни данни за науката за Земята и данни от бордови и полеви кампании
с внимание към удовлетвореността на потребителите, тя се стреми и обществеността да има достъп до данни, за да даде възможност за изучаване на Земята от космоса, за да напредне в науката за Земята, за да посрещне предизвикателствата на изменението на климата и околната среда на Systems (GEOSS) е съвместно, международно усилие за споделяне и интегриране на земята данни от наблюдения, НАСА обедини силиАгенцията за опазване на околната среда на САЩ (EPA), Националната администрация за океаните и атмосферата (NOAA), други агенции и национални сателитни и наземни системи за мониторинг и моделиране, за да оценят условията на околната среда и да предскажат резултатите от събития като пожари, нарастване на населението и други разработки, които са естествени и създадени от човека В близко бъдеще, с академичните среди, изследователите ще интегрират комплексно разнообразие от информация за качеството на въздуха, за да разберат по-добре и да се справят с въздействието на качеството на въздуха върху околната среда и човешкото здраве Споразумение за космическия акт, сключено от NASA и Cray, Inc позволяват сътрудничество по един или повече проекти, съсредоточени върху разработването и прилагането на "големи системи за данни с ниска латентност. По-специално, проектът тества полезността на хибридни компютърни системи, използващи силно интегрирана не-sQL база данни като средство за доставка на данни, за да се ускори изпълнението наделиране и анализ
NASAS Planetary Data System (PDS) е архив на продукти с данни от планетарни мисии на NASA, който се е превърнал в основен ресурс за учени по света. Всички продукти, произведени от PDS, са рецензирани, добре документирани и лесно достъпни чрез система на онлайн каталози, които са организирани по планетарни дисциплини. Мултимисионният архив към Научния институт за космически телескопи (MAST), компонент на NASAS разпределени услуги за космически научни данни, поддържа и предоставя на астрономическата общност разнообразие от архиви на астрономически данни, с основен фокус върху набори от научно базирани данни в оптичните, ултравиолетовите и близките инфрачервени части на спектъра MAST притежава и предоставя достъп до разнообразни спектрални и образни данни TheEarth System Grid Federation е публичен архив, който се очаква да подпомогне изследванията, лежащи в основата на петия доклад за оценка на международния панел по изменение на климата, който ще бъде завършен през 2014 (както направих за четвъртия доклад за оценка)
НАСА предоставя както данни от наблюдения, така и изходен модел на Федерацията чрез сътрудничество с Националния институт по рака на НАЦИОНАЛНИ ЗДРАВНИ ИНСТИТУТИ (NIH) (архив за изображения на рака (TCIA) е услуга за споделяне на данни за изображения, която улеснява работата в областта на медицинско изобразяване TCia има за цел да подобри използването на изобразяване в днешните изследвания и практика в областта на рака чрез повишаване на ефективността и възпроизводимостта на откриването и диагностицирането на рак с изобразяване, използване на изображения за осигуряване на обективна оценка на терапевтичния отговор и в крайна сметка позволява разработването на ресурси за изобразяване, които ще доведат до клинична dsupporte Cancer Genome Atlas (TCGA) проект е всеобхватно и координирано усилиеускоряване на разбирането на молекулярната основа на рака чрез прилагане на технологии за геномен анализ, включително мащабно секвениране на генома С бързото развитие на широкомащабна геномна технология проектът TCGa ще натрупа няколко петабайта на необработени данни bNational Heart Lung and Blood Institute (NhlBi) Cardiovascular Research Grid (CVRG) и Integrating d:AnalAnonymization and Sharing (iDASH) са два информационни ресурса, поддържани от nhlBi, които осигуряват сигурно съхранение на данни, интеграция и ресурси за анализ, които позволяват сътрудничество като същевременно минимизира тежестта върху потребителите Cvrg предоставя ресурси за сърдечно-съдовата изследователска общност за споделяне на данни и инструменти за анализ iDASH води развитието на технологии за запазване на поверителността и се насърчава интегрирана среда за споделяне и анализ на данни
Национален институт по биомедицински изображения и биоинженерство (NIBIB Разработване и стартиране на оперативно съвместим и куриран регистър на наноматериали, ръководен от tNIBIB institutks за създаване на регистър на наноматериали, чиято основна функция е устойчива и курирана информация за биологичните и екологичните взаимодействия на характеризираните от нас наноматериали, като както и връзки към свързани публикации, инструменти за моделиране, изчислителни резултати и насоки за производство Регистърът улеснява изграждането на стандарти и последователна информация за производството и характеризирането на наноматериалите, както и тяхното биологично взаимодействие Интернет базирана мрежа за договор за споделяне на медицински изображения, контролирано от пациента, разглежда осъществимостта на споделяне на изображения модел за тестване как болници, центрове за изображения и лекарски практики могат да прилагат споделяне на документи между предприятията за предаване на изображения и отчети за изображения. Като изследователски ресурс за сложни физиологични сигнали, PhysioNet предлага безплатен уеб достъп до големи колекции от записани физиологични сигнали (Physio Bank) и свързан с тях отворен код softwarePhysioToolkit) Всеки месец около 45 000 посетители по целия свят използват PhysioNet, извличайки около 4dale Neuroimaging Informatics Tools and Resource Clearinghouse (NITRC) е план на NIH за разпространение, споделяне на възприемане и енформатични инструменти и данни за невроизображения, като предоставя достъп, информация и форуми за взаимодействие на изследователската общност Регистрирани са над 450 софтуерни инструмента и набори от данни ornitRC сайтът има над 301 милиона посещения от стартирането си през 2007 г. Разширяемият nong Archive Toolkit (XNAT) е отворена информационна платформа, разработена от Neuroinformatics Research Group във Вашингтонския университет и идеално използвана от изследователски институции около Светът
XNAT facicommon managementmenproductivity и задачи за осигуряване на качество за изображения и свързаните с тях данни Ресурс за изчислителна анатомия и многоизмерно моделиране Лосанджелиската лаборатория за невро изображения (LOND) съхранява бази данни, които съдържат данни за изображения от няколко модални предимно различни форми на MR и домашни любимци, gerdata Болестта на Алцхаймер Neuroimaging Initiative (ADNi) е добър пример за проект, който събира данни от сайтове за придобиване в САЩ, прави данните анонимни, поставя ги под карантина, докато се извърши контрол на качеството (често незабавно) и след това ги прави достъпни за изтегляне от потребители по целия свят в различни формати Компютърно-подпомогнатата функционална база данни за неврохирургия разработва методи и техники за дълбоки мозъчни стимулатори Ss), използвани за лечение на болест на Паркинсон и други двигателни разстройства, централна база данни е разработена в университета Вандербилт (VU), който си сътрудничи с Ohio State и Wake
Тъй като клиничният работен процес и тереотактичните рамки в различните болници могат да варират, софтуерът за хирургично планиране е актуализиран и успешно Консорциумът на NIH за биомедицинска информационна наука и технология (BISTI) Консорциум за повече от десетилетие се присъедини към институтите и центровете в NIh, за да популяризира нациите научноизследователска медицинска информатика и изчислителна биология (biCE, популяризира редица програмни съобщения и финансира повече от милиард долара в изследвания В допълнение, сътрудничеството насърчи дейности в рамките на NIH, като приемането на съвременни практики за споделяне на данни и софтуер, така че плодовете на изследванията да бъдат правилно разпространени до Research CommunNIH BlueprintFramework(NF) е набор от уеб-базирани невронаучни ресурси: данни, материали и инструменти, достъпни чрез всеки компютър, свързан към интернет Aof the nih bnt for neurosResearch
NIF напредва в невронаучните изследвания, като дава възможност за откриване и достъп до публични изследователски данни и инструменти в световен мащаб чрез отворен код, мрежова среда. NIH Human Connectome Project е амбициозно усилие за картографиране на невронните пътища, които са в основата на функцията на човешкия мозък, и за споделяне на данни за структурната и функционална свързаностf човешкият мозък Проектът ще доведе до значителен напредък в нашето разбиране за това какво ни прави уникално човешки и ще постави началото на бъдещи изследвания на анормални мозъчни вериги при много неврологични и психиатрични разстройства. Общ фонд на NIH. на националната инфраструктура по биомедицинска информатика и изчислителна биология Осемте центъра създават иновативни софтуерни програми и други инструменти, които позволяват на биомедицинската общност да интегрира, анализира, симулира модели и споделя данни за човешкото здраве и болести Докладвани резултати MeSystem (PROMis) е система от високо надеждни, валидни, гъвкави, прецизни и отзивчиви инструменти за оценка, които измерват докладваното от пациентите състояние, основен ресурс е центърът за оценка, инструменти и база данни, помагат на изследователите да събират, съхраняват и анализират данни, свързани със здравния статус на пациентите Общи медицински науки
Моделите за изследване на причинителите на инфекциозни болести (MiDAs) са усилие за разработване на изчислителни и аналитични подходи за бързо интегриране на информация за инфекциозни болести и предоставянето на информация също трябва да бъде детайлизирано, с нуждите от достъп до данни, управление, анализ и 29моделиране на резултати за политиците на местно, държавно, национално и глобално ниво. Докато данните не трябва да се събират и интегрират глобално, тъй като политиките за обществено здраве се прилагат, инициативата за локална структурна геномика напредва в анализа на откриването и разпространението на триизмерни структури на протеини, РНК и други биологични макромолекули, представляващи цялата гама от структурни разнообразие, открито в природата, за да се улесни фундаменталното разбиранебиология, селско стопанство и медицина. Световните усилия включват финансираната от NId инициатива Tein Structure Структурни геномни центрове за инфекциозни болести StructuStockholm и riken Systems и структурна биология centapan
Тези усилия координират техния избор на целева последователност чрез централна база данниTargetDB, хоствана в Базата знания за структурна биологияWorld Wide Protein Data Bank(wwPDB), хранилище за събиране, архивиране и безплатно разпространение на висококачествена макромоструктурна актуална основа, представлява изключителният източник на експериментално определена макромолекулна структура информационни изследвания и преподаване в биологията, биологичната химия и медицината Компонентът на САЩ на проекта (RCSB PDB) се финансира съвместно от пет института на NIhDOE/BER и NSF, както и от участници в Обединеното кралство и Япония. Единната банка данни вече съдържа експериментални структури и свързани анотация за 80 000 макромолекулни структури Уеб сайтът получава 211 000 уникални посетители на месец от 140 различни държави Около ерабайт данни се прехвърлят всеки месец от уебсайта Изследователска мрежа за биомедицинска информатика (BIRN национална инициатива за напреднали медицински изследвания чрез споделяне на данни и сътрудничество, предоставя управлявана от потребителите , базирана на софтуер frameworkearch teto споделяне на големи количества данни - бързо I частно - през географско разстояние и/или несъвместими изчислителни системи, обслужващи разнообразни изследователски общности Национална библиотека по медицина и информатика за интегриране на биологията и леглото (i2b2), търси създаването на инструменти и здравни и биомедицински изследвания Софтуерни инструменти за създаване данните, разработени от 12b2, се използват в повече от 50 организации по целия свят чрез open
Офис за поведенчески и социални науки (OBSSR) Програмата Национален архив на компютъризирани данни за стареенето (NACDA) напредва в изследванията на стареенето, като помага на изследователите да се възползват от недостатъчно използвания потенциал на широк набор от набори от данни, които NACD съхранява и предоставя на разположение най-големите библиотека с електронни данни Съединените щати Споделяне на данни за демографски изследвания (DSDR) осигурява архивиране на данни, разпространение на съхранение и други инфраструктурни услуги за данни DSDR работи за унифицирана правнотехническа и материална рамка, в която да се споделят изследователски данни в областта на науките за населението Съвместна програма Nih-nSf Съвместните изследвания в Компютърната невронаука (CRCNS) не е програма NIh-NsF за подпомагане на съвместни изследователски проекти между компютърни учени и механизми, лежащи в основата на разстройствата на нервната система и изчислителните стратегии, използвани от tha 2, невролози, които ще подобрят разбирането на структурата на нервната система и функционалната нервна система. През последните години германското федерално министерство на образованието и научните изследвания също се присъедини към програмата и подкрепи изследванията в Германия НАЦИОНАЛНА НАУЧНА ФОНДАЦИЯ (NSF)C
ore Techniques and Technologies for Advancing Big Data Science Engineering (BIGDATA)een NSf и nih, които имат за цел да усъвършенстват основните научни и технологични средства за управление, анализиране, визуализиране и извличане на полезна информация от разнообразни, разпределени и хетерогенни набори от данни
По-конкретно, той ще подпомогне разработването и оценката на технологии и инструменти за събиране и управление на данни, сътрудничества за дати, които ще позволят революционни открития и иновации в науката, инженерството и медицината - полагане на основите за USCyberinfrlidates координати и на усъвършенствани киберинфрастид усилия в NSF за създаване значима киберинфраструктура, както и разработване на ниво на интеграция и оперативна съвместимост и инструменти за подпомагане на науката и образованието CIF2I TrackGERT NSf сподели с общността си планове за създаване на нов CIFtrack като част от своята програма за интегративно следдипломно образование и стажове за научни изследвания (IGERT) Тази песен има за цел да образова и подкрепа на ново поколение изследователи, способни да се справят
За редактора Майкъл Ербшло е работил повече от 30 години, извършвайки анализи на икономиката на информационните технологии, публичната политика, свързана с технологиите, и използването на технологиите в процесите на реинженеринг на организацията Той е автор на няколко книги по социални и управленски въпроси на информационните технологии, които са публикувани от Mc Graw Хил и други големи издатели. Той също така е преподавал в няколко университета и е разработил учебна програма, свързана с технологиите
Кариерата му е фокусирана върху няколко взаимосвързани области Технологична стратегия, анализ и прогнозиране Преподаване и разработване на учебни програми документи и статии Публикуване и редакция Анализ на публична политика и оценка на програми Книги от Майкъл Ербшло Червено ниво на заплаха: Програми за изследване на киберсигурността на правителството на САЩ (CRC Press) Война в социалните медии: Равно оръжие Достъп за подобряване на организационните условия за всички (auerbach Publications) Сигурност (Auerbach Publications) Физическа сигурност за IT (Elsevier SciTrojans, Worms и Spyware (Butterworth-Heinemann) Implementing Homeland Security in Enterprise IT (Digital Press) Ръководство за Disaster Recovery (Course Technology Социално отговорен ИТ мениджмънт (Digital PressInformation Warfare: Как да оцелеем при кибер атаки (McGraw Hill) Ръководство на изпълнителния директор за управление на поверителността (McGraw hill) Мрежова поверителност: Ръководство за разработване на внедряване на e-blPrivacy Plan (McGraw Hill)
nвъведениеПрез март 2012 г. администрацията на Обама обяви „Инициативата за изследване и развитие на големи данни“ Чрез подобряване на способността за извличане и прозрения от големи и сложни колекции от цифрови данни, инициативата обещава да помогне за ускоряване на темпото на открития в науката и инженерството, да укрепи нашата национална сигурност, и трансформират преподаването и ученето в нови ангажименти, които заедно обещават да подобрят значително инструментите и техниките. вече спонсорира изследвания, свързани с големи данни и университети
Университетите започват да създават нови курсове – и цели курсове на Data without Borders помагат за безвъзмездно събиране, анализ и визуализация на данни без предварително предоставяне. OSTP би бил много заинтересован да подкрепи създаването на форум за подчертаване на нови публично-частни партньорства, свързани с Голяма информация
Големи данни във федералното правителство 29 март 2012 г. По-долу са акцентите на текущите федерални правителствени програми, които се справят с предизвикателствата и се възползват от възможностите, предоставени от революцията на големите данни за напредък в мисиите на агенциите и по-нататъшни научни открития и иновации МИНИСТРЕСТ НА ОТБРАНАТА (DODData to Decisions : Министерството на отбраната (DOD) „залага голямо количество на големи данниa, инвестирайки 250 милиона долара годишно (с S60 милиона налични за нови изследователски проекти) във военните министерства в поредица от програми, които ще впрегнат и използват масивни данни по нови начини и обединяват усещането, възприятието и подкрепата за вземане на решения, за да създадат наистина автономни системи, които могат да маневрират и да вземат решения относно операциите, Департаментът търси 100-кратно увеличаване на способността за информация от текстове на всеки език и подобно увеличение на броя на обектните дейности, и събития, които анализаторът може да наблюдава Големи данни, които отговарят на тези и други изисквания, dod ще обяви поредица от открити състезания с награди през следващите няколко месеца АГЕНЦИЯ ЗА НАПЪЛНЕНИ ИЗСЛЕДОВАТЕЛСКИ ПРОЕКТИ НА ОТБРАНАТА (Програмата DARPAtectionle Scales (ADAMs) се занимава с проблема с откриването на аномалии и данните от символи са предназначени да насочат събирането на допълнителна, приложима информация в голямо разнообразие от реални контексти
TADAMS application domainder -threat detectionianomalous действия от индивид се откриват на фона на рутинна мрежова Cyber-Insider Threat (CINDER) програма се стреми да разработи нови подходи за откриване на дейности, съвместими с кибер шпионаж във военни компютърни мрежи Като средство за разкриване на скрити операции , CINDER ще прилага различни модели на adversarynormal
активност във вътрешните мрежи CINDER също има за цел да повиши точността, скоростта и скоростта, с които се откриват кибернетични заплахи. Програмата Insight адресира ключови недостатъци в текущите системи за разузнаване, наблюдение и разузнаване. Автоматизацията на разсъжденията на машината позволява на операторите да анализират по-голям брой потенциални заплахи преди чувствителни ситуации Програмата Insight има за цел да разработи система за управление на ресурсите за автоматично идентифициране на мрежи за заплаха и нередовни военни операции чрез анализ на информация от сензори за изображения и сензори без изображения и други източници Програми за машинно четене за реализиране на изкуствен интелект чрез разработване на системи за обучение, които обработват естествен текст и вмъкват полученото семантично представяне в основата на знанието, възприемането и представянето на знанието във времето изискват експертни и свързани инженери по знания за ръчна изработка. Програмата mind's eye се стреми да развие способност за "визуална интелигентност" в машините, докато традиционното изследване на машинното зрение е постигнало напредък в разпознаването на широк спектър от обекти и техните свойства - какво може да се смятат за съществителни в описанието на сцената - Mind's Eye се стреми да добави перцептивните и когнитивни основи, необходими за разпознаване и разсъждение относно глаголите в тези сцени
Заедно тези технологии биха могли да създадат визуален разказ. Ориентираната към мисията програма Resilient Clouds има за цел да се справи с предизвикателствата, свързани със сигурността, присъщи на компютрите, чрез разработване на технологии за откриване, диагностициране и реагиране на атаки, ефективно изграждане на „здравна система на общността“ за облака. има за цел да разработи технологии, които да позволят на облачните приложения и инфраструктура да продължат да функционират, хостове и задачи в рамките на облачния ансамбъл биха били успешни Програмиране на изчисления върху криптирани данни (PROCEED) търсенето на усилия ще се превърне в голямо предизвикателство за информационната сигурност в облачно-съвместими среди чрез разработване на практически методи и свързани модерни програмни езици за изчисления ondada thatrypted през цялото време, докато го декриптира, противниците ще имат по-трудно време да прихванат видео данни и програмата за инструмент за извличане и анализ на изображения (virat) има за цел да разработи система, която предоставя на анализаторите на военни изображения способността да експлоатират количеството събрани режийни разходи Ако viRaT ще позволи предупреждаващи дейности и събития, представляващи интерес, когато се случват, VIRAT също се стреми да разработи инструменти, които биха позволили на анализаторите бързо да извличат, с висока точност и извикване, видео съдържание от изключително големи видео библиотеки
Програмата XDATA се стреми да разработи изчислителни техники и софтуерно анализиране на големи обеми полуструктурирани и неструктурирани данни Основните предизвикателства, които трябва да бъдат адресирани, включват мащабируеми алгоритми за обработка на несъвършени данни в разпределени хранилища на данни и ефективни инструменти за взаимодействие човек-компютър, които могат бързо да се персонализират, за да улеснят визуалното обосноваване на разнообразни мисии
Програмата предвижда набори от софтуерни инструменти с отворен код за гъвкав софтуер за декодиране на големи обеми данни, насочени към отложено приложение. ДЕПАРТАМЕНТ ЗА ВЪТРЕШНА СИГУРНОСТ (DHS) Център за върхови постижения по визуализация и анализ на данни (CVADA), сътрудничество между изследователи от университета Рутгерс и университета Пърдю (с три допълнителни университети-партньори всеки) ръководи изследователски усилия върху големи, разнородни данни, които Първите реагиращи биха могли да използват за справяне с проблеми, вариращи от предизвикани от човека или природни бедствия до терористични инциденти; съображения за сигурност на границите на правоприлагането; и експлозиви за кибернетични заплахи ДЕПАРТАМЕНТ ПО ЕНЕРГЕТИКА (DOE) Служба за напреднали научни компютърни изследвания (ASCR) осигурява лидерство в общностите за управление на данни, визуализация и анализ на данни, включително цифрово съхранение и общ достъп. Програмите в рамките на пакета включват широко използвани технологии за управление на данни, като например научния работен процес Kepler система; и стандарт за управление на ресурси за съхранение; Разнообразие от технологии за съхранение на данни като bestman насипните данни ме Адаптивна IO система (ADIOS); Технология за индексиране на данни FastBit (използвана от Yahoo!) и две Високопроизводителна система за съхранение (HPSs) е софтуер, който управлява петабайти данни на дискове и роботизирани лентови системи. Разработен от DOE и iBM с входни данни от лаборатории по целия свят, HPSS се използва от цифрови библиотеки, отбранителни приложения и набор от дисциплини, включително нанотехнообразуване, ядрена физика, изчислителна динамика на флуидите, наука за климата и т.н., както и Northrop grumman, НАСА и библиотеката на КонгресаМатематиката за анализ на петаскални данни се занимава с математическите предизвикателства на екстраинсайти от огромни научни набори от данни и намиране на ключ характеристики и разбиране на връзките между тези функции Изследователските области включват машинно обучение, анализ в реално време на поточно предаване на данни, стохастични нелинейни техники за редуциране на данни и мащабируеми техники за статистически анализ, приложими към широк спектър от приложения на DOE, включително данни от сензори от
Програмата за мрежи от следващо поколение поддържа инструменти, които позволяват изследователски сътрудничества за намиране, преместване и използване на големи данни: от globus Middleware Project през 2001 г., до gridFTP протокола за трансфер на данни през 2003 г., до Earth Systems Grid (EsG) през 2007 г. Днес, GridFTP сървърите преместват над 1 петабайт научни данни на месец за Open Science Grid, ESG и Biologys, като са използвани от сътрудничеството на Texd oils за обучение на студенти по най-съвременни петролни инженерни методи и интегриран работен процес на офис на основните енергийни науки (BESBES Scientific Потребителските съоръжения са подкрепили редица усилия, насочени към подпомагане на потребителите с управление на данни и анализ на големи данни, които могат да бъдат толкова големи, колкото йерабайта (10 12 байта) ден за данни от един експеримент. Например, ускоряването на събирането на данни, намаляването и анализът ( ADARA) проектът е насочен към нуждите на работния поток от данни на спалацията NeutronCoherent X-ray Imaging Data Bank е създадена, за да увеличи максимално наличността на данни и ефективното използване на синхротронния източник Данни и комуникации в семинара по основни енергийни науки през октомври 2011 г. Спонсориран от ES и ASCR, идентифицирани нужди от експериментални данни, които биха могли повлияе на прогреса на научните открития
Програмата за биологични и екологични изследвания (BER), Измерване на атмосферната радиация (ARM) предлага мултиплатформено научно потребителско съоръжение, което предоставя инфраструктурата на международната общност за получаване на ключови атмосферни явления, необходими за напредъка в разбирането на атмосферните процеси и климатичните модели, налични са данни за ръката и използва се като ресурс за над 100 наши статии годишно. Предизвикателствата, свързани със събирането и представянето на висока времева разделителна способност и спектрална информация от стотици инструменти, са насочени към посрещане. Systems BKnowledgebase (Kbase) е управлявана от общността софтуерна рамка, позволяваща прогнози на базата на данни на микроби, растителна и биологична общност функционира в контекста на околната среда, kbase е разработен с отворен дизайн за подобряване на ефективността на алгоритмичното развитие и разгръщане, както и за достъп до и интегриране на експериментални данни от разнородни източници, Kbase не е типична паза, а средство за тълкуване на липсващи Службата за науки за термоядрената енергия (FES)
Партньорството Scientific Discovery through Advanced Computing (SciDAC) между FES и офиса на Advanced Scientific Computing Research (ASCR) е насочено към предизвикателствата с големи данни, свързани с изчислителните и експериментални изследвания в областта на науката за термоядрената енергия. Технологиите за управление на данни, разработени от партньорствата ASCr-FES, включват висока производителност /изходни системи, усъвършенстван научен работен процес и рамки за произход и нужди от технология за синтез на изолация, които привлякоха европейските усилия за интегрирано моделиране и ITER, международно изследване на ядрения синтез и Службата за физика на високите енергии (HEP) Програмата Computational High Energy Physics подкрепя изследванията за анализ на набори от експериментални данни на largomplex, както и големи обеми симулирани данни - начинание, което обикновено изисква глобални усилия от стотици учени
Съвместните инициативи за управление на големи данни включват PanDA (Производство и разпределен анализ) Система за управление на работното натоварване и XRootD, високоефективен, устойчив на грешки софтуер за бърз, мащабируем достъп до различни видове хранилища за данни в офиса на Nuclear Physics (NP) Програмата за ядрени данни на САЩ ( USNDP) е многосайтово усилие, включващо седем национални лаборатории и университети, което поддържа и предоставя достъп до обширни, специализирани бази данни spanningysics, които компилират и проверяват всички съответни много важни свойства на nuclehe Службата за научна и техническа информация (OSTIOSTI, единствената федерална служба на САЩ агенция, член на Data Cite (глобален консорциум от водещи научни и технически информационни технологии за практиката на цитиране на данни, което позволява ефективно повторно използване и верифициране на данни, така че въздействието на данните да може да бъде проследено, и може да бъде установена структура на схема, която да познава и възнаграждава производителите на данни ОТДЕЛ НА ВЕТЕРАНСКИТЕ ВЪПРОСИ (VA)
Консорциумът за изследване на информатиката в здравеопазването (Chir) разработва инструменти за обработка на естествен език (NLP), за да отключи огромно количество информация, която в момента се съхранява във Va as (Pro Watch: Полагат се усилия в va за създаване на прозрачни, възпроизводими и многократно използваем софтуер за наблюдение на различни събития, свързани с безопасността Pro Watch е базирана на изследвания програма за наблюдение, която разчита на новоразработени информационни ресурси за откриване, проследяване и измерване на здравословни състояния, свързани с военно разгръщане.AVivA е системата за заетост от следващо поколение Vas, която ще базира база данни от бизнес приложенията и от базиран на браузър потребителски интерфейс
Аналитичните инструменти вече се изграждат въз основа на изследвания и подкрепа на решенията при сблъсъка с пациента. Проектът за наблюдение на медицинските резултати е предназначен да сравнява валидността, осъществимостта и ефективността на аналитични методи за наблюдение на безопасността. Corporate Data Warehouse (CDw) е va програма за организатори с доставка до точката на грижи за пълен поглед върху заболяването и резултатите от лечението на индивиди и популации Хранилището на здравни данни стандартизира терминологията и формата на данните между доставчиците на здравни услуги и по-специално между Va и dOD, позволявайки на Cdw да интегрира данни Геномна информационна система за Inciencecare за ветерани чрез персонализирана медицина GenISIs консорциумът служи за клинични проучвания с достъп до електронните здравни досиета и генетични данни, за да могат да се провеждат клинични изпитвания, геномни изпитвания и проучвания на резултатите в Програмата за ветерани на Valillian набира доброволни проби от ветерани foenotypiort консорциума genisis и ще бъдат приписани на "фенотипа" " в индивидуалните здравни досиета на ветерани за understato DVA Informatics and Computing Infrastructure осигурява аналитично работно пространство и за анализ на големи масиви от данни, които вече са налични във VA, насърчавайки съвместни изследвания отвсякъде в мрежата на Va. ЗДРАВЕ И ХУМАЛИ УСЛУГИ (HHSDasease Control Prevention(CDC)