Я столкнулся с тупиком с некоторым кодом R, который я написал, и я подумал, что, может быть, вы знаете, как сделать все это выполнимым, в том смысле, что эффективность может быть улучшена.R - grepl более 7 миллионов наблюдений - как повысить эффективность?
Итак, что я пытаюсь сделать, это следующее:
У меня твит набор данных с ~ 7 миллионов наблюдений. В настоящее время меня не интересуют тексты твитов или любые другие метаданные, но только в поле «Местоположение» , поэтому я извлек эти данные в новый файл data.frame, который содержит переменную местоположения (строка) и новая, в настоящее время пустая переменная «isRelevant» (логическая). Кроме того, у меня есть вектор, содержащий текстовую информацию, форматированную следующим образом: «Placename (1) | Placename (2) [...] | Placename (i)». То, что я пытаюсь сделать, - grepl
каждой строке переменной местоположения, чтобы увидеть, есть ли совпадение с вектором Placenames, и если да, верните «ИСТИННО» в переменной isRelevant и верните «ЛОЖЬ», если нет.
Чтобы сделать это, я написал несколько R-код, который в основном сводится к этой линии:
locations.df$isRelevant <- sapply(locations.df$locations, function(s) grepl(grep_places, s, ignore.case = TRUE))
причем grep_places
список возможных терминов согласования, разделенных «|» символов, чтобы R знал, что он может соответствовать любому из элементов в векторе. Я запускаю это на удаленном высокопроизводительном компьютере, который обеспечивает более 2 Тбайт ОЗУ с использованием RStudio (R 3.2.0), и я запускаю его с помощью «pbsapply», который предоставляет мне индикатор выполнения. Как оказалось, это принимает смешно длинный. Это сделано примерно на 45% на сегодняшний день (я начал его более недели назад), и он говорит, что для его завершения еще потребуется 270 часов. Это, очевидно, не очень эффективная ситуация, так как мне придется запускать аналогичный код в будущем, используя большие массивы данных. У вас есть представление о том, как я мог бы выполнить эту работу в более приемлемые сроки, возможно, в один прекрасный день или что-то в этом роде (имея в виду суперсильный компьютер).
EDIT
Вот некоторые полу смоделированных данных, чтобы указать, что я работаю с примерно выглядит следующим образом:
print(grep_places)
> grep_places
"Acworth NH|Albany NH|Alexandria NH|Allenstown NH|Alstead NH|Alton NH|Amherst NH|Andover NH|Antrim NH|Ashland NH|Atkinson NH|Auburn NH|Barnstead NH|Barrington NH|Bartlett NH|Bath NH|Bedford NH|Belmont NH|Bennington NH|Benton NH|Berlin NH|Bethlehem NH|Boscawen NH|Bow NH|Bradford NH|Brentwood NH|Bridgewater NH|Bristol NH|Brookfield NH|Brookline NH|Campton NH|Canaan NH|Candia NH|Canterbury NH|Carroll NH|CenterHarbor NH|Charlestown NH|Chatham NH|Chester NH|Chesterfield NH|Chichester NH|Claremont NH|Clarksville NH|Colebrook NH|Columbia NH|Concord NH|Conway NH|Cornish NH|Croydon NH|Dalton NH|Danbury NH|Danville NH|Deerfield NH|Deering NH|Derry NH|Dorchester NH|Dover NH|Dublin NH|Dummer NH|Dunbarton NH|Durham NH|EastKingston NH|Easton NH|Eaton NH|Effingham NH|Ellsworth NH|Enfield NH|Epping NH|Epsom NH|Errol NH|Exeter NH|Farmington NH|Fitzwilliam NH|Francestown NH|Franconia NH|Franklin NH|Freedom NH|Fremont NH|Gilford NH|Gilmanton NH|Gilsum NH|Goffstown NH|Gorham NH|Goshen NH|Grafton NH|Grantham NH|Greenfield NH|Greenland NH|Greenville NH|Groton NH|Hampstead NH|Hampton NH|HamptonFalls NH|Hancock NH|Hanover NH|Harrisville NH|Hart'sLocation NH|Haverhill NH|Hebron NH|Henniker NH|Hill NH|Hillsborough NH|Hinsdale NH|Holderness NH|Hollis NH|Hooksett NH|Hopkinton NH|Hudson NH|Jackson NH|Jaffrey NH|Jefferson NH|Keene NH|Kensington NH|Kingston NH|Laconia NH|Lancaster NH|Landaff NH|Langdon NH|Lebanon NH|Lee NH|Lempster NH|Lincoln NH|Lisbon NH|Litchfield NH|Littleton NH|Londonderry NH|Loudon NH|Lyman NH|Lyme NH|Lyndeborough NH|Madbury NH|Madison NH|Manchester NH|Marlborough NH|Marlow NH|Mason NH|Meredith NH|Merrimack NH|Middleton NH|Milan NH|Milford NH|Milton NH|Monroe NH|MontVernon NH|Moultonborough NH|Nashua NH|Nelson NH|NewBoston NH|NewCastle NH|NewDurham NH|NewHampton NH|NewIpswich NH|NewLondon NH|Newbury NH|Newfields NH|Newington NH|Newmarket NH|Newport NH|Newton NH|NorthHampton NH|Northfield NH|Northumberland NH|Northwood NH|Nottingham NH|Orange NH|Orford NH|Ossipee NH|Pelham NH|Pembroke NH|Peterborough NH|Piermont NH|Pittsburg NH|Pittsfield NH|Plainfield NH|Plaistow NH|Plymouth NH|Portsmouth NH|Randolph NH|Raymond NH|Richmond NH|Rindge NH|Rochester NH|Rollinsford NH|Roxbury NH|Rumney NH|Rye NH|Salem NH|Salisbury NH|Sanbornton NH|Sandown NH|Sandwich NH|Seabrook NH|Sharon NH|Shelburne NH"
head(location.df, n=20)
> location isRelevant
1 London NA
2 Orleans village VT USA NA
3 The World NA
4 D M V Towson NA
5 Playa del Sol Solidaridad NA
6 Beautiful Downtown Burbank NA
7 <NA> NA
8 US NA
9 Gaithersburg Md NA
10 <NA> NA
11 California NA
12 Indy NA
13 Florida NA
14 exsnaveen com NA
15 Houston TX NA
16 Tweaking NA
17 Phoenix AZ NA
18 Malibu Ca USA NA
19 Hermosa Beach CA NA
20 California USA NA
Спасибо заранее всем, я бы серьезно признателен за любую помощь с этим.
Это разумный вопрос, как он стоит, но было бы лучше, если бы вы предоставили немного (имитируется) для предоставления [воспроизводимого примера] (http://stackoverflow.com/questions/5963269/how-to-make-a-great-r-reproducible-example) ... –
Привет, Бен. Извините за упущение. Я добавил некоторые данные сейчас. ура! – nikUoM
Возможно, вам повезло с некоторыми функциями в пакете 'stringi', которые, как правило, превосходят другие регулярные выражения. – nrussell