Использование многопоточности в циклах

Question

У меня есть программа, которая извлекает данные с веб-сайта, то есть 1-го получает категории и подкатегории и сохраняет их в таблице категорий. Затем отображает соответствующий URL категории и извлекает продукты.

У меня есть внешняя петля, которая пересекает URL-адреса категории и внутренний цикл для обработки разбиения на страницы и еще один внутренний цикл для извлечения продуктов.

Вот мой код

For item As Integer = 0 To tempTable.Rows.Count - 1 
'main loop 

    For cycleCount As Integer = -1 To pageNodes.Count - 1 
     'pagination loop 

     For Each product As HtmlNode In products 
     'retrive products here 
     Next 


    Next 

Next 

Обычно мой код работает отлично. Но я хочу применить многопоточность. Поэтому я использовал TPL (параллельную библиотеку задач) в основном цикле.

т.е.

Parallel.For(0, tempTable.Rows.Count - 1, Sub(item) 
'main loop 

    For cycleCount As Integer = -1 To pageNodes.Count - 1 
     'pagination loop 

     For Each product As HtmlNode In products 
     'retrive products here 
     Next 


    Next 

End Sub) 

только 2 до 4 записи быть вставлена, но с дублированием элементов и после этого кода аварий пришла эта ошибка: «Один или несколько ошибок произошла»

Итак, как я реализовать многопоточность в моем коде?

Answer 1

Вы используете Parallel.For ошибочно. Если вы прочтете ожидаемые аргументы для вашей конфигурации (напишите Parallel.For( и дождитесь всплывающего окна), вы увидите, что второй аргумент - toExclusive. Таким образом, чтобы подражать For item As Integer = 0 To tempTable.Rows.Count - 1, вы должны написать Parallel.For(0, tempTable.Rows.Count, Sub(item). Если вы измените это, ваш код должен работать нормально.

- ОБНОВЛЕНИЕ

Пример кода с простым чтобы быть отслеживаемых массивы, показывающие, что предлагаемое преобразование позволяет ваш код работать нормально.

Dim resultString As String = "" 
Dim products(2) As Integer 
products(0) = 1 
products(1) = 2 
For item As Integer = 0 To 1 
    'main loop 
    For cycleCount As Integer = 0 To 1 
     'pagination loop 

     For Each product As Integer In products 
      'retrive products here 
      resultString = resultString & "-" & product.ToString() 
     Next 
    Next 
Next 

Dim resultString2 As String = "" 
Parallel.For(0, 2, Sub(item) 
         'main loop 

         For cycleCount As Integer = 0 To 1 
          'pagination loop 

          For Each product As Integer In products 
           'retrive products here 
           resultString2 = resultString2 & "-" & product.ToString() 
          Next 

         Next 

        End Sub) 

Вы можете сравнить как resultString и resultString2 и убедитесь, что обе выходные переменные точно так же значение, таким образом, цикл справедливо преобразуется.