Извлечение правильных значений формы входной тег .. изображения предоставлены :)

Question

Я использую scipping scraw spraw и пытаюсь разобрать выходные страницы, чтобы выбрать какой-либо параметр входного тега (тип, идентификатор, имя), каждый тип данных выбран в элемент так что она будет храниться в базе данных позже что-то вроде этого:

Database Table_1 
╔════════════════╗ 
║  text  ║ 
╠════════════════╣ 
║ id │ name ║ 
╟──────┼─────────╢ 
║  │   ║ 
╟──────┼─────────╢ 
║  │   ║ 
╚══════╧═════════╝ 

то же самое будет в пароле и файл, но,

Проблема я лицо, что извлекает XPath весь тег !!

from scrapy.contrib.spiders import CrawlSpider, Rule 
from scrapy.contrib.linkextractors.sgml import SgmlLinkExtractor 
from scrapy.selector import HtmlXPathSelector 
from scrapy.item import Item, Field 
from isa.items import IsaItem 


class MySpider(CrawlSpider): 
    name = 'example.com' 
    allowed_domains = ['testaspnet.vulnweb.com'] 
    start_urls = ['http://testaspnet.vulnweb.com'] 


    rules = (
      Rule(SgmlLinkExtractor(allow=('/*')),callback='parse_item'),) 

    def parse_item(self, response): 
     self.log('%s' % response.url) 

     hxs = HtmlXPathSelector(response) 
     item=IsaItem() 
     text_input=hxs.select("//input[(@id or @name) and (@type = 'text')]").extract() 
     pass_input=hxs.select("//input[(@id or @name) and (@type = 'password')]").extract()  
     file_input=hxs.select("//input[(@id or @name) and (@type = 'file')]").extract() 

     print text_input , pass_input ,file_input 
     return item 

Выход

me@me-pc:~/isa/isa$ scrapy crawl example.com -L INFO -o file_nfffame.csv -t csv 
2012-07-02 12:42:02+0200 [scrapy] INFO: Scrapy 0.14.4 started (bot: isa) 
2012-07-02 12:42:02+0200 [example.com] INFO: Spider opened 
2012-07-02 12:42:02+0200 [example.com] INFO: Crawled 0 pages (at 0 pages/min), scraped 0 items (at 0 items/min) 
[] [] [] 
[] [] [] 
[] [] [] 
[u'<input name="tbUsername" type="text" id="tbUsername" class="Login">'] [u'<input name="tbPassword" type="password" id="tbPassword" class="Login">'] [] 
[] [] [] 
[u'<input name="tbUsername" type="text" id="tbUsername" class="Login">'] [u'<input name="tbPassword" type="password" id="tbPassword" class="Login">'] [] 

[] [] [] 
2012-07-02 12:42:08+0200 [example.com] INFO: Closing spider (finished) 

Answer 1

Если я вас понял правильно, вы хотите, чтобы извлечь значения атрибутов из входов.

Ваш текущий XPath дает вам целые узлы, потому что это то, о чем вы просите. Селекторы XPath подходят к узлу узла, но не за его пределами, к определенному атрибуту этого узла.

Чтобы получить узла атрибута id, а не сам узел:

some/xpath/query/@id 

Answer 2

Использование:

//yourCurrentExpression/@id 

, чтобы получить id атрибуты.

Использование:

//yourCurrentExpression/text() 

для получения текста узла ребенка любого выбранного по yourCurrentExpression элемента.

Наконец, вы могли бы объединить эти два выражения в один:

//yourCurrentExpression/@id | //yourCurrentExpression/text() 

Это производит узел-лист, где его элементы упорядочены, как: (id-attribute, text-node)*, другими словами, выбранные узлы представлены в порядок документа.