Оптимизация запроса SQL Server 2012

У меня есть запрос, который работает 12 часов.Оптимизация запроса SQL Server 2012

Запрос оставил присоединение к 5 таблицам и отчетам по кучке месячных показателей. Вот запрос:

SELECT DATEPART(YYYY,Referral_dt) AS RefYear, DATEPART(MM,Referral_dt) AS RefMonth, 
     CASE 
      WHEN CAST(Referral_dt as date) BETWEEN '1/1/2013' AND '4/14/2013' THEN 'Q1' 
      WHEN CAST(Referral_dt as date) BETWEEN '4/15/2013' AND '7/14/2013' THEN 'Q2' 
      WHEN CAST(Referral_dt as date) BETWEEN '7/15/2013' AND '9/30/2013' THEN 'Q3' 
      WHEN CAST(Referral_dt as date) BETWEEN '10/1/2013' AND '12/31/2013' THEN 'Q4' 
      WHEN CAST(Referral_dt as date) BETWEEN '1/1/2014' AND '4/14/2014' THEN 'Q1' 
      WHEN CAST(Referral_dt as date) BETWEEN '4/15/2014' AND '7/14/2014' THEN 'Q2' 
      WHEN CAST(Referral_dt as date) BETWEEN '7/15/2014' AND '9/30/2014' THEN 'Q3' 
      WHEN CAST(Referral_dt as date) BETWEEN '10/1/2014' AND '12/31/2014' THEN 'Q4' 
     ELSE 'X' END as RefQtr, 
     crm.salesstatuscode, crm.Referral_State, crm.lead_source, mp.mcc_desc, mp.mcc_industry, sr.manager_name, sr.payrollname, 
     sr.region as Sales_Region,sr.market as Sales_Market, sr.saleschannel as SalesChannel, Bk.SuperRegion_Name as Bank_SuperRegion, 
     Bk.Region_Name as Bank_Region ,Bk.Division_Name as Bank_Division, 
     sum(case when crm.referral_state = 'Won' then 1 else 0 end) as referrals_won, sum(sv.projected_profit) as prj_profit, 
     sum(case when mp.proposal_Date is null then 0 else 1 end) as proposals_created, sum(ac.signed_annual_volume) as total_signed_volume, 
     sum(case when ac.Acct_Act_Date is null then 0 else 1 end) as activated_accounts, COUNT(*) as referral_count 
     into moagg1 
FROM kaiserver.dbKAI.dbo.Referrals_CRM CRM 
    LEFT JOIN (SELECT p.merchant_id, CAST(p.proposal_create_dt as date) as Proposal_Date, m.mcc_desc, m.mcc_industry 
       from kaiserver.[dbKAI].[dbo].[proposals] p 
       left join (SELECT mcc, mcc_desc, mcc_industry from kaiserver.[dbKAI].[dbo].[merchantcategorycode]) m 
       on p.mcc = m.mcc where datepart(yyyy,proposal_create_dt) in ('2013', '2014')) mp 
     ON crm.merchant_id = mp.merchant_id 
    LEFT JOIN (SELECT account_no, CAST(Account_Activate_dt as date) as Acct_Act_Date, signed_annual_volume, average_tkt 
       from kaiserver.[dbKAI].[dbo].[Account] 
       where current_ind=1 and datepart(yyyy,account_submit_dt) in ('2013', '2014')) ac 
    ON crm.account_no = ac.account_no 
    LEFT JOIN (SELECT e1.repid, e1.repcode, e1.payrollname, e1.salesmanager, e2.payrollname as manager_name, 
      e1.region,e1.market, e1.saleschannel 
      FROM [fdserver].fdms.[dbo].[tbl_reps] e1 LEFT JOIN [fdserver].fdms.[dbo].[tbl_reps] e2 
        ON e1.salesmanager = e2.repid 
      WHERE e1.market not like ('%TEST%') and e1.payrollname is not null and e1.region is not null and e1.market is not null) SR 
    ON CRM.Sales_Rep_Cd = SR.Repcode 
    LEFT JOIN (SELECT [AU_name], [AU_Code] ,[SuperRegion_Name], [Region_Name] ,[Division_Name], 
        [SubDivision_Name] ,[District_Name] ,[SubDistrict_Name] 
      FROM kaiserver.[dbKAI].[dbo].[BankAU_Hierarchy] 
      WHERE [Reporting_Interval_Id] = '201410') BK 
    ON CRM.referral_au = BK.AU_code 
    LEFT JOIN (select merchantnumber, projected_profit from kaiserver.[dbKAI].[dbo].[SoldVolumeDetail]) sv 
    ON crm.account_no = sv.merchantnumber 
    WHERE DATEPART(YYYY, Referral_dt) in ('2013', '2014') 
      AND (crm.salesstatuscode <> 'DUPL' or crm.salesstatuscode is null) 
      AND crm.lead_source not in ('Test Lead', 'Bank Lead Placeholder') 
    group by DATEPART(YYYY,Referral_dt), DATEPART(MM,Referral_dt), crm.Referral_State, crm.salesstatuscode, crm.lead_source, mp.mcc_desc, 
    mp.mcc_industry, sr.manager_name, sr.payrollname, sr.region,sr.market, sr.saleschannel, Bk.SuperRegion_Name, Bk.Region_Name ,Bk.Division_Name, 
    CASE 
     WHEN CAST(Referral_dt as date) BETWEEN '1/1/2013' AND '4/14/2013' THEN 'Q1' 
     WHEN CAST(Referral_dt as date) BETWEEN '4/15/2013' AND '7/14/2013' THEN 'Q2' 
     WHEN CAST(Referral_dt as date) BETWEEN '7/15/2013' AND '9/30/2013' THEN 'Q3' 
     WHEN CAST(Referral_dt as date) BETWEEN '10/1/2013' AND '12/31/2013' THEN 'Q4' 
     WHEN CAST(Referral_dt as date) BETWEEN '1/1/2014' AND '4/14/2014' THEN 'Q1' 
     WHEN CAST(Referral_dt as date) BETWEEN '4/15/2014' AND '7/14/2014' THEN 'Q2' 
     WHEN CAST(Referral_dt as date) BETWEEN '7/15/2014' AND '9/30/2014' THEN 'Q3' 
     WHEN CAST(Referral_dt as date) BETWEEN '10/1/2014' AND '12/31/2014' THEN 'Q4' 
    ELSE 'X' END

Когда я запускаю полный запрос, как указано выше, он работает 12 часов. Но когда я запускаю запрос в течение 1 месяца, он запускается через 8 минут. Поэтому я хочу запустить запрос для каждого месяца и добавить в один файл. Это должно сделать запрос за 2-3 часа.

Я могу использовать union и скопировать код 24 раза, но это не похоже на лучший способ сделать это. Есть ли более программный способ сделать это?

ОБНОВЛЕНИЕ: Я хочу, чтобы каждый раз запускал этот запрос, чтобы обновить номера последних месяцев.

источник

2014-12-05 Moosa

Пожалуйста, разместите свой план выполнения. –

Я могу сделать 'select .... where month = 1 и year = 2013 union all select .... where month = 2 и year = 2013 union all ...' etc за каждый месяц. Это то, что вы подразумевали под планом исполнения? – Moosa

Нет, это не так. Google «План выполнения SQL Server» –

Взгляды плана выполнения вы публикуемый я думаю, что вы недостающий предикат и генерируешь массу промежуточных строк:

query plan

Вот тот же запрос очищен немного (CTE вместо коррелированных подзапросов и заменил оператор CASE на DATEPART (QUARTER)), это может облегчить задачу определения, где находится ваш недостающий предикат:

WITH 
m as (SELECT mcc, mcc_desc, mcc_industry from kaiserver.[dbKAI].[dbo].[merchantcategorycode]), 
mp as (SELECT p.merchant_id, CAST(p.proposal_create_dt as date) as Proposal_Date, m.mcc_desc, m.mcc_industry 
    from kaiserver.[dbKAI].[dbo].[proposals] p 
    left join m on p.mcc = m.mcc where datepart(yyyy,proposal_create_dt) in ('2013', '2014')), 
ac as (SELECT account_no, CAST(Account_Activate_dt as date) as Acct_Act_Date, signed_annual_volume, average_tkt 
    from kaiserver.[dbKAI].[dbo].[Account] 
    where current_ind=1 and datepart(yyyy,account_submit_dt) in ('2013', '2014')), 
sr as (SELECT e1.repid, e1.repcode, e1.payrollname, e1.salesmanager, e2.payrollname as manager_name, e1.region,e1.market, e1.saleschannel 
    FROM [fdserver].fdms.[dbo].[tbl_reps] e1 
    LEFT JOIN [fdserver].fdms.[dbo].[tbl_reps] e2 ON e1.salesmanager = e2.repid 
    WHERE e1.market not like ('%TEST%') and e1.payrollname is not null and e1.region is not null and e1.market is not null), 
bk as (SELECT [AU_name], [AU_Code], [SuperRegion_Name], [Region_Name] ,[Division_Name], [SubDivision_Name], [District_Name], [SubDistrict_Name] 
    FROM kaiserver.[dbKAI].[dbo].[BankAU_Hierarchy] 
    WHERE [Reporting_Interval_Id] = '201410'), 
sv as (select merchantnumber, projected_profit from kaiserver.[dbKAI].[dbo].[SoldVolumeDetail]) 

SELECT DATEPART(YYYY,Referral_dt) AS RefYear, DATEPART(MM,Referral_dt) AS RefMonth, DATEPART(QUARTER, Referral_dt) as RefQtr, 
    crm.salesstatuscode, crm.Referral_State, crm.lead_source, mp.mcc_desc, mp.mcc_industry, sr.manager_name, sr.payrollname, 
    sr.region as Sales_Region,sr.market as Sales_Market, sr.saleschannel as SalesChannel, Bk.SuperRegion_Name as Bank_SuperRegion, 
    Bk.Region_Name as Bank_Region ,Bk.Division_Name as Bank_Division, 
    sum(case when crm.referral_state = 'Won' then 1 else 0 end) as referrals_won, sum(sv.projected_profit) as prj_profit, 
    sum(case when mp.proposal_Date is null then 0 else 1 end) as proposals_created, sum(ac.signed_annual_volume) as total_signed_volume, 
    sum(case when ac.Acct_Act_Date is null then 0 else 1 end) as activated_accounts, COUNT(*) as referral_count INTO moagg1 
FROM kaiserver.dbKAI.dbo.Referrals_CRM CRM 
LEFT JOIN mp ON crm.merchant_id = mp.merchant_id 
LEFT JOIN ac ON crm.account_no = ac.account_no 
LEFT JOIN sr ON crm.sales_rep_cd = sr.repcode 
LEFT JOIN bk ON crm.referral_au = ck.au_code 
LEFT JOIN sv ON crm.account_no = sv.merchantnumber 

WHERE DATEPART(YYYY, Referral_dt) in ('2013', '2014') 
    AND (crm.salesstatuscode <> 'DUPL' or crm.salesstatuscode is null) 
    AND crm.lead_source not in ('Test Lead', 'Bank Lead Placeholder') 

group by DATEPART(YYYY,Referral_dt), DATEPART(MM,Referral_dt), crm.Referral_State, crm.salesstatuscode, crm.lead_source, mp.mcc_desc, 
    mp.mcc_industry, sr.manager_name, sr.payrollname, sr.region,sr.market, sr.saleschannel, Bk.SuperRegion_Name, Bk.Region_Name ,Bk.Division_Name, 
    DATEPART(QUARTER, Referral_dt)

источник

2014-12-05 19:38:05 gordy

спасибо, что я должен искать? – Moosa

@Moosa любое соединение, где условие может выбирать больше записей, чем вы ожидаете, например: crm.referrals_au = ck.au_code принимает 121M и 30K и производит 360B - если это высоко, может быть, что несколько разных записей с совпадающим au_code пересекаются присоединился. Чтобы устранить их, вам нужно будет предоставить дополнительные критерии для соединения. – gordy

Для контекста AU - это магазин.В примере AU, который вы дали, таблица crm имеет продажи AU на уровне транзакции, а таблица AU имеет имя AU. Так что crm имеет AU-код в несколько раз, а соединение - скрещивание. Это то, что вы имеете в виду? то есть, если AU имеет 100 записей в CRM, он выполняет 100 объединений, правильно? И это приводит к плохим результатам? Если да, то как мне переписать это соединение? – Moosa

Я думаю, что это дает идентичный результат, и он должен быть быстрее. Кроме того, вам необходимо обеспечить, чтобы каждое поле, которое используется для JOIN или в предложении WHERE, индексируется.

SELECT 
    DATEPART(YYYY,Referral_dt) AS RefYear, DATEPART(MM,Referral_dt) AS RefMonth, 
    CASE 
     WHEN CAST(Referral_dt as date) BETWEEN '1/1/2013' AND '4/14/2013' THEN 'Q1' 
     WHEN CAST(Referral_dt as date) BETWEEN '4/15/2013' AND '7/14/2013' THEN 'Q2' 
     WHEN CAST(Referral_dt as date) BETWEEN '7/15/2013' AND '9/30/2013' THEN 'Q3' 
     WHEN CAST(Referral_dt as date) BETWEEN '10/1/2013' AND '12/31/2013' THEN 'Q4' 
     WHEN CAST(Referral_dt as date) BETWEEN '1/1/2014' AND '4/14/2014' THEN 'Q1' 
     WHEN CAST(Referral_dt as date) BETWEEN '4/15/2014' AND '7/14/2014' THEN 'Q2' 
     WHEN CAST(Referral_dt as date) BETWEEN '7/15/2014' AND '9/30/2014' THEN 'Q3' 
     WHEN CAST(Referral_dt as date) BETWEEN '10/1/2014' AND '12/31/2014' THEN 'Q4' 
    ELSE 'X' END as RefQtr, 
    crm.salesstatuscode, crm.Referral_State, crm.lead_source, m.mcc_desc, m.mcc_industry, e2.manager_name, e1.payrollname, 
    e1.region as Sales_Region,e1.market as Sales_Market, e1.saleschannel as SalesChannel, Bk.SuperRegion_Name as Bank_SuperRegion, 
    Bk.Region_Name as Bank_Region ,Bk.Division_Name as Bank_Division, 
    sum(case when crm.referral_state = 'Won' then 1 else 0 end) as referrals_won, sum(sv.projected_profit) as prj_profit, 
    sum(case when p.proposal_Date is null then 0 else 1 end) as proposals_created, sum(ac.signed_annual_volume) as total_signed_volume, 
    sum(case when ac.Acct_Act_Date is null then 0 else 1 end) as activated_accounts, COUNT(*) as referral_count 
into moagg1 
FROM kaiserver.dbKAI.dbo.Referrals_CRM CRM 
LEFT kaiserver.[dbKAI].[dbo].[proposals] p ON crm.merchant_id = p.merchant_id 
    AND datepart(yyyy,p.proposal_create_dt) in ('2013', '2014') 
left join kaiserver.[dbKAI].[dbo].[merchantcategorycode] m on p.mcc = m.mcc 
LEFT JOIN kaiserver.[dbKAI].[dbo].[Account] ac ON crm.account_no = ac.account_no 
    AND ac.current_ind=1 
    AND and datepart(yyyy,ac.account_submit_dt) in ('2013', '2014') 
LEFT JOIN [fdserver].fdms.[dbo].[tbl_reps] e1 ON e1.repcode=CRM.Sales_Rep_Cd 
    AND e1.market not like ('%TEST%') 
    and e1.payrollname is not null 
    and e1.region is not null 
    and e1.market is not null 
LEFT JOIN [fdserver].fdms.[dbo].[tbl_reps] e2 ON e1.salesmanager = e2.repid 
LEFT JOIN kaiserver.[dbKAI].[dbo].[BankAU_Hierarchy] BK ON CRM.referral_au = BK.AU_code 
    AND [Reporting_Interval_Id] = '201410' 
LEFT JOIN kaiserver.[dbKAI].[dbo].[SoldVolumeDetail] sv ON crm.account_no = sv.merchantnumber 
WHERE DATEPART(YYYY, CRM.Referral_dt) in ('2013', '2014') 
AND ISNULL(crm.salesstatuscode,'') <> 'DUPL' 
AND crm.lead_source not in ('Test Lead', 'Bank Lead Placeholder') 
group by DATEPART(YYYY,Referral_dt), DATEPART(MM,Referral_dt), crm.Referral_State, crm.salesstatuscode, crm.lead_source, mp.mcc_desc, 
    mp.mcc_industry, sr.manager_name, sr.payrollname, sr.region,sr.market, sr.saleschannel, Bk.SuperRegion_Name, Bk.Region_Name ,Bk.Division_Name, 
    CASE 
     WHEN CAST(Referral_dt as date) BETWEEN '1/1/2013' AND '4/14/2013' THEN 'Q1' 
     WHEN CAST(Referral_dt as date) BETWEEN '4/15/2013' AND '7/14/2013' THEN 'Q2' 
     WHEN CAST(Referral_dt as date) BETWEEN '7/15/2013' AND '9/30/2013' THEN 'Q3' 
     WHEN CAST(Referral_dt as date) BETWEEN '10/1/2013' AND '12/31/2013' THEN 'Q4' 
     WHEN CAST(Referral_dt as date) BETWEEN '1/1/2014' AND '4/14/2014' THEN 'Q1' 
     WHEN CAST(Referral_dt as date) BETWEEN '4/15/2014' AND '7/14/2014' THEN 'Q2' 
     WHEN CAST(Referral_dt as date) BETWEEN '7/15/2014' AND '9/30/2014' THEN 'Q3' 
     WHEN CAST(Referral_dt as date) BETWEEN '10/1/2014' AND '12/31/2014' THEN 'Q4' 
    ELSE 'X' END

источник

2014-12-05 19:05:38 UnhandledExcepSean

Спасибо, но расщепление e1 и e2 соединений не работает, потому что это таблица сотрудников, и мне нужно было сделать самостоятельное соединение, чтобы получить имя менеджера для каждого сотрудника. Мне нужно возиться с этим, чтобы проверить ... в предложении select и group by были также именованные ошибки именования из-за разделения объединений. – Moosa

@Moosa Основываясь на исходном SQL, я не вижу самообучения для сотрудника. Извините, если я пропустил какие-либо псевдонимы, мне показалось, что я получил их все, как я реорганизовал. – UnhandledExcepSean

Оптимизация запроса SQL Server 2012

ответ

Смежные вопросы