Dariusz Brejnak's Blog - Developing T-SQL

Update w pętli dużej ilości danych tak aby nie przepełnić loga

23 października 2018

Category: DBA, Developing T-SQL, MS SQL Server

Bardzo często zdarza się, że trzeba dokonać zmian na wielu milionach rekordów. Wykonując update czy delete na takiej ilości rekordów w ramach jednej transakcji doprowadzamy do sytuacji rozrostu loga transakcyjnego.

Oczywiście jeżeli byśmy takie operacje wykonywali małymi porcjami to powstało by dużo transakcji i po zakończeniu każdej z nich silnik sql serwera wstawiał by ponownie dane do loga transakcyjnego wykorzystując już zwolnione miejsca (Recovery model = SIMPLE)

Poniżej przedstawiam przykładowy kod:

use Foo
go

declare @i int =1
declare @x int=0
set rowcount 50000; -- będzie wykonywał update tylko na 50000 rekordów

while @i&gt;0

begin 
 UPDATE Foo.dbo.Tabela
 SET  kolumna = wartosc
 WHERE {predykat}
    set @i=@@ROWCOUNT
    set @x=@x+@i
  end
set rowcount 0

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

use Foo

go

declare @i int =1

declare @x int=0

set rowcount 50000; -- będzie wykonywał update tylko na 50000 rekordów

while @i>0

begin

UPDATE Foo.dbo.Tabela

SET kolumna = wartosc

WHERE {predykat}

set @i=@@ROWCOUNT

set @x=@x+@i

end

set rowcount 0

...

Czytaj dalej

Dystrybucja powiadomień mailowych o przebiegu procesów zasilania hurtowni danych

3 marca 2018

Category: BI, Developing T-SQL, Eventy on-Line, Microsoft, MS SQL Server, SSIS, SSMS

Na 114. Spotkaniu Data Community, Warszawa – Lightning Talk Fest, opowiedziałem o „Dystrybucji powiadomień mailowych o przebiegu procesów zasilania hurtowni danych”

poniżej link do spotkania 114. Spotkanie Data Community

Praca administratora i zespołu utrzymaniowego w hurtowni danych to natłok zadań, kontrola wielu procesów, zasilanie hurtowni danymi, analiza stanu serwerów, analiza przetwarzania pakietów SSIS, monitoring itd. W trakcie krótkiej sesji przedstawię mechanizmy powiadamiające mailowo o przebiegu procesu zasilania, które są pomocne w codziennej pracy administratora.

Do pobrania:

DC PL 114 – Dystrybucja powiadomień mailowych o przebiegu procesów zasilania hurtowni danych

DEMO1_message_ssisdb

DEMO2_jobs

Czytaj dalej

Zapraszam na 114. Spotkanie Data Community, Warszawa – Lightning Talk Fest

20 lutego 2018

Category: BI, Developing T-SQL, Eventy on-Line, MS SQL Server, SSIS

Zapraszam na 114. Spotkanie Data Community, Warszawa – Lightning Talk Fest

Na spotkaniu będę prowadził krótką sesję o „Dystrybucji powiadomień mailowych o przebiegu procesów zasilania hurtowni danych”

Praca administratora i zespołu utrzymaniowego w hurtowni danych to natłok zadań, kontrola wielu procesów, zasilanie hurtowni danymi, analiza stanu serwerów, analiza przetwarzania pakietów SSIS, monitoring itd. W trakcie krótkiej sesji przedstawię mechanizmy powiadamiające mailowo o przebiegu procesu zasilania, które są pomocne w codziennej pracy administratora

Czytaj dalej

Kroimy tabele na partycje – Sesja na 113. Spotkaniu Data Community, Warszawa

3 lutego 2018

Category: Designing, Optimizing and Maintaining, Developing T-SQL, Eventy on-Line, Learning, MS SQL Server

W dniu 1 lutego 2018 poprowadziłem sesje „Kroimy tabele na partycje” na 113 spotkaniu Data Community w Warszawie.

W trakcie tej sesji przedstawiłem jedną z technik optymalizacji baz danych jaką jest partycjonowanie tabel i indeksów bazy danych SQL Server. Pozwala ona poprawić wydajność, rozumianą jako szybkość dostępu do danych oraz ułatwia zarządzanie. Z partycjonowaniem powiązane są różne mechanizmy takie jak partition switching, partition sliding window czy partition elimination, które mogą być pomocne w codziennej pracy. Omówiłem podstawowe terminy, metody partycjonowania, wady, zalety, dobre praktyki. Wszystko było poparte przykładami.

Druga sesja „Business Intelligence w Cloud nie tylko na Azure „poprowadzona była przez Michała Krajewskiego oraz Adriana Kukiełkę. Był to przegląd rozwiązań i możliwości rozwiązań Buisiness Intellignece w chmurze. Prelegenci przedstawili nam to, co oferują trzej giganci: Microsoft, Google i Amazon.

Dziękuję wszystkich za tak liczne przybycie. Sczzegóły na Meetupie: 113. Spotkanie Data Community, Warszawa – Partycjonowanie oraz BI w chmurze

Czytaj dalej

Wielkość plików baz danych z ilością nie wykorzystanej powierzchni.

2 stycznia 2018

Category: Designing, Optimizing and Maintaining, Developing T-SQL, MS SQL Server

Poniżej skrypt wyświetlający wielkość plików baz danych z ilością nie wykorzystanej powierzchni.

CREATE TABLE #DBInfo (
	[DatabaseName] [varchar](100) NULL
	,[FileSizeMB] [int] NULL
	,[LogicalFileName] [sysname] NOT NULL
	,[FileName] [sysname] NOT NULL
	,[Status] [sysname] NOT NULL
	,[Updateability] [sysname] NOT NULL
	,[RecoveryMode] [sysname] NOT NULL
	,[FreeSpaceMB] [int] NULL
	,[FreeSpacePct] [varchar](7) NULL
	)

DECLARE @command VARCHAR(5000)

SELECT @command = 'USE [' + '?' + '] SELECT
' + '''' + '?' + '''' + ' AS DatabaseName,
CAST(sysfiles.size/128.0 AS int) AS FileSizeMB,
sysfiles.name AS LogicalFileName,
sysfiles.filename AS FileName,

CONVERT(sysname,DatabasePropertyEx(''?'',''Status'')) AS Status,
CONVERT(sysname,DatabasePropertyEx(''?'',''Updateability'')) AS Updateability,
CONVERT(sysname,DatabasePropertyEx(''?'',''Recovery'')) AS RecoveryMode,
CAST(sysfiles.size/128.0 - CAST(FILEPROPERTY(sysfiles.name, ' 
	+ '''' + 'SpaceUsed' + '''' + ' ) AS int)/128.0 AS int) AS FreeSpaceMB,  
CAST(100 * (CAST (((sysfiles.size/128.0 -CAST(FILEPROPERTY(sysfiles...

Czytaj dalej

Historia wykonywanych kopii baz danych

4 grudnia 2017

Category: Designing, Optimizing and Maintaining, Developing T-SQL, MS SQL Server

Przedstawiam skrypt, który wyświetla informacje o wykonywanych kopiach baz danych.

SELECT DISTINCT [Baza] = bs.database_name
	,[Start]  = bs.backup_start_date
	,[Koniec]  = bs.backup_finish_date
	,[Razem_s] = CAST((DATEDIFF(second, bs.backup_start_date, bs.backup_finish_date)) AS VARCHAR)
                     + ' sekund'
	,[Razem_m] = CAST((DATEDIFF(minute, bs.backup_start_date, bs.backup_finish_date)) AS VARCHAR)
                     + ' minut'
	,[Rozmiar_MB] = CAST(bs.backup_size / 1024 / 1024 AS NUMERIC(9, 2))
	,[Typ] = CASE bs.type
		WHEN 'D'
			THEN 'Full'
		WHEN 'I'
			THEN 'Differential'
		WHEN 'L'
			THEN 'Transaction Log'
		END
	,[Nazwa] = bs.NAME
	,[Gdzie] = bmf.physical_device_name
FROM msdb.dbo.backupmediafamily bmf
INNER JOIN msdb.dbo.backupset bs ON bs.media_set_id = bmf.media_set_id
	--AND bs.backup_start_date > '2017-10-17'
ORDER BY bs.backup_start_date
	,bs.database_name

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

SELECT DISTINCT [Baza] = bs.database_name

,[Start] = bs.backup_start_date

,[Koniec] = bs.backup_finish_date

,[Razem_s] = CAST((DATEDIFF(second, bs.ba...

Czytaj dalej

Dariusz Brejnak's Blog - This.About('SQL','VS');

Zapraszam na 114. Spotkanie Data Community, Warszawa - Lightning Talk Fest

Zapowiedź mojej sesji na SQL Saturday #824 - "Cut the tables into partitions v.2"

Wydany został nowy #CU2 do SQL Server 2016 SP1

Własny kafelek na Certbook - Certyfikacje, Egzaminy, Społeczności Microsoft

Włączenie numeracji linii w SSMS

Windows Modules Installer Worker - wysokie użycie CPU

Wielkość plików baz danych z ilością nie wykorzystanej powierzchni.

Update w pętli dużej ilości danych tak aby nie przepełnić loga

SQLSaturday #534 w Krakowie.

Dev Blogroll

IT Pro Blogroll

SQL Blogroll

My Communities

Kategoria Developing T-SQL

Update w pętli dużej ilości danych tak aby nie przepełnić loga

Dystrybucja powiadomień mailowych o przebiegu procesów zasilania hurtowni danych

Do pobrania:

Zapraszam na 114. Spotkanie Data Community, Warszawa – Lightning Talk Fest

Kroimy tabele na partycje – Sesja na 113. Spotkaniu Data Community, Warszawa

Wielkość plików baz danych z ilością nie wykorzystanej powierzchni.

Historia wykonywanych kopii baz danych

Archiwa

Wizyty

Kategorie

Social Profiles

SMThemes