Vstup dat z IBM vyhodnocovače: Porovnání verzí

Z wiki.probee.cz
Skočit na navigaci Skočit na vyhledávání
(BehProbability)
 
(Není zobrazeno 5 mezilehlých verzí od stejného uživatele.)
Řádek 15: Řádek 15:
  
 
===Insertují se hodnoty:===
 
===Insertují se hodnoty:===
−
*BehKey
+
*BehHive ... oznaceni ulu
−
*BehHive
+
*BehDateTimeStr ... datum cas v UTC
−
*BehDateTimeStr
+
*BehBehaviorKey ... kod chovani/statusu
−
*BehBehaviorKey
+
*BehConfidence ... oznacuje pravdepodobnost se kterou je predpoved realna
−
*BehConfidence
 
 
*BehHiveKey … ziska se transformaci hodnoty BehHive, defakto oddelenim uvodniho H (je to z historickych duvodu)
 
*BehHiveKey … ziska se transformaci hodnoty BehHive, defakto oddelenim uvodniho H (je to z historickych duvodu)
−
*BehProbability DECIMAL(9,2) … prenasi se z IBM vyhodnocovace hodnota Confidence, která ma doplnit informaci o pravdepodobnosti, ze vysledek je spravny
 
  
 
===Následné zpracovani hodnot===
 
===Následné zpracovani hodnot===
Řádek 35: Řádek 33:
 
Tabulka je připravena pro případný vstup údajů z jiných vyhodnocovačů. V položce BehSource je označení zdroje, v případě vyhodnocovače IBM je to '''"IBM"'''.
 
Tabulka je připravena pro případný vstup údajů z jiných vyhodnocovačů. V položce BehSource je označení zdroje, v případě vyhodnocovače IBM je to '''"IBM"'''.
  
 +
====Struktura tabulky tblBehaviorResultExternal:====
 +
*BehKey
 +
*BehTimeStamp
 +
*BehUniKey
 +
*BehSource
 +
*BehDateTime
 +
*BehDateTimeUTC
 +
*BehStaKey
 +
*BehStaProbability
 +
*BehHiveKey
 +
*BehSenKey
 +
*BehProcessed
  
 +
==T-SQL Funkce dbo.fncGetBeh( @StaKey, @HiveKey, @Source, @DateTimeLocal)==
 +
 +
Ve vyhodnocovacích T-SQL podmínkách lze použít funkci fncGetBeh.
 +
Funkce vrací true v případě, že je kolem stanoveného času nalezeno kladně vyhodnocené chování/status. V ostatních případech vrací false. (Tj.nevrací nikdy hodnotu NULL).
  
 
==Zdrojové kódy (části kodu pro lepší porozumění funkcionality)==
 
==Zdrojové kódy (části kodu pro lepší porozumění funkcionality)==
 +
 +
===T-SQL Funkce dbo.fncGetBeh===
 +
 +
<pre>
 +
SET ANSI_NULLS ON;
 +
GO
 +
SET QUOTED_IDENTIFIER ON;
 +
GO
 +
-- =============================================
 +
-- Author: Pavel Vanecek
 +
-- Create date: 2022/01
 +
-- Description: Funkce, ktera vraci stav chovani
 +
-- Vyuziva se pro prevzeti udaje z externiho vyhodnocovace (IBM, ...)
 +
--
 +
-- StaKey ... kod zjistovaneho stavu
 +
-- HiveKey ... id ulu
 +
-- Source ... zdroj vyhodnocovace, napr. 'IBM'
 +
-- DateTimeLocal ... lokalni cas, ke kteremu se zjistuje (jedna se o lokalni cas vcelnice/ulu)
 +
--
 +
-- Funkce vraci true pokud bude danne chovani kladne vyhodnoceno , jinak false
 +
-- =============================================
 +
CREATE FUNCTION dbo.fncGetBeh
 +
    (
 +
        @StaKey AS INT ,
 +
        @HiveKey AS INT ,
 +
@Source AS VARCHAR(10),
 +
        @DateTimeLocal AS DATETIME
 +
    )
 +
RETURNS BIT
 +
AS
 +
    BEGIN
 +
 +
        DECLARE @Count AS INT = 0;
 +
        DECLARE @Return AS BIT = 0;
 +
 +
        SELECT @Count = COUNT(*)
 +
        FROM  dbo.tblBehaviorResultExternal
 +
        WHERE  BehStaKey = @StaKey
 +
              AND BehHiveKey = @HiveKey
 +
  AND BehSource = @Source
 +
              AND BehDateTime
 +
              BETWEEN DATEADD(MINUTE, -90, @DateTimeLocal) AND DATEADD(
 +
                                                                          MINUTE ,
 +
                                                                          90 ,
 +
                                                                          @DateTimeLocal
 +
                                                                      );
 +
 +
        IF @Count > 0
 +
            SET @Return = 1;
 +
 +
        RETURN ( @Return );
 +
    END;
 +
GO
 +
</pre>
 +
  
 
===Metody pro insert výsledků v WS probee.asmx===
 
===Metody pro insert výsledků v WS probee.asmx===

Aktuální verze z 7. 1. 2022, 20:25

Idea

Principem je zaznamenávat vyhodnocené stavy z IBM vyhodnocovače do separátní datové základny. Tyto vyhodnocené stavy budou vstupovat jako parametry do interního vyhodnocovače ProBee, který je může využít ve vzorci (výrazu) pro vyhodnocení podmínky v danném okamžiku.

Realizace

Primarní vstup hodnot

Vstupní bod je web service test20…/probee.asmx (App_Code/probee.vb)

K dispozici jsou dve metody:

  1. pro import jedné věty
  2. pro hromadný import via CSV strukturu

Dojde k vložení věty do databaze TEST20 do tabulky tblBehaviorResult .

Insertují se hodnoty:

  • BehHive ... oznaceni ulu
  • BehDateTimeStr ... datum cas v UTC
  • BehBehaviorKey ... kod chovani/statusu
  • BehConfidence ... oznacuje pravdepodobnost se kterou je predpoved realna
  • BehHiveKey … ziska se transformaci hodnoty BehHive, defakto oddelenim uvodniho H (je to z historickych duvodu)

Následné zpracovani hodnot

Záznamy jsou v tabulce tblBehaviorResult v databazi TEST20. Dále se provádí publikace do databáze www_probee_cz. Toto zpracování se provádí pravidelným (5 min.) spouštěním enginu/procedury interface.aspx. Kromě jiných (s touto problematikou nesouvisejících) procesů dochází k volání T-SQL procedury subTEST20toBehaviorResult v databázi TEST20.

Tabulka tblBehaviorResultExternal a procedura subTEST20toBehaviorResult

Procedura subTEST20toBehaviorResult ukládá vyhodnocené hodnoty do tabulky tblBehaviorResultExternal. Struktura věty tabulky tblBehaviorResultExternal je shodná se strukturou finální tabulky tblBehaviorResult.

Tabulka je připravena pro případný vstup údajů z jiných vyhodnocovačů. V položce BehSource je označení zdroje, v případě vyhodnocovače IBM je to "IBM".

Struktura tabulky tblBehaviorResultExternal:

  • BehKey
  • BehTimeStamp
  • BehUniKey
  • BehSource
  • BehDateTime
  • BehDateTimeUTC
  • BehStaKey
  • BehStaProbability
  • BehHiveKey
  • BehSenKey
  • BehProcessed

T-SQL Funkce dbo.fncGetBeh( @StaKey, @HiveKey, @Source, @DateTimeLocal)

Ve vyhodnocovacích T-SQL podmínkách lze použít funkci fncGetBeh. Funkce vrací true v případě, že je kolem stanoveného času nalezeno kladně vyhodnocené chování/status. V ostatních případech vrací false. (Tj.nevrací nikdy hodnotu NULL).

Zdrojové kódy (části kodu pro lepší porozumění funkcionality)

T-SQL Funkce dbo.fncGetBeh

SET ANSI_NULLS ON;
GO
SET QUOTED_IDENTIFIER ON;
GO
-- =============================================
-- Author:		Pavel Vanecek
-- Create date: 2022/01
-- Description:	Funkce, ktera vraci stav chovani
-- Vyuziva se pro prevzeti udaje z externiho vyhodnocovace (IBM, ...)
--
-- StaKey ... kod zjistovaneho stavu
-- HiveKey ... id ulu
-- Source ... zdroj vyhodnocovace, napr. 'IBM'
-- DateTimeLocal ... lokalni cas, ke kteremu se zjistuje (jedna se o lokalni cas vcelnice/ulu)
--
-- Funkce vraci true pokud bude danne chovani kladne vyhodnoceno , jinak false 
-- =============================================
CREATE FUNCTION dbo.fncGetBeh
    (
        @StaKey AS INT ,
        @HiveKey AS INT ,
		@Source AS VARCHAR(10),
        @DateTimeLocal AS DATETIME 
    )
RETURNS BIT
AS
    BEGIN

        DECLARE @Count AS INT = 0;
        DECLARE @Return AS BIT = 0;

        SELECT @Count = COUNT(*)
        FROM   dbo.tblBehaviorResultExternal
        WHERE  BehStaKey = @StaKey
               AND BehHiveKey = @HiveKey
			   AND BehSource = @Source 
               AND BehDateTime
               BETWEEN DATEADD(MINUTE, -90, @DateTimeLocal) AND DATEADD(
                                                                           MINUTE ,
                                                                           90 ,
                                                                           @DateTimeLocal
                                                                       );

        IF @Count > 0
            SET @Return = 1;

        RETURN ( @Return );
    END;
GO


Metody pro insert výsledků v WS probee.asmx

#Region "IBM vstupy"

    <WebMethod(Description:="Metoda pro navrat vysledku analyzy chovani. Parametry: Hive, DateTimeStr, BehaviorKey, Confidence")>
    Public Sub PutBehaviorData(Hive As String, DateTimeStr As String, BehaviorKey As Int16, Confidence As Decimal)
        Bee.LogUniversal("TEST20_PROBEE_WS(PutBehaviorData)")
        Dim constr As String = Funkce.getConnStr
        Using con As New SqlConnection(constr)
            con.Open()
            Using Command As New SqlCommand("INSERT INTO dbo.tblBehaviorResult ( BehHive ,BehDateTimeStr ,BehBehaviorKey ,BehConfidence ) VALUES  ( @BehHive ,@BehDateTimeStr ,@BehBehaviorKey ,@BehConfidence)", con)
                Command.CommandType = CommandType.Text
                Command.CommandTimeout = 600
                Command.Parameters.AddWithValue("@BehHive", Hive)
                Command.Parameters.AddWithValue("@BehDateTimeStr", DateTimeStr)
                Command.Parameters.AddWithValue("@BehBehaviorKey", BehaviorKey)
                Command.Parameters.AddWithValue("@BehConfidence", Confidence)
                Command.ExecuteNonQuery()
            End Using
            con.Close()
        End Using
    End Sub

    <WebMethod(Description:="Metoda pro navrat vysledku analyzy chovani ve forme CSV stringu. Struktura: Hive; DateTimeStr; BehaviorKey; Confidence")>
    Public Sub PutBehaviorCsvData(csvData As String)
        Bee.LogUniversal("TEST20_PROBEE_WS(PutBehaviorCsvData)", "Datalength: " & csvData.Length & "B")
        Dim constr As String = Funkce.getConnStr
        Using con As New SqlConnection(constr)
            con.Open()
            For Each row As String In csvData.Split(ControlChars.Lf)
                If Not String.IsNullOrEmpty(row) Then
                    Dim polozka() As String = row.Split(";"c)
                    If polozka.Count = 4 Then
                        Using Command As New SqlCommand("INSERT INTO dbo.tblBehaviorResult ( BehHive ,BehDateTimeStr ,BehBehaviorKey ,BehConfidence ) VALUES  ( @BehHive ,@BehDateTimeStr ,@BehBehaviorKey ,@BehConfidence)", con)
                            Command.CommandType = CommandType.Text
                            Command.CommandTimeout = 600
                            Command.Parameters.AddWithValue("@BehHive", polozka(0).Trim)
                            Command.Parameters.AddWithValue("@BehDateTimeStr", polozka(1).Trim)
                            Command.Parameters.AddWithValue("@BehBehaviorKey", polozka(2))
                            Command.Parameters.AddWithValue("@BehConfidence", polozka(3))
                            Command.ExecuteNonQuery()
                        End Using
                    End If
                End If
            Next
            con.Close()
        End Using
    End Sub

#End Region