Details
-
Type: Task
-
Status: Closed
-
Priority: Minor
-
Resolution: Fixed
-
Affects Version/s: Current Version
-
Fix Version/s: TAG 2016/17 Summer Sprint 1
-
Component/s: Evaluation Engine / Workers
-
Labels:None
Issue Links
Activity
Tadeusz Dudkiewicz
made changes -
Tadeusz Dudkiewicz
made changes -
Tadeusz Dudkiewicz
made changes -
Fix Version/s | TAG 2016/17 Summer Sprint 1 [ 12600 ] |
Tadeusz Dudkiewicz
made changes -
Affects Version/s | Current Version [ 11000 ] | |
Affects Version/s | TAG 2016/17 Summer Sprint 1 [ 12600 ] |
Artur Jamro
made changes -
Assignee | Artur Jamro [ mrowqa ] |
Artur Jamro
made changes -
Summary | Change DB API for sioworkersd | Test efficiency of SQLite backend for sioworkersd. |
Artur Jamro
made changes -
Description |
- reimplement SQLite backend in this API
- allow choosing between different DB backends |
Artur Jamro
made changes -
Status | New [ 10000 ] | Resolved [ 5 ] |
Assignee | Artur Jamro [ mrowqa ] | Szymon Acedański [ accek ] |
Resolution | Done [ 6 ] |
Artur Jamro
made changes -
Issue Type | Improvement [ 4 ] | Task [ 3 ] |
Szymon Acedański
made changes -
Status | Resolved [ 5 ] | Closed [ 6 ] |
Transition | Time In Source Status | Execution Times | Last Executer | Last Execution Date | |||||
---|---|---|---|---|---|---|---|---|---|
|
15d 3h 17m | 1 | Artur Jamro | 2017-03-29 18:06 | |||||
|
726d 23h 32m | 1 | Szymon Acedański | 2019-03-26 16:39 |
https://gerrit.sio2project.mimuw.edu.pl/#/c/2723/
https://gerrit.sio2project.mimuw.edu.pl/#/c/2724/
https://gerrit.sio2project.mimuw.edu.pl/#/c/2725/ (with note: add db.sync() after changes in database).
Test results:
To co jest teraz, 256 pingów z envem:
- poszło o: 2017-03-27 13:46:24.636091
- trwało do: 27/Mar/2017:13:47:25 +0200
- było to zachowanie, że najpierw wszystkie wysłał, potem wszystkie odebrał i
dopiero potem zwracał je do sio
- z jakiegoś powodu on z tego zrobił grupę??
To co jest teraz, 1024 pingów z envem:
- od 2017-03-27 13:49:31.116649
- do 27/Mar/2017:13:53:37 +020
- bardzo wolne wysyłanie (na początku)
- zużywa dużo dysku, mało procesora
- iftop nie pokazuje jakiegoś super dużego ruchu (poniżej 1mb)
Python dict, 1024 pingów:
- od 2017-03-27 13:57:26.401480
- do 27/Mar/2017:13:57:30 +0200
- nie ma tego efektu z opóźnionym zwracaniem (xd, wtf)
Python dict, 4096 pingów:
- od 2017-03-27 13:58:45.188083
- do 27/Mar/2017:13:59:03 +0200
- pojawia się duże zużycie cpu
- jest używany więcej niż jeden worker
BSDDB, 256 pingów:
- od 2017-03-27 14:02:21.931452
- do 27/Mar/2017:14:02:23 +0200
- sioworkersd.db powstało
- niestety to był run bez disc-synca
BSDDB, 256 pingów, z synciem:
- od 2017-03-27 14:08:20.803634
- do 27/Mar/2017:14:08:29 +0200
- tym razem baza danych powstała
BSDDB, 1024 pingi, z synciem:
- od 2017-03-27 14:09:53.111766
- do 27/Mar/2017:14:10:31 +0200
- tak jakby robiły się bardziej na bieżąco
BSDDB, 4096 pingów, z synciem:
- od 2017-03-27 14:11:55.774867
- do 27/Mar/2017:14:14:39 +0200
- ciągle, tak jakby robil się synchronicznie
- zużywa 2 workery xd
- małe cpu, też duże zużycie dysku
BSDDB, 2 x 2048, z synciem:
- od 2017-03-27 14:15:55.288522
- do 27/Mar/2017:14:19:01 +0200
- działa
- nawet czasem idą 4 workery (xd)