Um schnell pr\u00fcfen zu k\u00f6nnen, ob ein Element in einer Datenbank-Tabelle enthalten ist, ohne daf\u00fcr jedesmal die Datenbank abzufragen, wollte ich diese eine Tabelle, deren Inhalt ich pr\u00fcfen wollte, in einem bash-Array ablegen.<\/p>\n
Die Datenbank-Tabelle hat folgenden Inhalt (neben der ID):<\/p>\n
AR\r\n\u00c4R\r\nZZ\r\nX\u00c9\r\nX\u00c9 F\r\nXE, J\r\nX\u00c9; P\r\nX\u00c9; S<\/pre>\n\u00dcbernehmen kann man den Inhalt der mysql-Tabelle in einem bash-Script eigentlich ganz leicht:<\/p>\n
while read line\r\ndo\r\n tablearray+=(\"${line}\")\r\ndone <<(${mysqlcmd} -Bse \"select name from table order by name\")<\/pre>\nUm nun auch schnell<\/strong> pr\u00fcfen zu k\u00f6nnen, ob ein Element bereits in dem Array enthalten ist, wollte ich ungern alle Elemente durchlaufen. Stattdessen lasse ich bereits mysql die Daten sortieren. Im bash-Script selbst \"suche\" ich dann \u00fcber einen Bin\u00e4ren-Suchbaum-Ansatz innerhalb des Bash-Arrays:<\/p>\n
function contains()\r\n{\r\n declare -a haystack=(\"${!2}\")\r\n local needle=${1}\r\n local low=0\r\n local lowold=0\r\n local high=${#haystack[@]}\r\n local highold=${#haystack[@]}\r\n let \"pos = high \/ 2\"\r\n while true\r\n do\r\n if [[ \"${haystack[${pos}]}\" == \"${needle}\" ]]; then\r\n # Found\r\n return 0\r\n fi\r\n if [ \"${haystack[${pos}]}\" \\> \"${needle}\" ]; then\r\n let \"high = pos\"\r\n let \"pos = low + ( high - low ) \/ 2\"\r\n else\r\n let \"low = pos\"\r\n let \"pos = low + ( high - low ) \/ 2\"\r\n fi\r\n if [ ${highold} -eq ${high} ]; then\r\n if [ ${lowold} -eq ${low} ]; then\r\n # Not found\r\n return 1\r\n fi\r\n fi\r\n let \"lowold = low\"\r\n let \"highold = high\"\r\n done\r\n}<\/pre>\nAufrufen kann man diese Funktion bequem innerhalb des Scripts mit:<\/p>\n
if contains \"SearchString\" tablearray[@] ; then<\/pre>\nNebeneffekt hierbei ist allerdings, dass lokal eine Kopie des Arrays angelegt wird. Wer das nicht m\u00f6chte, muss den Teil
declare -a haystack=(\"${!2}\")<\/code> auslassen und statt$haystack<\/code> immer auf den Original-Array verweisen. Das f\u00fchrt auch leider dazu, dass man f\u00fcr jedes Array eine eigene Funktion braucht...<\/p>\nBei einigen Suchen konnte das Element nicht gefunden werden (obwohl es im Array enthalten war) und - noch schlimmer - das contains() lief in einer Endlos-Schleife weiter. Nach kurzer Analyse war klar, dass die Sortierung von bash eine andere ist als das, was mysql verwendet.<\/p>\n
Ich hatte schon vermutet, dass es wahrscheinlich an den CHARSET oder COLLATE bzw. COLLATION von mysql liegt, und habe mir daher ein bash-Script geschrieben, welches pr\u00fcft, welche Kombinationen genauso sortieren wie bash. Wer Interesse hat, kann sich das Script gerne herunterladen: mysql_collate.sh<\/a><\/p>\n
Das Skript \u00fcberpr\u00fcft dabei zwei Dinge gleichzeitig:<\/p>\n
\n
- Sind die Sonderzeichen korrekt in die Datenbank eingespeichert worden und k\u00f6nnen auch korrekt wieder ausgelesen werden?<\/li>\n
- Ist die Sortierung von bash mit der mysql-\"ORDER BY\" Klausel kompatibel?<\/li>\n<\/ol>\n
Auf meinem System:<\/p>\n
$ mysql --version\r\nmysql Ver 14.14 Distrib 5.5.32, for debian-linux-gnu (x86_64) using readline 6.2<\/pre>\nErhalte ich folgende g\u00fcltige Kombinationen:<\/p>\n
dec8 \/ dec8_bin\r\ncp850 \/ cp850_bin\r\nhp8 \/ hp8_english_ci\r\nhp8 \/ hp8_bin\r\nlatin1 \/ latin1_bin\r\nlatin2 \/ latin2_bin\r\nujis \/ ujis_japanese_ci\r\nujis \/ ujis_bin\r\ncp1250 \/ cp1250_bin\r\nlatin5 \/ latin5_bin\r\nutf8 \/ utf8_bin\r\nutf8 \/ utf8_icelandic_ci\r\nucs2 \/ ucs2_bin\r\nucs2 \/ ucs2_icelandic_ci\r\nkeybcs2 \/ keybcs2_bin\r\nmacce \/ macce_bin\r\nmacroman \/ macroman_bin\r\ncp852 \/ cp852_bin\r\nlatin7 \/ latin7_bin\r\nutf8mb4 \/ utf8mb4_icelandic_ci\r\nutf16 \/ utf16_icelandic_ci\r\ncp1257 \/ cp1257_bin\r\nutf32 \/ utf32_bin\r\nutf32 \/ utf32_icelandic_ci\r\neucjpms \/ eucjpms_japanese_ci\r\neucjpms \/ eucjpms_bin<\/pre>\nEin wenig unangenehm ist mir das schon, aber ich arbeite nun mit einem bin\u00e4ren Ansatz und habe f\u00fcr meine Zwecke
latin1 \/ latin1_bin<\/code> ausgew\u00e4hlt.<\/p>\n","protected":false},"excerpt":{"rendered":"Um schnell pr\u00fcfen zu k\u00f6nnen, ob ein Element in einer Datenbank-Tabelle enthalten ist, ohne daf\u00fcr jedesmal die Datenbank abzufragen, wollte ich diese eine Tabelle, deren Inhalt ich pr\u00fcfen wollte, in einem bash-Array ablegen. Die Datenbank-Tabelle hat folgenden Inhalt (neben der ID): AR \u00c4R ZZ X\u00c9 X\u00c9 F XE, J X\u00c9; P X\u00c9; S \u00dcbernehmen kann … Sortierung von mysql ist anders als die Sortierung von bash<\/span> weiterlesen