Ванька ([info]dedm) wrote,
@ 2009-06-25 15:17:00
Previous Entry  Add to memories!  Tell a Friend  Next Entry
Entry tags:benchmarks, highload, web-development

Highload & benchmarks
Мне уже давно приходится сталкиваться с нагруженными системами, но вопрос о существовании стандартной методики оценки производительности долгое время для меня оставался открытым.

Похоже, мне удалось, наконец, найти хорошую отправную точку в этом вопросе. Встречайте всемирно признанного авторитета: Transaction Processing Performance Council.

Основные предлагаемые бенчмарки:

  • TPC-App is an Application Server and web services benchmark
  • TPC-C is an on-line transaction processing benchmark
  • TPC Benchmark™ E (TPC-E) is a new On-Line Transaction Processing (OLTP) workload
  • TPC-H is an ad-hoc, decision support benchmark

    • (11 comments) - (Post a new comment)


    [info]gabaidulin
    2009-06-25 12:01 pm UTC (link)
    Ну насчет всемирного признания ты явно погорячился :-)

    (Reply to this) (Thread)

    [info]dedm
    2009-06-25 01:22 pm UTC (link)
    его признают IBM, Intel, HP, Sun и так далее. В чем я погорячился? )

    (Reply to this) (Parent)(Thread)

    [info]gabaidulin
    2009-06-25 01:35 pm UTC (link)
    Это расчитано это на другой сегмент. На толстоый корпоративный сегмент, где никого не интересует реальность, а интересует только кол-во абстрактных попугаев.

    Тебя же должно интересовать совсем другое. Например, макс. кол-во tr/sec и latency или throughput, в зависимости от приложения, а также график кол-ва tr/sec и la сервера.

    Из этих цифр можно получить все что нужно.

    (Reply to this) (Parent)(Thread)

    [info]dedm
    2009-06-25 01:43 pm UTC (link)
    > в зависимости от приложения

    это частный случай. в общем случае, на момент проведения бенчмарков (например, выбор поставщика железок, выбор субд, выбор веб-сервера, и т. д.) приложение может даже не существовать.

    (Reply to this) (Parent)(Thread)

    [info]gabaidulin
    2009-06-25 01:57 pm UTC (link)
    Ну блин, если ты веб-сервер выбираешь на основе синтетики, тогда добавить нечего :-)

    (Reply to this) (Parent)(Thread)

    [info]dedm
    2009-06-25 07:03 pm UTC (link)
    1. стараюсь принимать решения, руководствуясь не только опытом, но и знаниями.

    2. информация о вышеперечисленных бенчах носит теоретический характер, ценна сама методология, а не инструменты.

    3. знание международных стандартов позволяет принимать более качественные решения.

    4. profit

    (Reply to this) (Parent)(Thread)

    [info]gabaidulin
    2009-06-25 07:18 pm UTC (link)
    1,2,3,...,23 :-)

    Ответь на простой вопрос, зачем тебе нужны попугаи, когда тебя спрашивают сколько тебе надо серверов на 1млн. юзеров в сутки?

    Тебе нужно делать *реальные* бенчмарки, имея реальное приложение или прототип. Понятное дело у тебя не будет кластера, но 1-2 сервера под серьезный бенч тебе обязаны дать, а этого хватит, чтобы построить адекватный бенчмарк и прикинуть как оно экстрополируется на десяток-два серверов(при нормальной архитектуре рост должен быть примерно линейным в таких масштабах).

    Что же касается методологий, то, тут тебе ни синтетика, ни общая методология не подойдет опять же. Гораздо полезнее сделать частное решение. Даже те у кого кластера из сотен серверов, делают свои решения(Яндекс), потому что специфика.

    То есть мой поинт все же остается прежним, что ничего кроме синтетических тестов и бонуса при каком-нибудь тендере такие вещи не могут дать в принципе. И даже, если они способны выдать какой-то реальный результат, его можно добитья более простыми средствами.

    (Reply to this) (Parent)(Thread)

    [info]dedm
    2009-06-26 11:04 am UTC (link)
    > Гораздо полезнее сделать частное решение

    Денис, ничего против частных решений я не имею, особенно хорошо если эти решения принимаются на основе собственного опыта.

    но мне всегда интересно открыть для себя, что к таким решениям приводит не только мой личный опыт, и я могу оценить качество своего решения относительно некоторого стандартного эталона.

    (Reply to this) (Parent)

    [info]gabaidulin
    2009-06-25 12:03 pm UTC (link)
    Да и не подходит это под множество задач, потому что много-много специфики. Эти бенчи предназначены не для реальных тестов, а для "толстого" sale.

    (Reply to this) (Thread)

    [info]dedm
    2009-06-25 01:29 pm UTC (link)
    стандарты нужно уметь применять. готового решения на блюдечке тебе там никто не опишет.

    (Reply to this) (Parent)

    [info]benchmark_ru
    2009-09-29 05:33 pm UTC (link)
    Не тестируется моя система этим

    (Reply to this)

    (11 comments) - (Post a new comment)

    Create an Account
    Forgot your login or password?
    Login w/ OpenID
    English • Español • Deutsch • Русский…